capçalera

Case StudyCaso de EstudioCas d'Estudi

TMB agilitza la gestió de logs basant-se en Elastic Stack

SEIDOR Opentrends, amb l'objectiu de centralitzar el processat i explotació de diferents logs de servidors i de funcionament de TMB, ens hem encarregat de dissenyar una plataforma basada en el Elastic Stack.

REPTE

El projecte ha consistit en identificar diferents fonts de log, definir un procés d'ingesta, enriquiment i el disseny de diferents quadres de comandament per a l'explotació i visualització dels logs. S'ha dissenyat una arquitectura que sigui capaç de sostenir la càrrega de logs a ingerir i que sigui capaç d'escalar i mutar segons les necessitats que vagin apareixent.

SOLUCIÓ

UNA PLATAFORMA DE PROCESAMENT DE LOGS SOTA ELASTIC STACK (ELK)

S'han realitzat diferents tasques amb l'objectiu de muntar un ecosistema per a la ingesta i explotació de logs. Es tracta d'un projecte en contínua evolució,  on prima la flexibilitat per poder anar adaptant la solució. A més, s'investiguen i valoren altres eines que poden encaixar amb l'ecosistema.

 

TASQUES REALITZADES

  • Configuracions de Logstash per als diferents logs.
  • Ús de nxLog i Filebeat per a la ingesta de logs.
  • Ús de Redis com a broker. 
  • Definició de dashboards en Kibana i Grafana.
  • Implementació de serveis en NODE.JS per a l'enriquiment dels logs (afegir info a registre base per millorar l'explotació)
  • Gestió del cicle de vida de les dades indexats en Elasticsearch
    (optimització d'índexs, polítiques de neteja, backups, entre d’altres)
  • Definició d'alertes
Arquitectura

METODOLOGIA

S'ha treballat de la mà del departament tècnic de TMB. A través de reunions setmanals, s’ha revisat el treball realitzat i s’han definit les tasques a realitzar seguint les bests practices d’Elastic.

best practices Elastic

TECNOLOGIA

S'han utilitzat com a tecnologies principals:

  • Elastic Stack (Elasticsearch, Logstash, Kibana, Filebeat, Metricbeat)
  • nxLog
  • NodeJs
  • Redis
  • Kafka
  • Grafana
  • Auth0
Tecnología
RESULTATS

Amb la nova plataforma de processament de logs implantada per SEIDOR Opentrends, TMB ha aconseguit una optimització del rendiment de la seva infraestructura així com una economització global de sistema capaç de fer front a nivells de processament de logs molt alts.

Com a característiques principals en base als resultats cal destacar:

  • El servei fix d'arquitectura que aporta flexibilitat i millora contínua de la solució.
  • El govern i gestió del cicle de vida de les dades.
  • La visualització amigable dels principals indicadors del client
Contacta'ns