capçalera

Case StudyCaso de EstudioCas d'Estudi

TMB agiliza la gestión de logs basándose en Elastic Stack

Opentrends ayuda a TMB a diseñar una plataforma basada en Elastic Stack que permite la centralización del procesado y explotación de diferentes logs de servidores y de funcionamiento de la compañía.

RETO

El proyecto ha consistido en identificar diferentes fuentes de logs, definir un proceso de ingesta, enriquecimiento de logs, y diseño de diferentes cuadros de comandamiento para la explotación y visualización de los logs. Se ha diseñado una arquitectura que sea capaz de sostener la carga de logs a ingerir y que sea capaz de escalar y mutar según las necesidades que vayan apareciendo.

SOLUCIÓN

Una plataforma de procesamiento de logs bajo Elastic Stack (ELK)

Se han realizado diferentes tareas con el objetivo de montar un ecosistema para la ingesta y explotación de logs. Se trata de un proyecto en continua evolución, donde prima la flexibilidad para poder ir adaptando la solución. Además, se investigan y se valoran otras herramientas que pueden encajar con el ecosistema.

Tareas realizadas:

  • Configuraciones de Logstash para los diferentes logs

  • Uso de nxLog y Filebeat para la ingesta de logs

  • Uso de Redis como broker. 

  • Definición de dashboards en Kibana y Grafana

  • Implementación de servicios en Node.js para el enriquecimiento de los logs (añadir info en registro base para mejorar la explotación)

  • Gestión del ciclo de vida de los datos indexados en Elasticsearch (optimización de índices, políticas de limpieza, backups, entre otros)

  • Definición de alertas

Arquitectura

Metodología

Se ha trabajado de la mano del departamento técnico de TMB. En base a reuniones semanales, se ha revisado el trabajo realizado y se han definido las tareas a realizar siguiendo las best practices de Elastic.

best practices Elastic

TECNOLOGÍA

Se han utilizado como tecnologías principales:

  • Elastic Stack (Elasticsearch, Logstash, Kibana, Filebeat, Metricbeat)
  • nxLog
  • NodeJs
  • Redis
  • Kafka
  • Grafana
  • Auth0
Tecnología
RESULTADOS

Con la nueva plataforma de procesamiento de logs implantada por TMB y Opentrends, se ha conseguido una optimización del rendimiento de la infraestructura así como una economización global del sistema capaz de hacer frente a niveles de procesamiento de logs muy altos.

Como características principales en base a los resultados cabe destacar:

  • El servicio fijo de arquitectura que aporta flexibilidad y mejora continua de la solución
  • El gobierno y gestión del ciclo de vida de los datos
  • La visualización amigable de los principales indicadores del cliente
Contáctanos