
Case StudyCaso de EstudioCas d'Estudi
TMB agiliza la gestión de logs basándose en Elastic Stack
Opentrends ayuda a TMB a diseñar una plataforma basada en Elastic Stack que permite la centralización del procesado y explotación de diferentes logs de servidores y de funcionamiento de la compañía.
El proyecto ha consistido en identificar diferentes fuentes de logs, definir un proceso de ingesta, enriquecimiento de logs, y diseño de diferentes cuadros de comandamiento para la explotación y visualización de los logs. Se ha diseñado una arquitectura que sea capaz de sostener la carga de logs a ingerir y que sea capaz de escalar y mutar según las necesidades que vayan apareciendo.
Una plataforma de procesamiento de logs bajo Elastic Stack (ELK)
Se han realizado diferentes tareas con el objetivo de montar un ecosistema para la ingesta y explotación de logs. Se trata de un proyecto en continua evolución, donde prima la flexibilidad para poder ir adaptando la solución. Además, se investigan y se valoran otras herramientas que pueden encajar con el ecosistema.
Tareas realizadas:
-
Configuraciones de Logstash para los diferentes logs
-
Uso de nxLog y Filebeat para la ingesta de logs
-
Uso de Redis como broker.
-
Definición de dashboards en Kibana y Grafana
-
Implementación de servicios en Node.js para el enriquecimiento de los logs (añadir info en registro base para mejorar la explotación)
-
Gestión del ciclo de vida de los datos indexados en Elasticsearch (optimización de índices, políticas de limpieza, backups, entre otros)
-
Definición de alertas

Metodología
Se ha trabajado de la mano del departamento técnico de TMB. En base a reuniones semanales, se ha revisado el trabajo realizado y se han definido las tareas a realizar siguiendo las best practices de Elastic.

TECNOLOGÍA
Se han utilizado como tecnologías principales:
- Elastic Stack (Elasticsearch, Logstash, Kibana, Filebeat, Metricbeat)
- nxLog
- NodeJs
- Redis
- Kafka
- Grafana
- Auth0

Con la nueva plataforma de procesamiento de logs implantada por TMB y SEIDOR Opentrends, se ha conseguido una optimización del rendimiento de la infraestructura así como una economización global del sistema capaz de hacer frente a niveles de procesamiento de logs muy altos.
Como características principales en base a los resultados cabe destacar:
- El servicio fijo de arquitectura que aporta flexibilidad y mejora continua de la solución
- El gobierno y gestión del ciclo de vida de los datos
- La visualización amigable de los principales indicadores del cliente