Informe final del proyecto: Detección de anomalías en sistemas de telecomunicaciones mediante métodos de aprendizaje continuo

Abstract

La detección de anomalías se aplica a múltiples contextos y es particularmente relevante en las redes de telecomunicaciones. Los sistemas usuales de monitoreo permiten detectar fallas en los equipos o enlaces, pero es menos común disponer de capacidad para detectar la degradación de la performance de un servicio o posibles intentos de ataque o fraude. El crecimiento y la complejidad de los servicios de telecomunicaciones actuales, requiere el análisis de múltiples fuentes de información. El tráfico de las interfaces de un enrutador, la cantidad de mensajes cursados por un equipo, la cantidad de llamadas, son ejemplos de variables relevantes a analizar. Actualmente existen plataformas que permiten almacenar y analizar grandes volúmenes de datos (Big Data) que representan una oportunidad para incorporar analítica de detección de anomalías sobre grandes volúmenes de información. Los datos de monitoreo de red generalmente consisten en cientos de contadores recopilados periódicamente en forma de series de tiempo, lo que resulta en un proceso multivariable (MTS) complejo de analizar. Los métodos tradicionales de detección de anomalías de series de tiempo tienen como objetivo el análisis de series de tiempo univariado, lo que hace que el análisis multivariante sea engorroso y prohibitivamente complejo cuando se trata de datos MTS. En el proyecto se propuso un enfoque novedoso para la detección de anomalías en datos MTS, que aprovecha las redes neuronales convolucionales (CNN) y los variational autoencoders (VAEs). Lo que permite detectar anomalías en los datos de MTS a través de un solo modelo, explotando la información temporal sin sacrificar recursos computacionales y de memoria. En particular, en lugar de utilizar redes neuronales recursivas, grandes filtros causales o muchas capas, el algoritmo propuesto se basa en convoluciones dilatadas (DC) para capturar fenómenos a largo y corto plazo en los datos, evitando arquitecturas profundas complejas y menos eficientes, simplificando así el aprendizaje. Se evaluó la detección de anomalías en el conjunto de datos TELCO, un conjunto de datos de monitoreo de red multidimensional a gran escala recopilado en Telefónica Uruguay, donde los eventos anómalos se detectaron manualmente. etiquetados por expertos durante un lapso de tiempo de siete meses, con una granularidad de cinco minutos. Usando este conjunto de datos, comparamos el desempeño con un amplio conjunto de detectores de anomalías de series temporales tradicionales provenientes de los dominios de procesamiento de señales y aprendizaje automático. Se evaluó también la capacidad de detección de cambios en el punto de operación y detección de "concept drift". En aras de la reproducibilidad y como contribución adicional, se pondrá a disposición de la comunidad el conjunto de datos TELCO, con la autorización de Telefónica y se publicara en forma abierta el código de los algoritmos implementados.