Business driven alerts correlation in network management environments

Abstract

In this work, we propose a generic tickets-alerts correlation architecture composed of three main parts: alerts correlation, incident tickets correlation and tickets alerts. correlation. In the alerts correlation part, a survey of the state-of-the-art in alerts correlation techniques is first presented. Unlike other authors, we consider here that the correlation process is a common problem for different fields in the industry, and not only for network or security management. Thus, we focus on showing the broad influence of this problem. Additionally, we suggest an alerts correlation model capable of modeling current and prospective proposals. Finally, we also review some of the most important commercial products currently available. In the incident tickets correlation part, we first check that, in many cases, the handling of tickets by a management team is not completely systematic and may be incoherent and inefficient. This way, irrelevant or redundant tickets for a same incident are likely issued, thus creating a redundancy in the system that leads to in efficiencies. To handle this issue, we suggest a model aimed to correlate redundant tickets in order to ideally reduce the information to a single ticket per incident. Using this model as a basis, we also develop and evaluate a methodology that assesses the efficiency of a management team during the process of tickets creation and management. In the last part, we propose and test a model for the joint correlation of tickets and alerts. Finally, we validate the proposed correlation models by evaluating them with two datasets taken from a real incident ticketing system of an IT service company, in order to analyze their applicability and usefulness by targeting them at three main applications: how can the models be used to evaluate the tickets creation process, how can the models be used to improve the alerts correlation process, and finally, how to use them in evaluating the management team in terms of their speed, accuracy and the influence of each management group in the whole incident resolving process. These analyses can be leveraged for improving both the management groups functioning and the policies for tickets creation and incident management. The results of this work show that incorporating the ticketing information in the alerts correlation process will permit obtaining better correlation rates, i.e., a bigger and more reliable reduction in the number of alerts. By using these models, decision makers would get more accurate information about the real incidents happening in the network and their descriptions, so that decisions and prioritization procedures would be more precise. At the same time, the proposed methods are based on simple elements and reasonings, making their applications in a real network management system almost straightforward.

En este trabajo proponemos un sistema genérico de correlación de tiques y alertas compuesto por tres partes principales: correlación de alertas, correlación de tiques y correlación combinada de tiques y alertas. En relación a la correlación de alertas, se presenta en primer lugar una revisión del estado del arte. A diferencia de otros autores, consideramos aquí que el proceso de correlación es un problema común para diferentes campos de la industria, y no sólo para la gestión de redes o la seguridad. Además, se sugiere un modelo genérico de correlación de alertas capaz de incorporar las propuestas actuales y que es también suficientemente flexible para considerar propuestas futuras en este campo. Por último, también revisamos algunos de los productos comerciales más importantes disponibles en la actualidad. En relación a la correlación de tiques, comprobamos en primer lugar de forma empírica que, en muchos casos, la gestión de los tiques por parte de un equipo de gestión no es completamente sistemática y puede ser incoherente e ineficiente. De esta manera, se pueden constatar ciertas problemáticas, como la aparición de tiques irrelevantes o múltiples para un mismo incidente, creando así una redundancia en el sistema que conduce a ineficiencias. Para hacer frente a este problema, en esta tesis se sugiere un modelo destinado a realizar la correlación de tiques redundantes con el fin de reducir, idealmente, el número de tiques a uno solo por incidente. Usando este modelo como base, también se desarrolla una metodología que evalúa la eficacia de un equipo de gestión durante el proceso de creación y gestión de tiques. En la última parte, se propone y se evalúa un modelo para la correlación conjunta de tiques y alertas. Finalmente, se validan los modelos de correlación propuestos usando dos conjuntos de datos tomados de un sistema real de gestión de incidentes con tiques de una empresa de servicios TIC, con el fin de analizar su utilidad en dos aplicaciones principales: el uso de los modelos para mejorar el proceso de correlación de alertas y su utilización para la evaluación del equipo de gestión de red en términos de su velocidad, su precisión y su influencia en el proceso de gestión de los incidentes. Estos análisis se pueden aprovechar para mejorar tanto el funcionamiento de los equipos de gestión de red como las políticas para la creación y gestión de tiques. Los resultados obtenidos a lo largo de este trabajo han reflejado que, incorporando la información de los tiques en el proceso de correlación de alertas, se obtienen mejores tasas de correlación, esto es, una reducción mayor y más fiable en el número de alertas. Por otra parte, los responsables de la gestión de red en las compañías pueden obtener información más precisa sobre los incidentes reales que suceden en la red y sus descripciones, por lo que las decisiones y procedimientos de priorización serían más precisos. Al mismo tiempo, las metodologías se basan en elementos y razonamientos simples, por lo que su aplicación en un sistema de gestión de red real es prácticamente directa.