Leveraging a probabilistic PCA model to understand the multivariate statistical network monitoring framework for network security anomaly detection

Abstract

Network anomaly detection is a very relevant research area nowadays, especially due to its multiple applications in the field of network security. The boost of new models based on variational autoencoders and generative adversarial networks has motivated a reevaluation of traditional techniques for anomaly detection. It is, however, essential to be able to understand these new models from the perspective of the experience attained from years of evaluating network security data for anomaly detection. In this paper, we revisit anomaly detection techniques based on PCA from a probabilistic generative model point of view, and contribute a mathematical model that relates them. Specifically, we start with the probabilistic PCA model and explain its connection to the Multivariate Statistical Network Monitoring (MSNM) framework. MSNM was recently successfully proposed as a means of incorporating industrial process anomaly detection experience into the field of networking. We have evaluated the mathematical model using two different datasets. The first, a synthetic dataset created to better understand the analysis proposed, and the second, UGR’16, is a specifically designed real-traffic dataset for network security anomaly detection. We have drawn conclusions that we consider to be useful when applying generative models to network security detection.

La detección de anomalías en redes es una área de investigación de gran relevancia en la actualidad debido a sus múltiples aplicaciones en el campo de la seguridad en redes. El incremento de nuevos modelos basados en autoencoders variacionales y redes generativas adversariales ha motivado una re-evaluación de las técnicas tradicionales de detección de anomalías. En este marco es imprescindible entender los nuevos modelos desde la perspectiva de la experiencia de años de evaluación de datos de seguridad de red con el objetivo de detectar anomalías. Este trabajo re-visita las técnicas de detección de anomalías basadas en modelos PCA desde el punto de vista de los modelos generativos, contribuyendo a plasmar el modelo matemático que los relaciona. De manera específica se define el modelo PCA desde un punto de vista probabilístico y se explica su conexión con el marco de trabajo MSNM (Multivariate Statistical Network Monitoring). MSNM ha sido propuesto de manera exitosa últimamente como una manera de incorporar la experiencia de detección de anomalías de los procesos industriales al campo del tráfico de red. El trabajo evalúa el modelo matemático utilizando dos bases de datos diferentes. La primera, una base de datos sintética creada para entender el análisis propuesto, y la segunda, UGR'16, una base de datos de tráfico de red real diseñada específicamente para la detección de anomalías en seguridad de redes. Se extraen conclusiones que se consideran muy útiles para la aplicación de modelos generativos a la detección de anomalías en seguridad de redes.