Distributed control systems based on high accurate timing synchronization (sistemas de control distribuido basado en sincronización temporal de alta precisión)

Abstract

Esta tesis se centra en las tecnologías de sincronización de alta precisión y su utilización en diferentes tipos de aplicaciones desde las instalaciones científicas hasta las infraestructuras industriales. El objetivo principal es el desarrollo de sistemas que incluyan dispositivos System-on-Chip (SoC) de nueva generación combinando capacidades de alto ancho de banda junto con protocolos de alta precisión usando una misma red.

En las secciones iniciales, se presenta una revisión completa del estado del arte en relación con las técnicas de sincronización temporal considerando sus ventajas y desventajas. Algunas de ellas están basadas en señales de temporización como las ondas cuadradas o sinusoidales de 10 MHz o las de 1 pulso por segundo (PPS). Otras alternativas despliegan sistema global de navegación por satélite (GNSS) [1] con múltiples receptores creando una red de sincronización con enlaces inalámbricos. En contraste con las soluciones que incluyen señales de temporización, existen protocolos basados en paquetes estándares como el protocolo de tiempo en red (NTP) [2] [3] o el protocolo de tiempo preciso (PTP) [4] que se utilizan de forma habitual en redes con tecnología Ethernet. Sin embargo, la precisión de estas soluciones está limitada a la escala de los milisegundos y microsegundos respectivamente. Si bien es cierto que existen soluciones metrológicas que pueden proporcionar precisiones de hasta unos pocos picosegundos, estas requieren equipos muy específicos y caros y no pueden ser fácilmente adaptadas para su uso en muchas aplicaciones. En este contexto, una nueva solución estándar basada en paquetes ha surgido para solventar el problema de rendimiento en la sincronización temporal: La tecnología White Rabbit (WR) [5] [6] . Se basa en la segunda versión del PTP e incluye algunas mejoras para alcanzar una precisión en la sincronización temporal sub-nanosegundo con una estabilidad de pocos picosegundos. Actualmente, la tecnología WR ha sido integrada satisfactoriamente en muchas aplicaciones científicas especialmente en el contexto de la física de alta energía (HEP) y en infraestructuras para aplicaciones en astrofísicas como el Matriz de Telescopios de Kilómetro Cuadrado (SKA) [7] y el Matriz de telescopios Cherenkov (CTA) [8].

Posteriormente, se ha realizado el diseño y desarrollo de una nueva familia de dispositivos para sistemas WR basados en dispositivos SoC programables de nueva generación en un marco de estrecha colaboración con la industria. En este contexto, se ha utilizado una plataforma para implementar un nodo WR mejorado aprovechando la precisión de sincronización que aporta WR y, al mismo tiempo, ofreciendo características software avanzadas. Debido a la bondad de esta solución, ha sido propuesta para ser utilizada en SKA, concretamente para su sistema de distribución de PPS. Además del desarrollo, se han realizado algunas pruebas para caracterizar el sistema en términos de precisión de la sincronización, escalabilidad y los efectos en el mismo debido a las variaciones de temperatura. Dichos resultados garantizan que el sistema propuesto cumple las necesidades de SKA.

Además del tema relacionado con la sincronización temporal, se han estudiado las redes de alto ancho de banda de datos y, especialmente, su aplicación a sistemas de adquisición de datos (DACQ). Estos están normalmente compuestos de muchos sensores distribuidos que generan datos que son generalmente procesados en un servidor central. En consecuencia, se deben implementar mecanismos de agregación de datos para unir distintas conexiones de red provenientes de los sensores en un solo canal para alcanzar el servidor central. Por otra parte, los sistemas DACQ también requieren un canal de comunicación completamente configurable y flexible entre el servidor central y los sensores para tareas de control y monitorización. Estos requisitos son muy específicos para las redes convencionales de alto ancho de banda que no pueden ser utilizadas de forma satisfactoria para muchos de los sistemas de DACQ. En este contexto, se ha propuesto una nueva y genérica arquitectura de red asimétrica para solventar este problema proporcionando capacidades de agregación y enrutado. Gracias a la flexibilidad y el diseño optimizado de esta solución, ha sido seleccionada para su utilización en la infraestructura de CTA, concretamente en la cámara compacta de alta energía (CHEC). En este contexto, se han realizado distintas pruebas para verificar que esta solución cumple los requisitos de CTA obteniendo unos resultados que los satisfacen de manera holgada. Además, la solución propuesta ha sido integrada satisfactoriamente en la CHEC en el Sincrotón de Electrones Alemán (DESY) [9] en un marco colaborativo con una entidad participante en el proyecto CTA.

En colaboración con la industria, otra contribución importante de la tesis ha consistido en la actualización de la tecnología WR para trabajar con redes de alto ancho de banda como las basadas en 10 Gigabit Ethernet (10G). Este desarrollo es necesario para solventar las limitaciones de WR en relación con el ancho de banda de datos y la interoperabilidad, permitiendo su utilización en otras aplicaciones en las que hasta ahora no era una opción posible como sistema de sincronización temporal. En este respecto, se ha desarrollado una solución completamente modular teniendo en cuenta los conceptos aprendidos de los desarrollos basados en dispositivos SoC y el diseño basado en redes asimétricas dando como resultado una arquitectura unificada para datos y sincronización. Esta es capaz de proporcional sincronización temporal de alta precisión junto con servicios de transferencia de datos de alto ancho de banda. Además, esta solución se ha validado obteniendo una precisión temporal comparable o incluso mejor en algunos aspectos que la presentada por los dispositivos estándar de WR. Adicionalmente, se ha realizado una caracterización del sistema midiendo el ancho de banda, la latencia y la interoperabilidad con dispositivos comerciales basados en 10G obteniendo resultados satisfactorios.

Finalmente es importante remarcar que por primera vez en la literatura, se ha presentado un sistema capaz de proporcionar unos mecanismos de sincronización de alta precisión y una distribución de datos 10G, evitando el despliegue de diferentes redes separadas sincronización y transferencia de datos.

This thesis is focused on high accurate timing synchronization technologies and their utilization in different kind of applications from scientific facilities to industrial infrastructures. This aims to develop systems which includes new generation System-on-Chip (SoC) devices combining high data bandwidth capabilities together with high accuracy timing synchronization protocols over the same network.

In the initial sections, a full revision of the state of the art is presented in regards of timing synchronization technologies taking into consideration their advantages and drawbacks. Some of them are based on timing signals as 10 MHz square/sine wave or 1 Pulse Per Second (PPS) ones. Other alternatives deploy Global Navigation Satellite System (GNSS) [1] with many receivers creating a synchronization network via wireless links. In contrast to the timing signal solutions, there are standard packet-based protocols as Network Time Protocol (NTP) [2] [3] or Precise Time Protocol (PTP) [4] that are widely used in Ethernet-based networks. However, synchronization accuracy of these are limited to millisecond and microsecond scale respectively. While it is true that are metrology solutions, that can provide accuracies up to few picoseconds, they require very specific and expensive equipment and they are not easily adapted to be used in many applications. Under this context, a new standard packet-based solution is raised to overcome time synchronization performance issue: White Rabbit (WR) [5] [6] technology. It is based on Precise Time Protocol version 2 (PTPv2) but includes some enhancements to reach a time synchronization accuracy in the sub-nanosecond scale with a precision of picoseconds. Currently, WR technology has been successfully integrated in many scientific applications specially in the context of High-Energy Physics (HEP) and astrophysics facilities as Square Kilometer Array (SKA) [7] and Cherenkov Telescope Array (CTA) [8].

Then, the design and development of a new family of devices for WR systems based on new generation programmable SoC devices have been accomplished in a partnership with industrial partners. Under this context, a new platform has been used to implement a enhanced WR node taking advantage of WR synchronization performance and, at the same time, offering advanced software capabilities. Due to the goodness of this solution, it has been proposed to be used in SKA, concretely for the PPS distribution system. In addition to the development, some tests have been performed for characterizing the system in terms of timing performance, scalability and the effects derived from temperature variations. Such results guarantee that the proposed system fulfills the SKA needs.

Apart from the timing synchronization topic, high data bandwidth networks have been studied and, specially, its application in Data ACQuisition (DACQ) systems. They are usually composed of many distributed sensors which generate data that are typically processed by a central server. Consequently, data aggregation mechanisms must be implemented to join several network connections from sensors to a single channel in order to reach the central server. On the other hand, DACQ systems also require a fully configurable and flexible routing communication channel between the central server and sensors for control/monitor tasks. These requirements are very specific for conventional high data bandwidth networks that can not be applied successfully for many DACQ systems. In this regard, a novel and generic asymmetric network architecture has been proposed to overcome this issue providing aggregation and routing capabilities. Due to the flexiblity and optimized design of this solution, it has been selected to be used in the CTA infrastructure, concretely inside the Compact High Energy Camera (CHEC). In this scenario, several tests have been performed to verify that this solution fulfills the CTA requirements obtaining results that outperform them. Furthermore, the proposed solution has been integrated properly in the CHEC at Deutsches Elektronen-Synchrotron (DESY) [9] in a collaborative framework with a CTA partner.

In collaboration with an industrial partner, other important thesis contribution has consisted on the update of the WR technology to work with high data bandwidth networks as 10 Gigabit Ethernet (10G) ones. This development is required in order to overcome WR limitations in terms of data bandwidth and interoperability, enabling its utilization in other applications in which it has not been a feasible option for the timing synchronization system up to now. In this regard, a fully modular solution has been developed taking into consideration the learned concepts from the SoC developments and the asymmetric network design given as a result an unified architecture for data and synchronization purposes. This is able to provide high accurate timing synchronization together with high data bandwidth transfer services. Moreover, this solution has been validated obtaining a timing performance comparable or even better in some aspects than standard WR devices. Additionally, a system characterization has been performed measuring the data bandwidth, latency and the interoperability with commercial 10G devices obtaining satisfactory results.

Finally, it is important to remark that for first time in the literature, a timing system able to provide high accurate timing synchronization and 10G data distribution has been presented, avoiding the deployment of different separated networks for data transfer and synchronization purposes.