Análisis de congestión en el nodo final y mecanismos de mitigación en redes Dragonfly

Abstract

Las redes de interconexión de sistemas son uno de los elementos claves que permiten la computación a gran escala en entornos de supercomputación y datacenters. Para poder aprovechar eficientemente los recursos de cómputo de los nodos de estos sistemas es clave que la red encargada de comunicarlos no se convierta en el factor limitante del rendimiento. Si la red llega a niveles de carga muy elevados y parte de las comunicaciones presentan un patrón adverso en el uso de recursos, se pueden producir comportamientos patológicos en los que se forman grandes cúmulos de congestión que reducen de forma significativa el rendimiento de la red y, en consecuencia, el del sistema. En este trabajo se analiza el impacto de un tráfico adverso en el uso de recursos en el destino en redes Dragonfly, así como la efectividad de varios mecanismos de mitigación. Para el análisis del impacto se han caracterizado dos patrones de tráfico: uniforme aleatorio y hotspot. El tráfico uniforme aleatorio representa un uso equilibrado de los recursos de la red, simulando un patrón global de comunicaciones común en sistemas con múltiples aplicaciones. El tráfico hotspot representa un caso adverso con una sobrecarga patológica del tráfico recibido en algunos nodos finales, también conocida como endpoint congestion. Además, se ha analizado la interacción entre sí de ambos patrones de tráfico, así como la reacción de la red ante transiciones de un escenario de comunicaciones a otro. Como parte del trabajo, se han evaluado dos mecanismos de mitigación para los fenómenos de congestión causados por la inyección de carga con contención en el destino (tráfico hotspot). El primer mecanismo evaluado está basado en el mecanismo de control de congestión para redes ethernet, QCN. Este consiste en una adaptación para redes sin pérdidas, como las empleadas en sistemas de alto rendimiento. El otro mecanismo considerado es una propuesta nueva basada en tiempos de reacción más cortos a los fenómenos de congestión, empleando métricas de contención en los recursos de los routers. Con las simulaciones realizadas se ha visto que el impacto del tráfico hotspot, incluso en un número reducido de ciclos de simulación, tiene un impacto significativo en la degradación del rendimiento de la red. La caída de rendimiento persiste en el tiempo después de que se termine de inyectar el tráfico perjudicial, acentuando la gravedad de sus consecuencias. Los resultados del análisis refuerzan la necesidad de contar con mecanismos capaces de mitigar y prevenir estos fenómenos.

System interconnect networks are one of the key enablers of large-scale computing systems, such as data centers or HPC clusters. In order to make efficient use of the computing resources of the nodes of these systems, it is essential that the network responsible for their communication does not become a performance bottleneck. Under high network loads and adversarial resource usage patterns, pathological behavior can create congestion clusters that degrade performance. These clusters significantly degrade the performance of the network and therefore of the entire system. This work analyzes the impact of adverse traffic on destination resource utilization in Dragonfly networks, as well as the effectiveness of various mitigation mechanisms. Two traffic patterns have been characterized for the impact analysis: uniform random and hotspot. Uniform random traffic represents a balanced use of network resources, simulating a common global communication pattern in multi-application systems. Hotspot traffic represents an adversarial case with a pathological overload of traffic received at some destination nodes, also known as endpoint congestion, and presents the type of pathological behavior that the work pretends to address. Furthermore, the interaction between the two traffic patterns has been evaluated, as well as the network response to transitions from one communication scenario to the other. As part of the work, two mechanisms have been evaluated to mitigate congestion phenomena caused by load injection with destination contention such as under hotspot traffic. The first mechanism evaluated is based on the congestion control mechanism available in Ethernet networks, named Quantized Congestion Notification (QCN). This is an adaptation for lossless networks, such as those used in high-performance systems. The other mechanism considered is a new proposal based on shorter response times to congestion phenomena, using contention metrics about router resources usage. Simulations have shown that the impact of hotspot traffic, even in a small number of simulation cycles, has a significant impact on network performance degradation. The performance loss persists over time, even after the harmful traffic is no longer being injected into the network, increasing the severity of its impact. The results of the analysis reinforce the need for mechanisms capable of mitigating and preventing these events.