Los ingenieros de Cloudflare han encontrado desafíos significativos al expandir el uso de la funcionalidad soft-unicast dentro de la pila de red de Linux, impulsados por configuraciones complejas de enrutamiento y anycast para redundancia. Los intentos de eludir limitaciones mediante opciones avanzadas de sockets acabaron derivando en una solución de proxy más simple. Esta experiencia pone de relieve las dificultades para personalizar Linux ante demandas de redes a gran escala.
La infraestructura de red de Cloudflare depende de enrutamientos y configuraciones complejas que ponen a prueba los límites de la pila de red de Linux. Como detalla una reciente entrada de blog del ingeniero Chris Branch, la empresa buscó mejorar las capacidades de soft-unicast, que se alinean con su uso intensivo de anycast para distribuir redundancia en redes externas.
El problema principal surgió con el módulo de seguimiento de conexiones de Netfilter, conocido como conntrack, y el subsistema de sockets de Linux durante los procesos de reescritura de paquetes. Soft-unicast requiere que múltiples procesos reconozcan la misma conexión, pero el diseño de Linux impedía una reescritura efectiva de paquetes. Inicialmente, el equipo implementó un proxy local para gestionarlo, aunque esto introducía sobrecarga de rendimiento.
Para abordarlo, los ingenieros exploraron el abuso de la opción de socket TCP_REPAIR, usada típicamente para migrar conexiones de red de máquinas virtuales. Esto les permitió describir completamente y 'reparar' el estado de la conexión de socket. La combinaron con TCP Fast Open, utilizando una cookie TFO para eludir el handshake estándar. A pesar de estas innovaciones, persistieron problemas, proponiendo un mecanismo de demux temprano como solución parcial.
Al final, la complejidad resultó demasiado alta. El equipo optó por el enfoque más directo del proxy local, que termina conexiones TCP y redirige el tráfico a un socket local. Esta decisión subraya que escapar completamente de la pila de red de Linux sigue siendo un desafío formidable, incluso para una empresa como Cloudflare a la vanguardia de la infraestructura de internet.
