Cloudflare ha incorporado Transformers en su servicio Logpush para aplicar transformaciones SQL a los registros antes de su exportación. La novedad permite a equipos de observabilidad eliminar registros no deseados, ocultar campos sensibles y adaptar la estructura de los eventos al formato que espera cada destino —sin necesidad de desplegar una capa de procesamiento adicional—.
Qué son los Transformers y cómo funcionan
Un Transformer es una consulta SQL escrita para un dataset concreto de Logpush. La consulta referencia los campos del dataset y define qué registros deben exportarse mediante una cláusula WHERE y cómo debe quedar cada registro en la cláusula SELECT. Logpush aplica la consulta a cada lote de registros antes de enviarlo: los registros que no cumplen la condición se descartan y los que quedan se vuelcan en formato NDJSON con la estructura resultante del SELECT.
Por qué importa a administradores y equipos de observabilidad
- Reducción de costes y volumen: filtrar antes de exportar evita pagar por el transporte, ingestión y almacenamiento de registros que no se usan.
- Privacidad y cumplimiento: se pueden redactor campos sensibles (por ejemplo, partes de direcciones IP o identificadores) antes de que los datos salgan del entorno de Cloudflare.
- Normalización y compatibilidad: los equipos que reciben logs de múltiples proveedores pueden añadir campos estáticos o renombrar y anidar campos para mantener un esquema común en su plataforma de análisis o SIEM.
Técnica: ejecución embebida con Apache DataFusion y Arrow
Cloudflare eligió ejecutar Transformers en proceso dentro del servicio de entrega de Logpush (Bufstream) para evitar latencias y puntos de fallo que introduciría un salto de red a un servicio remoto. Para ello incorporaron Apache DataFusion como motor SQL, que se basa en Apache Arrow para representación columnar en memoria. DataFusion ofrece un planificador SQL y ejecución vectorizada que encaja con las necesidades de alto rendimiento de Logpush.
En la implementación, Bufstream recibe lotes comprimidos de registros, construye un RecordBatch tipado en formato Apache Arrow y lo envía a DataFusion para ejecutar la transformación. La comunicación entre el componente principal escrito en Go y el motor en Rust se realiza mediante Arrow IPC y una interfaz FFI explícita, de modo que los límites de propiedad de memoria entre runtimes quedan bien definidos: Rust procesa y devuelve un buffer transformado que Go copia y libera correctamente.
Impacto operativo y escalado
Adjuntar un Transformer a un trabajo de Logpush añade carga de CPU porque cada lote debe transformarse. Para mantener rendimiento en cargas altas, Bufstream permite paralelismo por trabajo, ejecutando transformaciones de lotes en concurrencia. Integrar DataFusion en el flujo existente permite aprovechar la infraestructura de scheduling, batching y control de destinos sin crear una capa adicional de transformación en la arquitectura.
Qué deben hacer los administradores
- Revisar si los pipelines de logs actuales procesan, descartan o redaccionan datos fuera de Cloudflare: con Transformers parte de ese trabajo puede moverse a Logpush, simplificando el stack y reduciendo costes.
- Probar Transformers en entornos de desarrollo: Cloudflare ofrece herramientas en su dashboard para crear, previsualizar y versionar Transformers antes de adjuntarlos a un job de Logpush.
- Evaluar la carga adicional de CPU en trabajos de alto volumen y configurar el paralelismo por trabajo según la demanda de cada pipeline.
Transformers no cambia el formato de serialización: tanto la entrada como la salida usan NDJSON; lo que cambia es la estructura y el contenido de los registros exportados.
Lee también:
- Intel nombra y publica especificaciones de su GPU de inferencia: la familia Intel GPU D-Series
- AVK planea invertir 1.000 millones en soluciones energéticas para centros de datos y microgrids
Fuente: Cloudflare Blog
