Un pipeline de datos es un sistema automatizado que mueve datos desde los sistemas de origen hasta un destino para su análisis. Resuelve un problema común para las empresas que operan con datos: cómo procesar y analizar la información útil que está dispersa en muchos sistemas diferentes. El pipeline puede mover los datos de manera confiable y repetible.

A continuación, explicaremos qué es un pipeline de datos, cómo funciona, en qué se diferencian los enfoques por lotes y de transmisión, y cómo encajan los datos de pago en la configuración de un pipeline.

Aspectos destacados

• Un pipeline de datos reemplaza las exportaciones manuales y los procesos ad hoc que se rompen bajo presión.

• La elección entre pipelines por lotes y de transmisión depende de qué tan actualizados deban estar tus datos. Las cargas de trabajo de finanzas y análisis generalmente se ejecutan cómodamente por lotes.

• Los datos de pago requieren un cuidado especial en la configuración de un pipeline. Una sincronización nativa desde tu proveedor de servicios de pago mejora la seguridad y la confiabilidad.

Qué es un pipeline de datos

Un pipeline de datos es una secuencia automatizada de pasos que extrae datos de una o más fuentes, opcionalmente los transforma y los carga en un destino donde se pueden analizar o usar para ejecutar operaciones. El destino suele ser un almacén de datos, un lago de datos o un almacenamiento en la nube.

Por qué los pipelines de datos son importantes para la creación de informes y la toma de decisiones

El valor de un pipeline de datos es lo que se vuelve posible cuando tus datos están en un lugar donde puedes usarlos. Los pipelines de datos crean los siguientes beneficios:

• Menos silos de datos: Cuando tus datos están divididos en varios sistemas (por ejemplo, los datos de ingresos están en tu proveedor de servicios de pago, los datos de los clientes están en tu sistema de gestión de relaciones con los clientes (CRM) y los datos de soporte están en tu centro de ayuda), no puedes responder fácilmente preguntas que cruzan esos límites. Un pipeline que centraliza esas fuentes hace posible el análisis multidisciplinario.

• Definiciones consistentes: Los pipelines imponen estructura. Si cada equipo extrae datos de las mismas tablas del almacén, que se calculan de la misma manera, entonces las métricas como los Ingresos Recurrentes Mensuales (MRR) se definen de manera consistente en todos los informes, y no hay debate sobre qué números son los correctos.

• Procesos repetibles y auditables: Los pipelines producen resultados comparables día tras día. Esa repetibilidad permite realizar un seguimiento de las métricas a lo largo del tiempo e investigar las anomalías cuando aparecen.

• Ciclos de creación de informes más rápidos: Los equipos de finanzas que antes pasaban días extrayendo y conciliando datos pueden acortar sustancialmente el ciclo cuando los datos ya están en el almacén, limpios y estructurados.

Cuáles son los componentes principales de un pipeline de datos

Muchos pipelines, independientemente de su complejidad, se construyen a partir del mismo conjunto de bloques de construcción. Estos son los componentes que importan:

• Fuentes: Donde se originan los datos, incluidas las bases de datos, las interfaces de programación de aplicaciones (API) de software como servicio (SaaS), los flujos de eventos y los archivos planos. Cuantas más fuentes extraiga un pipeline, más importante será realizar un seguimiento del esquema y la confiabilidad de cada una, y de la frecuencia con la que cambia la fuente.

• Ingestión: El mecanismo para extraer datos de las fuentes hacia el pipeline. Esto puede significar consultas de bases de datos programadas, una suscripción a un flujo de webhooks o un conector de terceros. La ingestión suele ser el punto donde se rompen los pipelines (p. ej., las API cambian, las credenciales caducan, las fuentes fallan), por lo que las buenas capas de ingestión se construyen para detectar y recuperarse de las fallas.

• Transformaciones: El paso que remodela los datos sin procesar en una forma que sea útil analíticamente. Por ejemplo, las transformaciones limpian registros y eliminan duplicados, unen datos de múltiples fuentes, calculan campos derivados o imponen un esquema consistente en sistemas que no comparten uno de forma nativa.

• Orquestación: La capa que gestiona las dependencias y la programación. Si la Tabla B depende de que la Tabla A esté completamente cargada, la capa de orquestación debe saberlo y hacer cumplir el orden. Herramientas como Apache Airflow, Prefect y la herramienta de construcción de datos (dbt) pueden manejar este tipo de gestión de dependencias.

• Destinos: Donde llegan los datos procesados. Por lo general, se trata de un almacén de datos en la nube como Snowflake o Redshift, o almacenamiento en la nube como S3 o Google Cloud Storage (GCS). La elección del destino define qué tipo de análisis es posible más adelante.

En qué se diferencian los pipelines por lotes y de transmisión

Para el movimiento de datos, tanto la transmisión como el procesamiento por lotes tienen usos legítimos. La elección correcta depende de qué tan desactualizados puedan estar tus datos antes de que causen un problema real.

Pipelines por lotes

Estos mueven datos según un horario (p. ej., cada hora, todas las noches, semanalmente). Son muy adecuados para cargas de trabajo donde la latencia no es importante, como los informes financieros mensuales, el análisis de cohortes de clientes semanal y las sincronizaciones nocturnas a un almacén de datos. El procesamiento por lotes generalmente es más simple de construir y operar. Y para muchos casos de uso de análisis, es exactamente lo que necesitas.

Pipelines de transmisión

Estos procesan datos continuamente, a medida que ocurren los eventos, con una latencia medida en segundos o milisegundos en lugar de horas. Están diseñados para casos de uso en los que actuar sobre datos desactualizados tiene costos reales, como la detección de fraude, el seguimiento de inventario en tiempo real y los paneles de control en tiempo real.

Antes de elegir esta vía para el movimiento de datos, determina la capacidad de tu equipo. La infraestructura de transmisión es más costosa y difícil de depurar. Si tu equipo de datos es pequeño, la sobrecarga de un pipeline de transmisión podría superar los beneficios de latencia.

Cómo se relacionan entre sí los pipelines de datos, ETL y ELT

Si bien un pipeline de datos es cualquier sistema automatizado que mueve datos de una fuente a un destino, extraer, transformar y cargar (ETL) y extraer, cargar y transformar (ELT) son dos patrones que estructuran ese movimiento. Así es como funcionan.

ETL

ETL significa que los datos se transforman antes de cargarlos en el destino. La transformación ocurre en una capa intermedia para que solo el resultado limpio y con forma llegue al almacén. Este era el patrón dominante cuando el almacenamiento era costoso y los almacenes no estaban bien adaptados para manejar datos sin procesar a gran escala.

ELT

Con ELT, los últimos pasos se invierten. Los datos sin procesar se extraen y se cargan en el almacén, y la transformación ocurre allí utilizando el lenguaje de consulta estructurado (SQL) o una herramienta como dbt. Los almacenes en la nube modernos son lo suficientemente baratos como para almacenar datos sin procesar y lo suficientemente potentes como para transformarlos en el momento de la consulta o como un trabajo programado. ELT se ha convertido en el patrón más común para las cargas de trabajo de análisis, en parte porque conserva los datos sin procesar para su reprocesamiento y hace que las transformaciones sean más fáciles de auditar, versionar y modificar.

No todos los pipelines encajan perfectamente en ninguna de las categorías. Algunos mueven datos casi sin transformación; sincronizan registros de eventos sin procesar de una API al almacenamiento en la nube para su procesamiento posterior. La terminología es útil como una forma abreviada de intención arquitectónica en lugar de una taxonomía precisa.

Cómo encaja un proveedor de servicios de pago en la configuración de un pipeline de datos

Los datos de pago suelen estar entre los más valiosos y complicados en el almacén de una empresa. Los equipos generalmente siguen la misma progresión cuando intentan gestionarlos.

Exportaciones de valores separados por comas (CSV)

Muchos equipos comienzan con exportaciones CSV. Descargan informes, los limpian y los cargan en el almacén. Pero las exportaciones se rompen, los esquemas cambian o alguien olvida ejecutar el proceso. Como resultado, los datos históricos a menudo faltan o son inconsistentes.

Conectores ETL de terceros

Luego, recurren a herramientas que extraen datos de una API de pago y los cargan en un almacén de forma programada. Estas son razonablemente confiables, pero introducen a un proveedor en un flujo de datos confidenciales. Si un equipo tiene datos financieros que pasan por un sistema adicional de terceros, eso ampliará su superficie de ataque, creará consideraciones de cumplimiento de la normativa y producirá datos que podrían ser sutilmente diferentes de los que tiene su proveedor de servicios de pago.

Sincronización nativa a través de Stripe Data Pipeline

Stripe Data Pipeline permite una sincronización directa con Stripe que mueve datos a un almacén o destino de almacenamiento en la nube sin un conector de terceros. La configuración toma solo unos pocos clics, no hay código que escribir y el pipeline incluye datos históricos de la cuenta de Stripe de un usuario. También incluye informes sintetizados selectos y conjuntos de datos seleccionados, como resúmenes financieros estructurados y tablas listas para análisis a fin de analizar el MRR, el fraude y más. Los propios sistemas de Stripe los generan y un conector genérico no puede replicarlos.