La ingesta de datos es el primer paso en todo pipeline de datos. Se refiere al proceso de recopilar datos de los sistemas de origen y trasladarlos a un almacén, lago de datos o plataforma de análisis donde se puedan consultar.

Cuando la ingesta de datos falla, obtienes dashboards desactualizados, conciliaciones rotas y modelos de machine learning entrenados con datos incompletos. Y lo que es peor, los datos incorrectos pueden afectar a tus resultados finales. Más del 25 % de las organizaciones declararon que pierden 5 millones de USD o más al año debido a la mala calidad de los datos.

A continuación, analizaremos más de cerca qué es la ingesta de datos, los principales patrones de ingesta de datos, los casos de uso que impulsan la mayor parte de la inversión en pipelines y los desafíos a los que se enfrentan los equipos.

Destacados

• La ingesta de datos traslada la información de los sistemas de origen a un destino donde pueda ser almacenada y consultada. El patrón que elige una empresa determina el grado de actualidad de esos datos.

• Una ingesta fiable depende de dos factores: la integridad (es decir, que estén todos los registros que deberían estar) y la puntualidad (es decir, que los datos lleguen antes de que la primera persona los necesite).

• Un proveedor de servicios de pago moderno puede sincronizar datos directamente en destinos como Snowflake, Redshift y Amazon S3. Esto ofrece a las empresas acceso a todo su historial de transacciones sin necesidad de ingeniería personalizada ni de proveedores de conectores externos.

La ingesta de datos es el proceso de extraer información de los sistemas de origen y cargarla en un destino donde pueda ser almacenada, consultada y utilizada. Alimenta de datos a los almacenes, los lagos de datos y las plataformas de análisis.

En un contexto de pagos, la ingesta de datos puede implicar la recopilación de datos de fuentes dispares, incluidos los sistemas de punto de venta (sistemas POS), los sitios web de comercio electrónico y las pasarelas de pago.

¿Cuáles son los principales tipos de ingesta de datos?

La necesidad de actualidad de tus datos —y lo desfasados que pueden estar los datos inactivos antes de que dejen de ser útiles— determina qué tipo de método de ingesta de datos es mejor para tu empresa.

Estos son los principales métodos que se deben tener en cuenta.

Ingesta por lotes

La ingesta por lotes extrae los datos de forma programada y los traslada de forma masiva. La latencia es de horas o días, lo que resulta adecuado para muchas cargas de trabajo. Los cierres financieros, los informes ejecutivos semanales y los análisis de tendencias históricas (p. ej., el análisis de abandono) pueden utilizar normalmente este tipo de datos.

Ingesta de streaming

La ingesta de streaming procesa los eventos a medida que se producen, lo que reduce la latencia a segundos o menos. La infraestructura es más exigente (por lo general, se trabaja con sistemas como Apache Kafka o equivalentes nativos de la nube) y tus aplicaciones de consumo deben ser capaces de gestionar los eventos desordenados y la entrega al menos una vez. Por lo general, es la opción correcta cuando el valor de los datos requiere señales de fraude, inventario en vivo y personalización en tiempo real.

Captura de datos modificados

La captura de datos modificados (CDC) lee el registro de transacciones de una base de datos de origen y emite solo lo que ha cambiado, alcanzando un rango de latencia de minutos sin la sobrecarga que suponen las repetidas lecturas de tablas completas. Se sitúa entre el procesamiento por lotes y el streaming tanto en complejidad como en actualidad, y resulta especialmente útil cuando se necesita precisión casi en tiempo real (NRT) de un sistema relacional.

¿Cuáles son los casos de uso más comunes de la ingesta de datos?

La ingesta de datos existe para servir a algún proceso de fases posteriores. El patrón que elijas depende en gran medida de cómo se utilicen los datos.

A continuación, se indican los casos de uso comunes de la ingesta de datos:

• Informes de inteligencia empresarial (BI): los ingresos, la conversión, el abandono y el volumen de soporte alimentan los dashboards que los equipos revisan a diario. La actualidad de la ingesta determina el nivel de actualización de dichos datos.

• Informes financieros: los cierres de fin de mes y de fin de trimestre dependen de que lleguen datos de transacciones completos y precisos a un almacén donde el departamento de finanzas pueda ejecutar sus consultas. Aquí, la integridad importa tanto como la actualidad.

• Análisis de clientes y productos: los datos de eventos de comportamiento combinados con la gestión de relaciones con los clientes (CRM) y los datos de transacciones ofrecen a los equipos de productos y crecimiento una visión completa. La ingesta es lo que conecta esos sistemas de origen y hace que el conjunto de datos combinado se pueda consultar.

• Supervisión de fraude: una decisión tomada sobre datos que tienen 12 horas de antigüedad suele ser una decisión tomada sobre datos irrelevantes. La detección de fraude es uno de los casos en los que la transmisión o la CDC casi en tiempo real vale el esfuerzo adicional.

• Machine learning: los pipelines de entrenamiento necesitan datos históricos de forma masiva; los pipelines de inferencia necesitan características nuevas. La ingesta sirve para ambas cosas: la ingesta por lotes puede utilizarse para los conjuntos de entrenamiento, y los patrones de menor latencia pueden utilizarse para los almacenes de características.

¿Cómo es una buena ingesta de datos?

Cuando los datos llegan completos y a tiempo, los analistas pueden dejar de dudar de sus cifras y de realizar comprobaciones de conciliación antes de cada informe.

Una buena ingesta de datos promete integridad. Todos los registros que deberían estar, están ahí. Una capa de ingesta bien diseñada se encarga de eliminar duplicados, rellenar los vacíos y detectar los registros que llegan tarde antes de que se conviertan en errores en los informes.

Los datos también llegan cuando se necesitan. Eso no siempre significa que lleguen lo más rápido posible, sino que los datos están disponibles antes de que el usuario los necesite.

¿Cuáles son los principales desafíos de la ingesta de datos?

La ingesta parece sencilla hasta que la ejecutas en múltiples sistemas de origen. Los siguientes desafíos de ingesta de datos suelen causar problemas con frecuencia.

Seguridad y exposición de los datos

Trasladar datos confidenciales (p. ej., transacciones financieras, información de identificación personal o registros de pago) a través de la infraestructura de ingesta crea exposición en cada salto. Los equipos que dirigen los datos de pago a través de un conector de extracción, transformación y carga (ETL) de terceros dan a ese proveedor acceso a todo su historial de transacciones. Que esto sea aceptable o no depende de los contratos de los proveedores, los requisitos de cumplimiento de la normativa y la tolerancia al riesgo.

Escalado

El volumen se acumula con el tiempo. Los cambios de esquema en los sistemas de origen pueden romper los pipelines de formas que no siempre afloran de inmediato. Las estrategias de partición, las cargas incrementales y el manejo de la evolución de esquemas son problemas de ingeniería que deben tenerse en cuenta antes de que se conviertan en incidentes.

Fragmentación

En muchas organizaciones, la ingesta está desorganizada en lugar de ser un sistema que se diseñó de forma intencionada. Supongamos que el equipo de datos ha creado un conector para Salesforce, mientras que el de ingeniería ha creado otro independiente para la base de datos de producción y el de finanzas tiene una exportación de valores separados por comas (CSV) que alguien sube cada lunes. El resultado son pipelines de datos duplicados e incoherentes que resultan difíciles de supervisar y aún más difíciles de confiar.

Fallos de calidad

A veces, los pipelines se rompen de forma obvia: un trabajo da error o un dashboard se queda en blanco. Pero los fallos también pueden estar ocultos. Por ejemplo, un cambio de esquema en una fase inicial podría eliminar una columna y, en consecuencia, a las tablas de fases posteriores les faltarían datos, o un límite de frecuencia de la interfaz de programación de aplicaciones (API) podría causar cargas parciales que parecen completas. Si no se realiza una supervisión que compruebe el recuento de filas, los rangos de valores y la integridad referencial, no te darás cuenta hasta que algo se rompa lo suficiente como para que llame la atención.

¿En qué se diferencia la ingesta de datos de ETL y ELT?

La ingesta de datos, ETL y ELT describen partes superpuestas del mismo proceso, pero significan cosas diferentes.

• Ingesta de datos: Es el acto de mover datos desde un origen a un sistema de destino. Se trata del transporte y la entrega. No tiene en cuenta si los datos cambian durante el tránsito.
  
• Extraer, transformar y cargar (ETL): Es una arquitectura en la que los datos se extraen del origen, se transforman en el medio (históricamente en una herramienta de transformación dedicada o servidor de almacenamiento temporal) y se cargan en el destino en su forma final y lista para ser consultada. La transformación ocurre antes de que lleguen los datos.
  
• Extraer, cargar y transformar (ELT): Es esa arquitectura pero con los últimos dos pasos invertidos. Los datos sin procesar llegan primero al almacén y la transformación ocurre allí utilizando un lenguaje de consulta estructurado (SQL) o herramientas como data build tool (dbt). Esto se volvió práctico a medida que los almacenes en la nube se volvieron lo suficientemente baratos y potentes como para ejecutar grandes transformaciones a escala, y ahora es el patrón dominante para las pilas de datos modernas.
  

¿Cómo ayuda un proveedor de servicios de pago con la ingesta de datos?

Stripe Data Pipeline es una sincronización directa desde Stripe a tu almacén o destino de almacenamiento en la nube sin intermediarios. Está disponible para los usuarios actuales de Stripe y se conecta a destinos como Snowflake, Redshift y Databricks. La configuración no requiere escribir código ni configurar conectores.

Así es como Stripe Data Pipeline ayuda con la ingesta de datos:

• Actualidad de los datos: las sincronizaciones se ejecutan continuamente y la mayoría de los datos están disponibles pocas horas después del evento subyacente.

• Datos históricos: cuando te conectas, obtienes acceso a todo tu historial de Stripe, en lugar de solo a los datos desde la fecha de conexión en adelante.

• Integridad de los datos: Stripe Data Pipeline incluye informes financieros preintegrados, como la conciliación de transferencias y el resumen de saldo, junto con conjuntos de datos seleccionados para casos de uso comunes, como los ingresos recurrentes mensuales (MRR) y el análisis de fraude. Los proveedores externos no pueden sincronizar estas fuentes de datos y requieren exportaciones manuales o la reconstrucción de los datos.

• Menor exposición a proveedores: como la sincronización es directa desde Stripe a tu almacén, tus datos de pagos no pasan por la infraestructura de un proveedor externo.