Die Datenaufnahme ist der erste Schritt in jeder Datenpipeline. Sie bezieht sich auf den Prozess des Sammelns von Daten aus Quellsystemen und deren Übertragung in ein Warehouse, einen Data Lake oder eine Analyseplattform, wo sie abgefragt werden können.

Wenn die Datenaufnahme fehlschlägt, erhalten Sie veraltete Dashboards, fehlerhafte Abgleiche und Modelle für maschinelles Lernen, die mit unvollständigen Daten trainiert wurden. Schlimmer noch: Schlechte Daten können Ihr Geschäftsergebnis beeinträchtigen. Mehr als 25 % der Organisationen gaben an, dass sie aufgrund schlechter Datenqualität jährlich mindestens 5 Mio. USD verlieren.

Im Folgenden sehen wir uns genauer an, was die Datenaufnahme ist, welche die wichtigsten Datenaufnahmemuster sind, welche Anwendungsfälle die meisten Pipeline-Investitionen antreiben und welchen Herausforderungen Teams gegenüberstehen.

Das Wichtigste auf einen Blick

• Die Datenaufnahme verschiebt Daten aus Quellsystemen an ein Ziel, wo sie gespeichert und abgefragt werden können. Das Muster, für das sich ein Unternehmen entscheidet, bestimmt, wie aktuell diese Daten sind.

• Die Zuverlässigkeit der Aufnahme hängt von zwei Faktoren ab: Vollständigkeit (d. h. alle Datensätze, die dort sein sollten, sind auch vorhanden) und Aktualität (d. h. die Daten landen, bevor die erste Person sie benötigt).

• Ein moderner Zahlungsdienstleister kann Daten direkt mit Zielen wie Snowflake, Redshift und Amazon S3 synchronisieren. Dies gibt Unternehmen Zugriff auf ihren vollständigen Transaktionsverlauf ohne kundenspezifisches Engineering oder Konnektoren von Drittanbietern.

Die Datenaufnahme ist der Prozess, bei dem Daten aus Quellsystemen abgerufen und in ein Ziel geladen werden, wo sie gespeichert, abgefragt und verwendet werden können. Dabei werden Daten in Warehouses, Data Lakes und Analyseplattformen eingespeist.

Im Zahlungskontext kann die Datenaufnahme das Erfassen von Daten aus unterschiedlichen Quellen umfassen, darunter Point of Sale-Systeme (POS), E-Commerce-Websites und Zahlungs-Gateways.

Was sind die wichtigsten Arten der Datenaufnahme?

Wie aktuell Ihre Daten sein müssen – und wie veraltet die Daten sein dürfen, bevor sie nicht mehr nützlich sind – bestimmt, welche Methode zur Datenaufnahme für Ihr Unternehmen am besten geeignet ist.

Dies sind die wichtigsten Methoden, die in Betracht gezogen werden sollten.

Batch-Aufnahme

Bei der Batch-Aufnahme werden Daten nach einem Zeitplan abgerufen und in großen Mengen verschoben. Die Latenz beträgt Stunden oder Tage, was für viele Workloads in Ordnung ist. Finanzabschlüsse, wöchentliche Berichte an die Geschäftsleitung und historische Trendanalysen (z. B. Abwanderungsanalysen) können diese Art von Daten in der Regel verwenden.

Streaming-Aufnahme

Die Streaming-Aufnahme verarbeitet Ereignisse, sobald sie generiert werden, wodurch die Latenz auf Sekunden oder weniger sinkt. Die Infrastruktur ist anspruchsvoller – Sie arbeiten in der Regel mit Systemen wie Apache Kafka oder Cloud-nativen Entsprechungen – und Ihre Verbraucheranwendungen müssen Ereignisse, die außerhalb der Reihenfolge auftreten, und die Mindestens-einmal-Zustellung verarbeiten. Dies ist in der Regel die richtige Wahl, wenn der Wert von Daten Betrugssignale, Live-Bestände und Echtzeit-Personalisierung erfordert.

Change Data Capture

Change Data Capture (CDC) liest das Transaktionsprotokoll einer Quelldatenbank und gibt nur die Änderungen aus, wodurch die Latenz in Minuten liegt, ohne dass wiederholte Vollständige-Tabellen-Lesevorgänge durchgeführt werden müssen. Es liegt hinsichtlich Komplexität und Aktualität zwischen Batch und Streaming und ist besonders nützlich, wenn Sie die Genauigkeit eines relationalen Systems in nahezu Echtzeit (NRT) benötigen.

Was sind gängige Anwendungsfälle für die Datenaufnahme?

Die Datenaufnahme dient dazu, einen nachgelagerten Prozess zu bedienen. Das von Ihnen gewählte Muster hängt stark davon ab, wie die Daten verwendet werden.

Hier sind die gängigen Anwendungsfälle für die Datenaufnahme:

• Business Intelligence (BI)-Berichterstattung: Umsatz, Konversion, Abwanderung und Support-Volumen speisen Dashboards, die von Teams täglich überprüft werden. Die Aktualität der Aufnahme bestimmt, wie aktuell diese Daten sind.

• Finanzberichterstattung: Monats- und Quartalsabschlüsse hängen von der vollständigen und genauen Landung von Transaktionsdaten in einem Warehouse ab, wo die Finanzabteilung ihre Abfragen ausführen kann. Vollständigkeit ist hier genauso wichtig wie Aktualität.

• Kunden- und Produktanalysen: Verhaltensbezogene Ereignisdaten kombiniert mit Kundenbeziehungsmanagement (CRM)- und Transaktionsdaten geben den Produkt- und Wachstumsteams das vollständige Bild. Durch die Aufnahme werden diese Quellsysteme miteinander verbunden und der kombinierte Datensatz kann abgefragt werden.

• Betrugsüberwachung: Eine Entscheidung, die aufgrund von Daten getroffen wird, die 12 Stunden alt sind, ist oft eine Entscheidung, die aufgrund von irrelevanten Daten getroffen wird. Betrugserkennung ist einer der Fälle, in denen sich Streaming oder Fast-Echtzeit-CDC trotz des zusätzlichen Aufwands lohnt.

• Maschinelles Lernen: Trainingspipelines benötigen massenhaft historische Daten; Inferenzpipelines benötigen neue Funktionen. Die Aufnahme bedient beides: Batch-Aufnahme kann für Trainingssätze verwendet werden und Muster mit geringerer Latenz können für Feature Stores verwendet werden.

Wie sieht eine gute Datenaufnahme aus?

Wenn die Daten sowohl vollständig als auch termingerecht eintreffen, können die Analystinnen und Analysten aufhören, an ihren Zahlen zu zweifeln und vor jedem Bericht Abgleiche durchzuführen.

Eine gute Datenaufnahme verspricht Vollständigkeit. Alle Datensätze, die vorhanden sein sollten, sind auch dort. Eine gut konzipierte Aufnahmeebene übernimmt die Deduplizierung, das Nachfüllen von Lücken und das Abfangen von verspätet eintreffenden Datensätzen, bevor sie zu Berichtsfehlern werden.

Die Daten kommen auch dann an, wenn sie benötigt werden. Das bedeutet nicht immer, dass es so schnell wie möglich geht, sondern dass die Daten landen, bevor die Nutzer/innen sie benötigen.

Was sind die größten Herausforderungen bei der Datenaufnahme?

Die Aufnahme sieht unkompliziert aus, bis Sie sie über mehrere Quellsysteme hinweg ausführen. Die folgenden Herausforderungen bei der Datenaufnahme bereiten durchgängig Probleme.

Sicherheit und Offenlegung von Daten

Die Verschiebung sensibler Daten (z. B. Finanztransaktionen, personenbezogene Daten, Zahlungsaufzeichnungen) durch die Aufnahmeinfrastruktur führt bei jedem Schritt zu Offenlegungen. Teams, die Zahlungsdaten über einen Extrahieren-, Transformieren- und Laden (ETL)-Konnektor von Drittanbietern weiterleiten, gewähren diesem Anbieter Zugriff auf ihren vollständigen Transaktionsverlauf. Ob das akzeptabel ist, hängt von Anbieterverträgen, Compliance-Anforderungen und der Risikobereitschaft ab.

Skalierung

Das Volumen nimmt mit der Zeit zu. Schemaänderungen in Quellsystemen können Pipelines auf eine Art und Weise unterbrechen, die nicht immer sofort erkennbar ist. Partitionierungsstrategien, inkrementelle Ladevorgänge und die Handhabung der Schemaentwicklung sind technische Probleme, die berücksichtigt werden müssen, bevor sie zu Vorfällen führen.

Fragmentierung

In vielen Organisationen ist die Aufnahme eher unorganisiert als ein System, das bewusst entworfen wurde. Angenommen, das Datenteam hat einen Konnektor für Salesforce erstellt, während die Entwicklung einen separaten Konnektor für die Produktionsdatenbank entwickelt hat und die Finanzabteilung über einen CSV-Export (Comma-Separated Values) verfügt, der jeden Montag von jemandem hochgeladen wird. Das Ergebnis sind doppelte, inkonsistente Daten-Pipelines, die schwer zu überwachen und noch schwerer als vertrauenswürdig einzustufen sind.

Qualitätsmängel

Pipelines gehen manchmal auf offensichtliche Weise kaputt: ein Job gibt einen Fehler aus oder ein Dashboard ist plötzlich leer. Aber Fehler können auch versteckt sein. Beispielsweise kann eine Schemaänderung im Upstream dazu führen, dass eine Spalte entfernt wird, woraufhin in den Tabellen im Downstream Daten fehlen, oder eine API-Begrenzung kann dazu führen, dass teilweise geladene Daten fälschlicherweise als vollständig angezeigt werden. Ohne eine Überwachung, die Zeilenanzahlen, Wertebereiche und die referenzielle Integrität prüft, werden Sie es nicht bemerken, bis etwas so stark kaputt geht, dass es auffällt.

Wie unterscheidet sich die Datenaufnahme von ETL und ELT?

Datenaufnahme, ETL und ELT beschreiben sich überschneidende Teile derselben Pipeline, bedeuten aber unterschiedliche Dinge.

• Datenaufnahme: Dies ist der Vorgang, bei dem Daten von einer Quelle in ein Zielsystem verschoben werden. Es geht um Transport und Lieferung. Dabei wird nicht berücksichtigt, ob sich die Daten während der Übertragung ändern.
  
• Extract, Transform, Load (ETL): Dies ist eine Architektur, bei der Daten aus der Quelle extrahiert, in der Mitte transformiert – historisch in einem dedizierten Transformationstool oder auf einem Staging-Server – und in ihrer endgültigen, abfragebereiten Form in das Ziel geladen werden. Die Transformation erfolgt, bevor die Daten eintreffen.
  
• Extract, Load, Transform (ELT): Dies entspricht dieser Architektur, jedoch mit umgekehrten letzten beiden Schritten. Rohdaten landen zuerst im Warehouse und die Transformation erfolgt dort mittels Structured Query Language (SQL) oder Tools wie dem Data Build Tool (dbt). Dies wurde praktikabel, als Cloud-Warehouses günstig und leistungsstark genug wurden, um umfangreiche Transformationen in großem Maßstab durchzuführen, und es ist heute das vorherrschende Muster für moderne Daten-Stacks.
  

Wie unterstützt ein Zahlungsdienstleister die Datenaufnahme?

Stripe Data Pipeline bietet eine direkte Synchronisierung von Stripe mit Ihrem Warehouse oder Cloud-Speicherziel ohne Zwischenhändler. Es ist für bestehende Stripe-Nutzer/innen verfügbar und kann mit Zielen wie Snowflake, Redshift und Databricks verbunden werden. Für die Einrichtung müssen Sie keinen Code schreiben oder Konnektoren konfigurieren.

So unterstützt Stripe Data Pipeline bei der Datenaufnahme:

• Datenaktualität: Die Synchronisierungen erfolgen kontinuierlich. Die meisten Daten sind innerhalb weniger Stunden nach dem zugrunde liegenden Ereignis verfügbar.

• Historische Daten: Wenn Sie eine Verbindung herstellen, erhalten Sie Zugriff auf Ihren gesamten Stripe-Verlauf, anstatt nur auf Daten ab dem Verbindungsdatum.

• Datenvollständigkeit: Die Stripe Data Pipeline umfasst vorgefertigte Finanzberichte, wie zum Beispiel den Abgleich von Auszahlungen und eine Saldoübersicht, sowie kuratierte Datensätze für gängige Anwendungsfälle, wie zum Beispiel den monatlich wiederkehrenden Umsatz (MRR) und Betrugsanalysen. Drittanbieter können diese Datenquellen nicht synchronisieren und erfordern manuelle Exporte oder die Rekonstruktion von Daten.

• Reduziertes Anbieterrisiko: Da die Synchronisierung direkt von Stripe in Ihr Warehouse erfolgt, durchlaufen Ihre Zahlungsdaten nicht die Infrastruktur eines Drittanbieters.