Skalierbare Daten-Pipelines mit Apache NiFi
Eine zentrale Herausforderung von datenlastigen Systemen ist der Umgang mit vielfältigen, heterogenen Datenquellen. Ein wichtiger Teil ist der Datentransport, also der Transfer von Daten z. B. aus relationale Datenbanksystemen, Kafka, FTP-Servern oder IoT-Geräten als Quellsysteme in andere Systeme, wie z.B. ElasticSearch, Hadoop oder AWS S3. Während man früher für eine solche Herausforderung eigene Java-Applikationen geschrieben hätte oder vielleicht sogar einen Enterprise-Service-Bus verwendet hätte, kommt heute immer mehr die Forderung nach hoch skalierbaren, einfach bedienbaren und vielseitigen Tools.
0 Kommentare