Event Streaming
Ein Zentrales Nervensystem für Big Data im Behördenwesen
Echtzeitdatenanalyse
Mit Event-Streaming können algorithmenbasierte Analysen und umfangreiche, automatisierte KI-Verfahren zur Mustererkennung gefahren werden. So gelingt es bspw., bei Finanz- und Sicherheits- oder Aufsichtsbehörden Anomalien und Betrugsmuster in Echtzeit zu erkennen und Hinweise auf potenziell betrügerisches Handeln zu liefern.
Die Datenstrategie der Bundesregierung vom 27. Januar 2021 unterstreicht die Bedeutung der Echtzeitdatenverarbeitung. Dort heißt es: "Die Verwaltung benötigt für ein vorausschauendes und evidenzbasiertes Handeln auch kurzfristig valide Daten aus unterschiedlichen Bereichen, um Entscheidungen treffen, deren Auswirkungen überprüfen und die Entscheidungen ggf. anpassen zu können. Regieren und verwalten in Echtzeit erfordert Echtzeitdaten. Damit ist die Herausforderung verbunden, für gutes Regieren und Verwalten eine hohe Datenqualität zu gewährleisten. Daten sind nur dann verfügbar, wenn der Staat sehr viel intensiver als bisher selbst mit Daten arbeitet."
Die grundlegende Idee des Event-Streaming liegt darin, Daten nicht länger sächlich zu betrachten, sondern als Fluss von Ereignissen. Das ermöglicht, die Reaktionszeit (Latenz) auf unter 10 Millisekunden zu senken. Diese Echtzeitverarbeitung ist die Grundlage, aus großen Datenmengen moderne Big-Data-Anwendungspotenziale zu schöpfen. Für viele Anwendungen sind eben diese direkten Reaktionen und Interaktionen Teil des Entdeckungsverfahrens für neuartige Dienste und Anwendungen.
Die technische Grundlage für solche Anwendung wurde für ein Soziales Karrierenetzwerk als Open-Source-Projekt entwickelt und verarbeitet dort jeden Tag mehrere Billionen Eingaben. Solche Ereignisse können Nutzereingaben, Sensoren oder andere ereignisgetriebene Prozesse sein. Die Event-Streaming Plattform Kafka verarbeitet diese Inhalte mit einem Zeitstempel und sortiert zu Themenblöcken zu. Diese Daten stehen dann für unterschiedliche Interpretatoren zur Verfügung.
Event-Streaming-Plattformen sind ein Vermittler zwischen Datenproduzenten, die Ereignisse in das System melden und Daten-Konsumenten, die auf dieser Grundlage Dienste oder Auswertungen zur Verfügung stellen oder die in bestehende Systeme und Speicher überführen. Klassische Anwendungsbeispiele sind die Verkehrsüberwachung oder die Betrugserkennung.
![Icon Big Data](/sites/default/files/styles/33_column/public/2022-02/icon-oed-big-data-sva-2022.png?itok=1r-WqkQI)
Die SVA als geheimschutzbetreuter Spezialist führt seit vielen Jahren KI-Projekte bei zahlreichen Behörden und Organisationen mit Sicherheitsaufgaben auf Bundes- und Landesebene erfolgreich zum Abschluss
Sie haben Fragen?
Falls Sie mehr zu diesem Thema erfahren möchten, freue ich mich über Ihre Kontaktaufnahme.
Zum Kontaktformular![Christian Behlen (Managing Consultant)](/sites/default/files/styles/contact_person_169_169/public/2021-05/Behlen_Christian_ohne-Krawatte_web.jpg?h=30f0f0ba&itok=NjaTOBZT)