Der Paketdienstleister GLS kann durch die Stream-Processing-Lösung mit Confluent und Kafka schneller reagieren und für die Zukunft skalieren.

Die GLS-Gruppe verbindet mehr als 40 Länder in Europa und Nordamerika. Gemeinsam mit zuverlässigen Partnern werden Pakete weltweit zu Kunden gebracht, ob geschäftlich oder privat. Die Paketdistribution in Deutschland erfolgt über einen zentralen Umschlagplatz, 67 Depots und etwa 8.000 Paket-Shops. Mehr als 6.000 Fahrzeuge sind dabei täglich im Einsatz.

Grundsätzlich erkannte man bei GLS mit dem Blick auf zukünftige Herausforderungen drei Bereiche, die es zu optimieren galt: Die bei GLS entwickelte Versandlösung für Kunden (ShipIT) sollte für das beständige Wachstum und den internationalen Einsatz fit gemacht werden. Die bislang genutzten Werkzeuge für die Datenbankreplikation konnten den gestiegenen Anforderungen an Flexibilität und Skalierbarkeit nicht mehr genügen. 

In der Disposition, wo sich alles um einen reibungslosen Depot-Ablauf mit optimalem Überblick dreht, sollte außerdem zukünftig eine Daten-Pipeline basierend auf Stream-Processing ein operatives Dashboard in Sekundenschnelle aktualisieren. Somit sollten Abweichungen in der Prozesskette in Real-Time erfasst und darauf reagiert werden können. 

Schließlich stand auch im dritten Bereich, der die Zustellfahrzeuge betrifft, eine weitere Daten-Pipeline basierend auf Stream-Processing im Fokus. Diese sollte ermöglichen, dass Routenplanungen und sonstige Änderungen schnellstmöglich auf dem Mobilgerät des Fahrers ankommen, um bis zum Beladen des Fahrzeuges noch effektiver reagieren zu können.

Für das langfristige Ziel, die monolithische Anwendungsarchitektur aufzusplitten und zu einer agileren Microservices-Architektur und Real-Time Stream-Processing zu gelangen, wurden hier ebenfalls bereits die Grundlagen geschaffen. Die neue Strategie für die Kundenlösung ShipIT basiert auf einem Stream-Processing-Ansatz und CDC. 

Änderungen in den zentralen GLS-Datenbanken werden mit CDC in Kafka Events übersetzt und in die Confluent Cloud geschrieben, wo sie mittels KStreams aufbereitet werden. Für die Versandlösung ShipIT konsumiert ein Kafka-Consumer die Daten und synchronisiert die PostgreSQL-Datenbanken der Clients. Dazu wurden auf Java-Spring-Boot basierende REST-APIs geschaffen. Neue Anforderungen, die keinen zwingenden Zugriff mehr auf die zentralen Datenbanken benötigen, werden zukünftig direkt als Microservices auf Basis von Kafka-Technologien in der Cloud entwickelt. 

Gleichzeitig werden die Daten für die Bereiche Depot und Zustellfahrzeuge ebenfalls aus den zentralen Datenbanken mittels CDC in Kafka Messages übersetzt, nachfolgend mittels Kafka Streams aufbereitet und für die jeweiligen Anwendungen in den GLS Depots bereitgestellt.

Die Vorteile der neuen Lösung für GLS sind bereits deutlich auch in geschäftskritischen Prozessen spürbar: Durch den Stream-Processing-Ansatz werden die Daten deutlich schneller verarbeitet. Änderungen sind nun in Real-Time sichtbar und nicht mehr mit technologiebedingter Verzögerung wie bislang im Batch-Processing. Vorgänge, deren Bearbeitung in der Vergangenheit teilweise mehrere Stunden benötigten, konnten auf wenige Minuten heruntergebrochen werden. Direkte Auswirkungen hat dies z. B. im Bereich Depot, in dem die Fahrer beim Beladen der Zustellfahrzeuge wertvolle Minuten täglich einsparen können, weil rascher auf Abweichungen und Routenänderungen reagiert werden kann. Auch bei ShipIT erhalten nun alle Prozesse viel schneller Zugriff auf wichtige Ereignisse, wie z. B. Stammdatenänderungen, können dadurch effizienter gestaltet werden und somit wichtige Zeit einsparen. 

Durch die Write-Once/Read-Many-Fähigkeiten von Kafka wird eine hohe Skalierbarkeit erreicht, sodass aktuell bereits doppelt so vielen Kunden der Zugriff auf die ShipIT-Lösung ermöglicht werden konnte und einem weiteren Ausbau im internationalen Umfeld nichts mehr entgegensteht. 

Die SVA Experten legten in Zusammenarbeit mit Confluent Wert darauf, die Lösung in enger Abstimmung mit der GLS IT gemeinsam zu erarbeiten, um für größtmögliche Transparenz zu sorgen. Dadurch konnten viele Herausforderungen früh erkannt und auch benötigtes Wissen beim Kunden aufgebaut werden. So vermittelte das Projektteam etwa die Expertise zum optimalen Einsatz einer Event Driven Architecture. 

Durch die Auslagerung der CDC-Events in Kafka wurden die zentralen Datenbanken deutlich entlastet und können nun Stück für Stück verkleinert werden. Die implementierten Lösungen laufen stabil und skalieren entsprechend der Anforderungen, somit konnte der Einstieg in die Stream-Processing-Welt bei GLS erfolgreich gemeistert werden.