GenAI-Infrastruktur für das intelligente Krankenhaus

Ein großes deutsches Universitätsklinikum mit mehreren Dutzend Kliniken, zahlreichen interdisziplinären Forschungsinstituten und mehreren Hunderttausend stationären und ambulanten Patientinnen und Patienten pro Jahr gehört zu den führenden Maximalversorgern in Deutschland. Das Haus verfolgt eine konsequente Digitalisierungsstrategie mit dem Ziel, KI als festen Bestandteil des klinischen Alltags zu etablieren. Dafür wurde eigens eine Abteilung für Künstliche Intelligenz in der Medizin gegründet, in dem Datenwissenschaftler, Forscher und Ärzte gemeinsam KI-Anwendungen für den klinischen Einsatz entwickeln.

Der zunehmende Fachkräftemangel im medizinischen und pflegerischen Bereich sowie eine wachsende Patientenpopulation mit vielfältigen sprachlichen und klinischen Anforderungen machten eine neue Qualität der digitalen Unterstützung notwendig. Das Klinikum wollte Large Language Models und multimodale KI-Modelle – die Sprache, Bilder und Dokumente kombiniert verarbeiten – sowohl für die Forschung, als auch im laufenden Klinikbetrieb einsetzen. Dabei war die vollständige Kontrolle über hochsensible Patientendaten nicht verhandelbar: Cloud-Lösungen schieden aus. Gesucht wurde eine leistungsfähige, On-Premises betreibbare GenAI-Infrastruktur, die mehrere Forschungs- und Anwendungsteams gleichzeitig bedienen kann.

Das Klinikum entschied sich für den Aufbau einer Dell AI Factory with NVIDIA auf Basis von Dell PowerEdge XE9680-Servern, ausgestattet mit NVIDIA H100 Tensor Core-GPUs und NVIDIA CUDA-X KI Software. Die gesamte Infrastruktur wird vollständig On-Premises betrieben – um die Hoheit über hochsensible Patientendaten zu wahren und gleichzeitig die für den Klinikbetrieb erforderliche Verfügbarkeit und Latenz sicherzustellen. 

Im Kern der Lösung stehen die Dell PowerEdge XE9680-Server, die für intensive GenAI-Workloads ausgelegt sind und mit den NVIDIA H100 Tensor Core-GPUs die notwendige Rechenleistung für das Training und den parallelen Betrieb komplexer LLMs bereitstellen. Die Ergänzung durch NVIDIA CUDA-X KI ermöglicht es den Forschern und Entwicklern, hochleistungsfähige, GPU-beschleunigte Anwendungen für konversationelle KI zu entwickeln – von einfachen Chatbot-Szenarien bis hin zu anspruchsvollen multimodalen Modellen, die Sprache, medizinische Bilddaten und strukturierte Dokumente gleichzeitig verarbeiten. 

Ein zentraler Vorteil der Dell AI Factory liegt in ihrer integrierten Auslegung: Infrastruktur, Software und Betriebsstrategien greifen von Anfang an ineinander und ermöglichen es dem Klinikum, GenAI-Anwendungen zügig zu entwickeln, zu testen und in den produktiven Betrieb zu überführen. Die Skalierbarkeit der Plattform stellt sicher, dass auch künftige Anforderungen, etwa der Betrieb noch größerer Modelle oder die Anbindung weiterer klinischer Systeme, ohne grundlegende Infrastrukturänderungen abgebildet werden können. Mehrere Teams können parallel und unabhängig voneinander an unterschiedlichen Anwendungsfällen arbeiten, ohne sich in der verfügbaren Rechenkapazität gegenseitig zu limitieren.

Seit der Inbetriebnahme der Infrastruktur konnte das Klinikum die Zeit für GenAI-Aufgaben um 50 Prozent reduzieren. Chatbots stellen Informationen nun deutlich schneller bereit und unterstützen Patienten und Pflegekräfte bei der Kommunikation – inklusive automatischer Echtzeit-Übersetzung in die jeweilige Muttersprache, was gerade in einem internationalen Umfeld mit Mitarbeitern und Patienten aus vielen Nationen täglich spürbaren Mehrwert bringt. KI-gestützte Roboter übernehmen administrative Aufgaben bei der Patientenaufnahme und der Informationsbereitstellung und entlasten so das klinische Personal nachhaltig. Ärzte gewinnen damit wertvolle Zeit, die sie gezielt für die Versorgung von Patienten mit komplexen oder dringenden Anforderungen einsetzen können. Große Sprachmodelle unterstützen zudem bei der Verarbeitung medizinischer Informationen – etwa bei der Strukturierung aufgezeichneter Arzt-Patienten-Gespräche oder der Übersetzung medizinischer Fachbegriffe in verständliche Sprache.