Anschlussprojekte | Sonderprojekte

Förderbeginn 01.01.2024

Fog Computing-basierter Einsatz von großen Sprachmodellen für digitale Gesundheit und Bildung

Prof. Dr. Stefan Krusche
Technische Universität München
Informatics 1 – Chair of Distributed Systems & Operating Systems

Prof. Dr. Oliver Oppers Aalami
Stanford University
Byers Center for Biodesign


Stanford's HealthGPT und LLMonFHIR zeigen, dass Large Language Models (LLMs) in der Lage sind, die Gesundheitskompetenz von Patienten zu erhöhen, indem sie ihre Gesundheitsdaten in natürlicher Sprache abfragen und Kontext dazu bereitstellen. Angesichts der zentralisierten, undurchsichtigen Natur von Cloud-LLM-Anbietern und der Sensibilität persönlicher Gesundheitsdaten führt die Nutzung dieser Dienste zu erheblichen Bedenken in Bezug auf Datenschutz, Vertrauen und Sicherheit, aber auch in finanzieller Hinsicht. Daher untersucht das Team die Verlagerung der LLM-Ausführungsumgebung von Cloud-Anbietern näher an das Gerät des Patienten mittels Verwendung lokaler Rechenressourcen oder dynamischer Fog Computing Architekturen. Die Ausführung von Open-Source LLMs in vertrauenswürdigeren Umgebungen, wie dem Edge-Gerät des Patienten oder im sogenannten Fog-Layer, der durch das lokale Netzwerk repräsentiert wird (z.B. innerhalb einer Klinik oder einer Universität im Rahmen einer Vorlesung), soll dazu beitragen, die Herausforderungen von cloud-basierten LLMs in Bezug auf Datenschutz und Ressourcen zu meistern. Unser Hauptziel ist die Entwicklung einer wiederverwendbaren und datenschutzfreundlichen Architektur für die Integration von LLMs in bestehende und neu entstehende Infrastrukturen, wobei der Fokus auf der Förderung von Bildung und Gesundheitskompetenz liegt. Darüber hinaus erforscht das Team effektive Mechanismen, um LLM-basierte Anfragen innerhalb einer Fog Computing Architektur zu multiplexen und eine vertrauenswürdige Ausführungsumgebung mittels des von Nutzern bereitgestellten Kontexts zu etablieren, insbesondere im medizinischen Umfeld und von Studenten in Bildungsumgebungen.

Abschlussbericht
Large Language Models (LLMs) bieten ein erhebliches Potenzial, die Gesundheitskompetenz von Patienten zu stärken, indem sie Kontext für komplexe medizinische Daten liefern. Die Abhängigkeit von zentralisierten Cloud-Anbietern bei der Verarbeitung geschützter Gesundheitsinformationen wirft jedoch kritische Fragen hinsichtlich Datenschutz, Vertrauen und Kosten auf. Um diese Barrieren zu überwinden, hat unser Projekt die Verlagerung der LLMAusführungsumgebung von intransparenten Cloud-Diensten hin zu einer dezentralen, dynamischen Fog-Computing-Architektur untersucht. Durch den Einsatz von Open-Weight- Modellen in vertrauenswürdigen Umgebungen, etwa auf dem Edge-Gerät des Patienten oder einer lokalen Fog-Schicht innerhalb einer Klinik, zielten wir darauf ab, die mit Cloud-KI verbundenen Datenschutz- und Ressourcenherausforderungen zu bewältigen. Unser primäres Ziel war es, die notwendigen Softwaremechanismen zu entwickeln, um LLM-Inferenzaufgaben über dieses dezentrale System zu verteilen und so Privatsphäre, Vertrauen und Kosteneffizienz im digitalen Gesundheitswesen sowie in anderen sensiblen Bereichen zu steigern. Hierfür haben wir SpeziLLM (https://github.com/StanfordSpezi/SpeziLLM) entwickelt, ein Open-Source-Framework innerhalb des Stanford Spezi-Softwareökosystems (https://github.com/StanfordSpezi). SpeziLLM dient als einheitliche, LLM-agnostische Schnittstelle, die Inferenzaufgaben transparent über drei Ebenen orchestriert: Edge, Fog und Cloud. Anstatt Entwickler mit komplexem Infrastrukturmanagement und dem Rechenaufwand der LLM-Inferenz zu belasten, erkennt das Framework dynamisch lokale Inferenzdienste oder nutzt die hardwarebeschleunigte Ausführung auf mobilen Endgeräten für optimierte Berechnungen. Wir haben die Vielseitigkeit des Frameworks durch die Integration in sechs digitale Gesundheitsanwendungen demonstriert, darunter LLMonFHIR (https://github.com/StanfordBDHG/LLMonFHIR) und HealthGPT (https://github.com/StanfordBDHG/HealthGPT). Diese Fallstudien verdeutlichten die Fähigkeit von SpeziLLM, sensible Aufgaben mit geringerer Komplexität (wie die Zusammenfassung von Patientenakten) an lokale oder Fog-Umgebungen zu leiten, während Cloud-Ressourcen für komplexe logische Schlüsse reserviert bleiben. Dadurch wird eine optimale Balance zwischen Datenschutz, Leistung und Kosten erreicht. Die Ergebnisse dieser Arbeit wurden in dem Paper „Dynamic Fog Computing for Enhanced LLM Execution in Medical Applications“ auf der IEEE/ACM Conference on Connected Health (CHASE 2025) veröffentlicht (https://www.sciencedirect.com/science/article/pii/S2352648325000388). Als modulare Open- Source-Software ist SpeziLLM nun für Institutionen weltweit zugänglich fördert Studierende sowie Forschende im Bereich der datenschutzfreundlichen KI-Entwicklung. Wir danken BaCaTeC für die Unterstützung dieser Zusammenarbeit zwischen Kalifornien und Bayern; die Förderung war maßgeblich an der Entwicklung von SpeziLLM und der Stärkung der akademischen Verbindungen zwischen der Technischen Universität München und der Stanford University beteiligt. Diese Unterstützung ermöglichte den Austausch von Fachwissen, der notwendig war, um die Lücke zwischen fortschrittlicher KI-Berechnung und datenschutzkonformen medizinischen Anwendungen zu schließen.