Förderprojekte

Förderbeginn 01.07.2024

Multimodale Large Language Modelle für die Analyse volumetrischer Radiologiebilder

Prof. Dr. Nassir Navab
Technische Universität München
Fakultät für Informatik

Prof. Dr. Akshay Chaudhari
Stanford University
Stanford Center for Artificial Intelligence in Medicine and Imaging (AIMI)

Dieses Kooperationsprojekt zwischen den Forschungsgruppen CAMP der Technischen Universität München und MIMI der Stanford University konzentriert sich auf die Entwicklung multimodaler großer Sprachmodelle (MLLMs) für die Analyse volumetrischer Radiologiebilder. Die Forschung zielt darauf ab, die bestehende konversationsbasierte Radiologie-Assistenten zu erweitern, indem Modelle entwickelt werden, die 3D-Bilder, wie z.B. CT-Scans, zusammen mit Texten wie der Patientenhistorie und klinischen Metadaten verarbeiten können. Durch die Integration dieser verschiedenen Datentypen soll das Projekt die Interpretation und Analyse volumetrischer medizinischer Bilder für ein ganzheitliches Patientenverständnis verbessern. Das Team wird die Robustheit und klinische Korrektheit der Modelle bewerten, um ihre Eignung für reale Anwendungen zu prüfen. Diese Zusammenarbeit legt den Grundstein für interaktive Konversationsassistenten in der Radiologie, die die diagnostische Genauigkeit und Effizienz bei der Interpretation medizinischer Bilder verbessern könnten.