Anschlussprojekte | Sonderprojekte

Förderbeginn 01.07.2025

Longitudinale Analyse räumlich ausgerichteter radiologischer Bilddaten mit multimodalen großen Sprachmodellen

Prof. Dr. Daniel Rückert
Technische Universität München
School of Medicine and Health - Klinikum rechts der Isar

Prof. Dr. Akshay Chaudhari
Stanford University
Stanford Center for Artificial Intelligence in Medicine and Imaging (AIMI)


Fortschritte im Bereich der künstlichen Intelligenz haben zur Entwicklung großskaliger Deep-Learning- Modelle geführt, die medizinische Bilddaten und klinische Texte gemeinsam analysieren können. In diesem Projekt wird ein neuartiger Rahmen vorgestellt, der deformierbare Bildregistrierung mit Vision- Language-Modellen kombiniert, um die Leistung nachgelagerter radiologischer Aufgaben zu verbessern. Das vorgeschlagene System registriert longitudinale MRT- und CT-Aufnahmen räumlich, kodiert volumetrische Bildmerkmale in eine multimodale Vision-Language-Repräsentation und generiert klinisch relevante Interpretationen. Diese Integration ermöglicht eine präzise Überwachung des Krankheitsverlaufs, die automatisierte Quantifizierung von Tumordynamiken sowie die Beurteilung des Therapieansprechens über die Zeit. Durch systematische Entwicklung und Evaluation soll die Machbarkeit und der Nutzen einer registrierungsbasierten, KI-gestützten Analyse longitudinaler medizinischer Bilddaten demonstriert werden und somit der Stand der Technik in der automatisierten radiologischen Auswertung weiterentwickelt werden.