Anschlussprojekte | Sonderprojekte

Förderbeginn 01.01.2026

KI-gestützte automatische CT-Segmentierung und Färbung für Mixed-Reality Path-Tracing Visualisierung

Prof. Dr. Daniel Roth
Technische Universität München
TUM University Hospital

Dr. Christoph Leuze
Stanford University
WU Tsai Insitute


CT-Aufnahmen werden routinemäßig bei medizinischen Untersuchungen angefertigt und üblicherweise als Graustufen-Slices betrachtet. Das schränkt die intuitive räumliche Wahrnehmung ein. Moderne 3D-Anatomievisualisierungen können realistischere Darstellungen liefern und das räumliche Verständnis verbessern. Eine wesentliche Hürde dafür ist die Erstellung der Transferfunktionen, die CT-Dichtewerte in Farben übersetzt.

Wir planen die Erstellung dieser Transferfunktionen mittels Deep Learning zu automatisieren. Ziel ist es, Nutzern zu ermöglichen, Farben auf Anatomie-Ebene statt anhand roher Dichtewerte zuzuweisen. Unsere Pipeline segmentiert zunächst CT-Volumina in anatomische Strukturen und leitet daraus Dichtebereiche ab. In Kombination mit ergänzenden Daten wie anatomischen Lookup-Tabellen und nutzerdefinierten Farben können wir die Low-Level-Transferfunktion automatisch generieren.

Das System wird Visualisierungen für Zielgrößen wie maximalen Kontrast oder bessere Unterscheidbarkeit optimieren können und dabei stilistische Vorgaben der Nutzer respektieren. Zudem planen wir, Parameter wie Farbe und Helligkeit automatisch an verschiedene Mixed-Reality-Geräteklassen anzupassen. Außerdem integrieren wir früheren Arbeiten zur Anatomievisualisierung und stellen eine reproduzierbare Pipeline sowie den Code zur Verfügung, um Forschung und klinische Anwendung zu erleichtern.