Anschlussprojekte | Sonderprojekte

Förderbeginn 01.07.2024

Datengetriebene Formkorrespondenzen für die 3D-Szenenanalyse in der realen Welt

Prof. Dr. Daniel Cremers
Technische Universität München
Informatik IX - Computer Vision Group

Prof. Leonidas Guibas
Stanford University
Artificial Intelligence Laboratory


Shape-Matching ist in der Computer Vision für Aufgaben wie 3D-Rekonstruktion und Animation von entscheidender Bedeutung. Derzeitige Methoden verwenden functional maps Ansatz, haben aber aufgrund von Verdeckungen, topologischen Veränderungen und Ausrichtungsfehlern Probleme mit Daten in freier Wildbahn.

Die Computer Vision Group an der TUM und die Stanford's Geometric Computation Group haben sich zum Ziel gesetzt, ein robustes Modell für den Abgleich von "in-the-wild"-Formen zu entwickeln. Sie werden Fortschritte in Äquivarianztechniken und maschinellem Lernen nutzen, um einen Algorithmus zu entwickeln, der den Bedarf an Datenbereinigung reduziert und bestehende Methoden für reale Anwendungen verbessert. Beide Institutionen werden Fachwissen und Ressourcen für groß angelegte Experimente zur Verfügung stellen.

Abschlussbericht
Aktivität:

Im Rahmen dieser Initiative zwischen der TUM und Stanford wurde der aktuelle Stand der Technik im Bereich der nicht-starren Formkorrespondenzen gründlich überprüft. Eine eingehende Analyse der Grenzen bestehender Methoden bildet die Grundlage für die Entwicklung eines neuartigen und robusten Ansatzes, der darauf ausgelegt ist, reale Herausforderungen zu bewältigen und gleichzeitig den manuellen Aufwand zu minimieren. Erste experimentelle Studien haben vielversprechende Ergebnisse erbracht, und umfangreiche Evaluierungen sind aktuell im Prozess.

Output:

Das Finden von Korrespondenzen nicht starrer Formen ist eine kritische Aufgabe in der Computer Vision und Grafik, mit Anwendungen in der statistischen Formanalyse, der archäologischen Erforschung, der medizinischen Bildgebung und der Robotik. Während klassische Ansätze auf handgefertigten Merkmalen beruhen, haben Deep-Learning-Techniken, die auf neuronalen Netzen basieren, ihre Vielseitigkeit und Effektivität unter Beweis gestellt. Dennoch sind die bestehenden Methoden mit erheblichen Herausforderungen konfrontiert: Pre-Alignment-Techniken erfordern eine mühsame (manuelle) Ausrichtung, und intrinsische Methoden, die auf handgefertigten Merkmalen basieren, leiden häufig unter Informationsverlust und Mehrdeutigkeit aufgrund intrinsischer Symmetrien, was ihre Anwendbarkeit auf in-the-wild Daten einschränkt.

Um diese Einschränkungen zu überwinden, schlagen wir vor, die Fortschritte im Bereich des äquivarianten Lernens zu nutzen, um rohe Formgeometrie ohne vorherige Ausrichtung direkt zu verarbeiten. Durch die Einbeziehung einer orientierungsbewusste Korrespondenzdarstellung verarbeitet unsere Methode effektiv intrinsische Symmetrien und lernt äquivariante Merkmale ohne die Notwendigkeit von Ground-Truth-Labels, was den manuellen Aufwand in der Matching Pipeline erheblich reduziert. Dieser Ansatz verbessert nicht nur das nicht-starre Shape Matching, sondern hat auch weitergehende Auswirkungen auf Aufgaben der Formanalyse.

Ausblick:

Wir planen, unseren Algorithmus in realistischen Szenarien zu validieren, indem wir in-the-wild Daten verwenden, um seine Fähigkeit zu demonstrieren, reale Herausforderungen wie partielle Formen, unterschiedliche Topologien und nicht ausgerichtete Konfigurationen zu bewältigen. Unsere Ergebnisse werden durch akademische Veröffentlichungen in Workshops, Konferenzen und Fachjournal präsentiert, wie hochrangige Veranstaltungen z.B. CVPR, ECCV, ICCV und SIGGRAPHs.

Darüber hinaus werden wir die Forschungszusammenarbeit zwischen der TUM und Stanford weiter fördern und unsere gemeinsame Expertise nutzen, um Innovationen voranzutreiben. Diese Partnerschaft sieht potenzielle Folgeprojekte vor und unterstreicht unser Engagement, das Gebiet der nicht-starren Formkorrespondenzen und verwandte Bereiche voranzubringen.