Förderprojekte

Förderbeginn 01.01.2024

Untersuchung der Anwendungen von Spatial Computing für das Gesundheitswesen und Barrierefreiheit

Prof. Dr. Pramod Bhatotia
Technische Universität München
Chair of Distributed Systems and Operating Systems at the TUM School of Computin

Prof. Dr. Joshua Makower
Stanford University
Stanford Schools of Medicine and Bioengineering

Die Ergänzung der realen Welt durch Spatial Computing und kamerabasierte Echtzeitsysteme bietet erhebliche Potenziale für Patient:innen und medizinisches Fachpersonal. Insbesondere die Fortschritte bei der Consumer-Hardware ermöglichen inzwischen eine effektive Ergänzung der physischen Welt durch digitale Inhalte. Unser Ziel ist es, diese Innovationen bei der Entwicklung von Software für medizinische Systeme zu nutzen und Echtzeitanwendungen für das Gesundheitswesen und sehbehinderte Nutzer:innen zu verbessern. Chirurg:innen können Echtzeit-AR für komplexe Operationen nutzen, während sehbehinderte Patient:innen Funktionen wie Zoom, optische Zeichenerkennung und maschinelles Lernen zur Verbesserung der Wahrnehmung einsetzen können. Unser Projekt zielt darauf ab, das digitale Digital-Health-Ecosystem Stanford Spezi zu erweitern und Spatial Computing für Echtzeit-Kontext und visuelle Unterstützung einzubinden. Wir werden diese neuen Module mit der neuesten Consumer Hardware in Case Studies validieren und uns dabei auf Anwendungen für Chirurg:innen und Patient:innen mit Sehschwäche konzentrieren.

Abschlussbericht
Spatial Computing beschreibt eine Klasse interaktiver Systeme, die digitale Informationen eng mit der physischen Umgebung verknüpfen, indem sie Technologien von Augmented und Virtual Reality vereinen. Dies ermöglicht es Nutzern, virtuelle Inhalte in der physischen Welt über ein Spatial-Computing Headset wahrzunehmen und mit ihnen zu interagieren. Aufbauend auf dem Aufschwung in Popularität und Verfügbarkeit dieser Technologie haben wir untersucht, wie Spatial Computing für Barrierefreiheit verwendet werden kann. Wir haben uns dabei auf Menschen mit Sehbehinderungen konzentriert und insbesondere auf die Barrieren, die beim Zugang zu physischen Inhalten wie Büchern, Tafeln oder Postern entstehen. Durch eine kontinuierliche, räumlich verankerte und barrierefreie Repräsentation der Umgebung war es unser Ziel mit Spatial Continuity den gefühlten Widerstand, welcher bei der Betrachtung physischer Objekte mit ggf. unpassenden oder aufwendigen digitalen Assistenztechnologien entsteht zu verringern.

Wir haben ein Proof-of-Concept-System entwickelt, bei dem ein Smartphone als handgeführtes Vergrößerungsgerät fungiert und einen Live-Kamerastream an ein Spatial-Computing Headset überträgt. Beim Tragen können Nutzer eine vergrößerte und skalierbare Darstellung ihrer Umgebung sehen und Screenshots aufnehmen, um mithilfe eines Online-Sprachmodells (Large Language Model) Bildbeschreibungen zu generieren, welche von der App vorgelesen werden.

Wir haben den Prototyp in einer kleinen Anwenderstudie evaluiert, die in Zusammenarbeit mit dem Bayerischen Blinden- und Sehbehindertenbund e.V. (BBSB) durchgeführt wurde. Die Teilnehmer berichteten, dass die große, räumlich verankerte Ansicht die Interaktion mit physischen Objekten erheblich verbesserte. Gleichzeitig äußerten sie aber eine klare Präferenz für natürliche, sprachbasierte Interaktionen, die sich direkt auf Inhalte im Sichtfeld der Kamera beziehen.

Diese Ergebnisse weisen auf das Potential für freihändige Interaktionsparadigmen hin, die durch Kamera-APIs, welche gleichzeitig die Privatsphäre der gefilmten Personen schützen, für Spatial-Computing-Headsets ermöglicht werden könnten. Dies würde es Menschen mit Sehbehinderung erlauben, physische Materialien alleine mit einem Spatial Computing Headset erschließen und lesen zu können.

Die Ergebnisse dieser Arbeit wurden auf der “27. International ACM SIGACCESS Conference on Computers and Accessibility” veröffentlicht (https://doi.org/10.1145/3663547.3759711). Über den Forschungsbeitrag hinaus lieferte das Projekt mehrere technische Ergebnisse, darunter Open-Source-Beiträge zu Apples Swift OpenAPI Generator und zu Stanford Spezi, einem Open-Source-Ökosystem von Swift-Modulen für digitale Gesundheitsanwendungen. Der Quellcode von Spatial Continuity ist öffentlich unter https://github.com/StanfordBDHG/SpatialContinuity verfügbar.

Wir danken BaCaTeC für die Unterstützung dieser Zusammenarbeit zwischen Kalifornien und Bayern; die Förderung ermöglichte einem Masterstudenten der TUM einen vierwöchigen Forschungsaufenthalt an der Stanford University und war maßgeblich daran beteiligt, das Projekt voranzubringen und die akademischen Verbindungen zwischen den beiden Institutionen zu stärken.