Anschlussprojekte | Sonderprojekte

Förderbeginn 01.07.2024

Silent Speech: Stille Kommunikation mit Hilfe von EMG-Signalen

Prof. Dr. Björn W. Schuller
Technische Universität München
Klinikum rechts der Isar - Chair of Health Informatics

Prof. Dr. Shrikanth S. Narayanan
University of Southern California, Los Angeles
Signal Analysis and Interpretation Laboratory (SAIL)


„Silent Paralinguistics“ (SP) beschäftigt sich mit der Erkennung von Sprecherzuständen sowie Merkmalen aus nicht hörbarer Sprache mithilfe von Datenquellen wie Gesichtsmuskel- Elektromyographie (EMG) Signalen. SP kann mit sozio-emotional kompetenter Sprachtechnologie der nächsten Generation helfen, privat oder stumm zu interagieren. Die Kooperation mit der Universität Bremen zielt darauf ab, das Feld der SP durch die Sammlung eines größeren EMG-Sprachkorpus und die Entwicklung verbesserter Modelle des maschinellen Lernens deutlich voranzubringen. Das Projekt wird die Forschung in folgenden Richtungen vorantreiben:
1) Sammlung eines größeren, vielfälgeren und ausdrucksstärkeren EMG-Silent-Speech-Datensatzes mit Aufnahmen einer vielfälgeren Menge an Sprechern, die aus Projektteilnehmern beider Partnerinstitutionen besteht und in denen die Teilnehmer selbst verschiedene Formen der Kommunikaon anwenden.
2) Festlegung relevanter Basismetriken für die Modellierung des gesammelten Datensatzes unter Anwendung tradionellerer Ansätze des maschinellen Lernens.
3) Untersuchung fortgeschrittener Deep-Learning-Ansätze für die SP-Modellierung, Methoden des Transferlernens von Sprache-zu-EMG und des Repräsentaonslernens, wobei die EMG-zu-Sprache- Synthese einen hohen Stellenwert einnimmt.