Zusammenfassung: Mit Hilfe der elektrischen Reizung des Hörnervs durch implantierte Elektroden in die Hörschnecke (Cochlea-Implantat: CI) kann bei Ertaubten die Fähigkeit zur Wahrnehmung akustischer Sprachlaute wieder hergestellt werden. Aufgrund der herabgesetzten akustische Qualität der Signale ziehen diese zusätzliche visuelle Informationen heran. Akustische Sprachreize (zweisilbige Substantive) wurden zeitgleich zu einem Video-Segment mit dem Gesicht des Sprechers dargeboten, das entweder dem akustischen Wort kongruente (z. B. Audio: Hotel, Video: Hotel) oder inkongruente Information (z. B. Audio: Hotel, Video: Insel) aussprach. Die Analyse der Verhaltensdaten ergab, dass CI-Patienten deutlich von der zusätzlichen Darbietung des Sprechergesichtes profitieren, um Sprachlaute zu verstehen. Auch Normalhörende nutzen visuelle Informationen, vor allem, wenn die akustischen Signale verrauscht und schwer verständlich sind. Die audiovisuelle Sprachverarbeitung löst bei CI-Nutzern und Normalhörenden unterschiedliche Amplitudenverläufe im ereigniskorrelierten Potenzial aus. Dabei zeigen sich vor allem Unterschiede im okzipitalen Bereich, was als Reorganisation nach Hördeprivation bei CI-Patienten verstanden werden kann.
Viewport-aware dynamic 360° video segment categorization
