Smarte Logopädie-Assistenz

Fünf Akteure aus Wissenschaft und IT-Industrie bilden die Forschungsgruppe AVATAR: Fachhochschule Dortmund, Ruhr-Universität Bochum, Hochschule für Gesundheit in Bochum, Phoenix Software GmbH und PuckPresse GmbH Köln. Die Forscherinnen und Forscher entwickeln gemeinsam eine motivierende Lernumgebung in Form eines technischen Assistenzsystems. Zielgruppe für den Logopädie-Assistenten sind in erster Linie Kinder zwischen 4 und 6 Jahren.

App als Therapieunterstützung

Unter der Leitung von Prof. Dr. Jörg Thiem, Fachbereich Informationstechnik der Fachhochschule Dortmund, wird das Konsortium spielerische Therapieübungen als App für mobile Endgeräte, wie Smartphone, Tablet oder Laptop entwickeln. „Das häusliche Training ist, neben der Therapie beim Sprachtherapeuten, der entscheidende Faktor für das erfolgreiche Lernen“, erklärt Thiem. „Genau da setzt die Innovation an. Wir schaffen ein kindgerechtes Werkzeug, mit dem sich die Sprechübungen erheblich verbessern lassen“. Das erhoffte Forschungsziel ist eine Steigerung der Therapiequalität und eine Verkürzung der Therapiezeit.

Die drei Hochschulen bündeln ihre Kompetenzen für das gemeinsame Ziel: Um die individuellen Sprach- und Sprechdefizite bei Kindern zu erkennen, wird neben den Mikrofonsignalen, die durch Prof. Dr. Dorothea Kolossa von der Ruhr-Universität analysiert werden, auch die Mundbewegung im kindlichen Gesicht über Kameras analysiert – der Schwerpunkt von Prof. Dr. Jörg Thiem. Die Hochschule für Gesundheit bringt mit Prof. Dr. Kerstin Bilda das logopädische Fachwissen und die Expertise für die Entwicklung von Technologien für Menschen mit Hör-, Sprech- und Spracheinschränkungen ein.

Mit der Firma Phoenix Software GmbH ist ein Partner an Bord, der die notwendige Erfahrung und den Marktzugang für die Umsetzung der angestrebten Softwarelösung hat. Die PuckPresse GmbH realisiert die zielgruppenorientierte und aktivierende Gestaltung der Software.

Erkennung von Aussprachefehlern

Auf den Punkt gebracht besteht das Projekt aus audiovisueller Spracherkennung, Sprechübungen und einem Avatar als persönlichem Helfer. Aus dem aufgenommenen Audio- und Videosignal werden markante Merkmale mit einer speziellen Software für Signalverarbeitung gewonnen. Das System fusioniert dann die Audio- und Videosignale mittels künstlicher neuronaler Netze, um Aussprachefehler erkennen zu können.

AVATAR erkennt automatisch, ob das Kind die Laute korrekt bildet und bietet kindgerechte Hilfestellungen, um die Aussprache zu verbessern. Prof. Thiem: „Ziel ist es nicht, erzieherisch auf die Fehler aufmerksam zu machen, sondern durch den Avatar und durch sein audiovisuelles Feedback die Wahrnehmung des Kindes zu fördern.“

Feedback aus der Praxis

Die beteiligten Logopädinnen und Logopäden können die Fortschritte des Kindes mitverfolgen und die häuslichen Therapieübungen in der App entsprechend ausrichten. Im Laufe des Projektes wird der noch zu entwickelnde Algorithmus mit neuen Datensätzen trainiert und verbessert. „Wir wollen die Parameter so einstellen, dass der Algorithmus die individuellen Abweichungen in der Aussprache möglichst fehlerfrei erkennen kann.“ In die Entwicklung fließt das Feedback der logopädischen Expertinnen und Experten der Hochschule für Gesundheit und ausgewählter logopädischer Praxen ein.

Das Verbundprojekt AVATAR wird mit Mitteln des Europäischen Fonds für regionale Entwicklung (EFRE) in Höhe von insgesamt 2,3 Mio. Euro gefördert.

Projektsteckbrief

AVATAR – Audiovisuelles individualisiertes Assistenzsystem als Therapieunterstützung bei kindlichen phonetisch-phonologischen Artikulationsstörungen
Laufzeit: August 2017 bis Juli 2020
Volumen gesamt: 2,3 Mio. Euro
Volumen FH Dortmund: 520.000 Euro
Förderung: Europäischer Fonds für regionale Entwicklung