Forschungsprojekt “VAFES”

Präzise Diagnostik von Hand- und Armfunktionsstörungen durch virtuelle Realität und maschinelles Lernen

© HS Ruhr West

Mülheim an der Ruhr/Bottrop, 18. Juli 2023. Im Rahmen des Forschungsprojekts „VAFES“ entwickelte die Hochschule Ruhr West gemeinsam mit ihren Partner:innen der RUB Universitätsklinikum Knappschaftskrankenhaus Bochum, das RUB Universitätsklinikum Bergmannsheil Bochum und die SNAP GmbH einen „Virtuellen Arm- und Handtest mithilfe von maschinellem Lernen bei neurologischen Bewegungsstörungen“. Das Projekt wurde 2020 für drei Jahre durch eine Förderung aus Mitteln des europäischen Fonds für regionale Entwicklung (EFRE) und des Landes Nordrhein-Westfalen in Höhe von 2,36 Millionen Euro gefördert.

Die Wissenschaftler:innen im Projekt VAFES haben unter anderem erfolgreich eine VR-Applikation entwickelt, die wichtige Elemente von neurologischen Assessments beinhaltet, die bei Patienten mit Morbus Parkinson verwendet werden. „Durch die Kombination von medizinischen Tests, Bewegungsparametern und Biosignalen werden mithilfe von Machine-Learning- und Deep-Learning-Algorithmen bisher nicht auswertbare Klassifikationen und Muster erkannt. Ein erster Prototyp der VR-Applikation wurde entwickelt und auf der Plattform STEAM veröffentlicht.“, kommentierte Prof. Dr. Ioannis Iossifidis, Professor für Theoretische Informatik und künstliche Intelligenz an der HRW und Konsortialführer des Projekts „VAFES“, die Fortschritte des Projekts.

Die gewonnenen Erkenntnisse aus dem VAFES-Projekt werden als Grundlage für ein neues Forschungsprojekt dienen, das sich mit der Entwicklung einer VR-basierten Klinikanwendung zur Erforschung und Therapie des Schmerzphänomens befasst. Der Antrag für dieses Folgeprojekt wird im September 2023 eingereicht.

Virtueller Arm- und Handtest mit Hilfe von maschinellem Lernen bei neurologischen Bewegungsstörungen (VAFES)

Einschränkungen der Hand- und Armfunktionen sind eine äußerst relevante Konsequenz neurologischer Erkrankungen wie Morbus Parkinson, Schlaganfällen oder Rückenmarkverletzungen. Sie haben einen enormen Einfluss auf die Lebensqualität und die Teilhabe der betroffenen Patient:innen. Eine genaue Diagnose der Hand- und Armfunktion ist sowohl für die Therapiesteuerung als auch für die Früherkennung von großer Bedeutung.

Ziel des Projekts war es daher, eine standardisierte Testumgebung zu entwickeln, die bestehende medizinische Tests und Assessments in Virtual Reality (VR) umsetzt und mit der Erfassung objektiver Bewegungsparameter und ausgewählter Biosignale kombiniert. Auf diese Weise wird es erstmals möglich, eine sehr komplexe Diagnostik und Therapiesteuerung von neurologischen Erkrankungen mit Hand- und Armfunktionsstörungen zu realisieren, die durch den Einsatz von modernen Machine-Learning und Deep Learning-Algorithmen auch bislang noch nicht auswertbare Klassifikationen und Muster zu detektieren.

Realisiert werden konnte im Projekt eine VR-Applikation, die wesentliche Elemente von neurologischen Assessments enthält, die u.a. bei Patient:innen mit Morbus Parkinson eingesetzt werden. Eine erste Version, die auf der Sensorik konventioneller VR-Hardware basiert, wurde auf der Plattform STEAM veröffentlicht. Die Daten dieser App werden datenschutzkonform auf einen Server (SNAP GmbH) übermittelt und in das erarbeitete Datenbankmanagementsystem abgelegt.

Weiterhin wurde eine Laborversion des VAFES-Tests mit erweiterter Bewegungssensorik und einem Sensor-Handschuh sowie der synchronen Erfassung von EEG- und EMG-Biosignalen realisiert. Die zur synchronen Aufnahme entwickelte Software-Lösung enthält eine integrierte Machine Learning-Analyse, die bereits in der Lage ist, aus den EEG-Daten präzise Bewegungen der Hand vorherzusagen. Weiterhin erfolgte im Rahmen der Laborversuche eine umfassende Analyse der Bewegungstrajektorien der oberen Extremität und deren Modellierung in 3D, um für die weitergehenden Bewegungsklassifikationen und die Erkennung pathologischer Muster eine Grundlage zu haben. Ebenso wurden detaillierte Analysen durchgeführt, um aus den EEG-Signalen Muster zur Fehlerverarbeitung im Gehirn zu identifizieren, d.h. die Erkennung sog. Error-Potenziale als neuronale Korrelate, die beim Bemerken oder sogar beim Beobachten eines Fehlers ausgelöst werden. Eine Pipeline für die Modellierung von 3D-Avataren, die die VR-Immersion der Patient:innen während der Nutzung des Tests bzw. Spiels erhöht, sowie ein theoretisches Konzept zur Tremorkompensation durch antagonistische Stimulation komplettierten die Laborversuche.

Hiermit sind erfolgreich die Voraussetzungen zur systematischen und digitalen Erfassung einer großen Menge an qualifizierten Bewegungs- und Biosignaldaten geschaffen worden. Leider konnte in der konkreten Patient:innenanwendung aufgrund der pandemiebedingten Einschränkungen und auch der regulatorischen Rahmenbedingungen im Bereich der Medizinprodukte noch keine verwertbare Datenerhebung gestartet werden. Dies ist das Ziel entsprechender Anschlussvorhaben, die sich die beteiligten Partner:innen fest vorgenommen haben und aufgrund der geschaffenen Voraussetzungen und der Verbundstruktur als sehr aussichtsreich zu sehen sind. Die geschaffenen Software-Lösungen und entwickelten modularen Hard- und Softwarekomponenten können sowohl wissenschaftlich zur weiteren Erforschung von Bewegungssteuerung und Bewegungsstörungen als auch wirtschaftlich zur Realisierung entsprechender Testinstrumente genutzt werden. Damit können relevante gesundheitswirtschaftliche Anwendungsszenarien für die Zukunftstechnologien der Virtual Reality und der Künstlichen Intelligenz am Innovationsstandort NRW geschaffen werden.

Originalmeldung:
https://www.hochschule-ruhr-west.de/forschungsprojekts-vafes-ermoeglicht-praezise-diagnostik-von-hand-und-armfunktionsstoerungen-durch-virtuelle-realitaet-und-maschinelles-lernen/