MiwaMix: GFaI macht Messdaten aus Akustik und Schwingungsanalyse direkt in Mixed Reality sichtbar

Das Forschungsprojekt MiwaMix der Gesellschaft zur Förderung angewandter Informatik e. V. (GFaI) untersucht, wie sich dieses Problem mit Mixed Reality lösen lässt. Eine Middleware soll klassische Messsoftware mit verschiedenen Mixed-Reality-Brillen verbinden. Eine zentrale Herausforderung besteht darin, dass sich Mixed-Reality-Brillen hinsichtlich ihrer technischen Schnittstellen und Bedienkonzepte unterscheiden. Die Middleware soll diese Unterschiede vereinheitlichen und damit die Nutzung verschiedener Geräte erleichtern. Messdaten, Ergebnisse und Ortsinformationen können dadurch direkt im Sichtfeld der anwendenden Person und im Zusammenhang mit dem Messobjekt dargestellt werden.

Weitere Informationen zum Projekt: https://www.gfai.de/forschung/projekte/bildverarbeitung/miwamix

Was MiwaMix technisch leistet

Die Middleware bildet eine Brücke zwischen zwei unterschiedlichen Systemwelten. Auf der einen Seite stehen vorhandene Messgeräte und Messprogramme. Auf der anderen Seite befinden sich MR-Brillen, die digitale Inhalte in die reale Umgebung einblenden können.

MiwaMix soll typische Funktionen, Datentypen und Datenformate klassischer Messsoftware abstrahieren und als standardisierte Schnittstelle bereitstellen. Gleichzeitig kapselt die Middleware die technischen Funktionen der MR-Brille. So können Daten übertragen, räumlich zugeordnet und innerhalb der MR-Anwendung dargestellt werden. Auch Eingaben über virtuelle Bedienelemente oder Gesten sollen an die Messsoftware zurückgemeldet werden können.

Hardware und Software werden unter Praxisbedingungen erprobt

Im ersten Projektabschnitt wurden aktuelle MR-Brillen und Entwicklungsframeworks untersucht. Für die weiteren Arbeiten wurden die Meta Quest 3 und die HTC Vive XR Elite ausgewählt. Ausschlaggebend waren unter anderem die Auflösung, das Sichtfeld, das Preis-Leistungs-Verhältnis und die Unterstützung des offenen Standards OpenXR. Die Anwendung wird mit Unity entwickelt. Außerdem wird eine Softwarelösung aus dem Vorgängerprojekt SenPosi auf die aktuelle technische Grundlage übertragen.

Die GFaI hat eine experimentelle Testumgebung mit einer Akustischen Kamera, drei Schwingungsaufnehmern, einem Datenrekorder und der Messsoftware NoiseImage aufgebaut. Als Versuchsobjekt dient ein transportabler Staubsauger. An ihm lassen sich akustische Signale und Schwingungen erzeugen, messen und anschließend in der Mixed-Reality-Umgebung darstellen.

Weitere Informationen zum Forschungsbereich der GFaI: https://www.gfai.de/forschung

Messdaten direkt am Sensor anzeigen

In den nächsten Tests sollen die Daten eines Schwingungsaufnehmers in Echtzeit als virtuelles Videofenster über dem Sensor erscheinen. Dafür werden unter anderem Frameraten, Auflösungen und Fenstergrößen untersucht. Die Informationen sollen gut lesbar bleiben, ohne den Blick auf das reale Prüfobjekt unnötig zu verdecken.

Darüber hinaus untersucht MiwaMix virtuelle Menüs und Werkzeuge für die Analyse. Perspektivisch kommen auch MR-spezifische Interaktionsformen wie Gestensteuerung und virtuelle Eingabeelemente in Betracht. Ziel ist eine Unterstützung der Fachanwenderinnen und Fachanwender – nicht deren Ersatz.

Projektstimme

„MiwaMix soll Messdaten und Ergebnisse dort sichtbar machen, wo sie gebraucht werden: direkt am Messobjekt und im räumlichen Zusammenhang der Messung.“
Alexander Jahnke, Wissenschaftlicher Mitarbeiter, GFaI e. V.

Warum die Verbindung von Messtechnik und Mixed Reality relevant ist

Die räumliche Darstellung kann insbesondere bei Messaufgaben hilfreich sein, bei denen mehrere Sensoren, Messpositionen oder Ergebnisse miteinander verglichen werden müssen. Dazu zählen beispielsweise die Akustik- und Schwingungsanalyse, die Zustandsüberwachung und die technische Prüfung.

Die Middleware soll dabei helfen, bestehende Messsoftware sinnvoll zu erweitern. Eine standardisierte Schnittstelle kann außerdem die Grundlage dafür schaffen, unterschiedliche Messprogramme und MR-Anwendungen miteinander zu verbinden. Damit wird eine Nutzung von Mixed Reality auch für kleinere und mittlere Unternehmen mit spezialisierten Messaufgaben interessanter.

Das Projekt wurde zum 31. August 2026 abgeschlossen. Die abschließende Dokumentation und der Sachbericht befinden sich derzeit in Arbeit.