Vom Operationssaal bis zum Flugzeugbau: Augmented Reality hilft Chirurgen und Ingenieuren

Vor bestimmten Operationen werden dreidimensionale Schnittbilder (z.B. Computertomografie, Magnetresonanztomografie) angefertigt, um diese exakt zu planen. Chirurgen sollen künftig durch eine im Projekt VizARd entwickelte Augmented-Reality-Lösung unterstützt werden. Diese Bilddaten können dann intuitiv und benutzerfreundlich direkt auf der Haut des Patienten am Ort des Einschnittes visualisiert werden.

Weichteilgewebe und Lageerkennung als Herausforderung

Die Herausforderung: Es gibt zwar viele und valide Daten vom Menschen und seinem „Innenleben“, allerdings ist der Mensch alles andere als ein starres „Objekt“ – die Lage von Hautoberfläche, Weichteilgewebe und den Organen verändert sich mit der Körperposition. Um diese forschungstechnischen Herausforderungen anzugehen, greift PROFACTOR auf Technologien zurück, die in den letzten Jahren für Assistenzsysteme entwickelt wurden, wie z.B. die bildbasierte Lageerkennung auf Basis von Deep-Learning-Technologien. Was bislang der Digitalisierung des Menschen, seines Werkzeugs und seiner Werkstücke in der Montagehalle gedient hat, wird nun auf den Menschen im Operationssaal übertragen, so Projektleiter Harald Bauer von PROFACTOR: „Das anvisierte Zusammenspiel von unterschiedlichen Schnittstellen für die Bediener geht weit über den Status quo bestehender Augmented-Reality-Technologie hinaus.“

Ein weiterer zentraler Aspekt ist die Verformung von Weichteilgewebe, die bei der Visualisierung von Bilddaten berücksichtigt werden muss. Der Projektpartner RISC Software GmbH aus dem Softwarepark Hagenberg hat bereits durch vorangegangene Projekte Erfahrung in der biomechanischen Modellierung im Medizinbereich. „Die Visualisierung von medizinischen Bildern direkt am 3D-Patienten – im Gegensatz zu einem 2D-Bildschirm – bildet die Grundlage für richtungsweisende Forschungsprojekte und Verbesserung bestehender Anwendungen im medizinischen Bereich“, sagt Stefan Thumfart, Projektkoordinator der RISC Software GmbH.

Zusammenarbeit mit MedUni Graz

Der medizinische Projektpartner ist die MedUni Graz mit der Klinischen Abteilung für Plastische, Ästhetische und Rekonstruktive Chirurgie und der Universitätsklinik für Radiologie, die an der praktischen Implementierung mitwirken und die Anwendungsszenarien bereitstellen.

Benutzerfreundlichkeit ist auch für Chirurgen ein Thema

Eine andere Herausforderung ist die Benutzerfreundlichkeit. Bauer erklärt: „Bei Chirurgen ist es nicht anders als bei Facharbeitern. Ein System wird nur dann akzeptiert, wenn die Bedienung des Systems intuitiven Charakter hat.“ Für die Gestaltung der Nutzeroberfläche der Software ist die Digitalagentur Netural verantwortlich. Das Unternehmen forscht seit Jahren intensiv im Bereich E-Health und medizinischer Technik. Besonders die benutzerfreundliche Anwendung von Mixed-Reaity-Anwendungen steht im Fokus der Entwicklungen.

Die andere Dimension: Tragflächen von Flugzeugen 

Die industrielle Anwendung im Projekt hat wesentliche größere Dimensionen im Fokus – zum Beispiel die Tragflächen von Flugzeugen. Die Leichtbauteile aus Faserverbundwerkstoffen werden von Bildverarbeitungssystemen auf Fehler untersucht. Der Mensch soll durch die neuen Technologien schneller zu den virtuell markierten Fehlerstellen geleitet werden.

PROFACTOR ist Koordinator des zwei Jahre dauernden Projekts mit vier Partnern und einem Volumen von 1 Million Euro. Bauer sagt: „Einen Technologietransfer, in diesem Fall von industriellen Anwendungen in die Medizintechnik, werden wir in Zukunft verstärkt im Auge haben.“
 
Details zum Projekt 

Akronym: VizARd (Visual Augmented Reality Assistant for Spatial Mapping)

Förderung: FFG – ICT of the Future

Laufzeit: November 2018 – Oktober 2020

Projektvolumen: 1,0 Millionen Euro

Projektpartner

• PROFACTOR GmbH
• Medical University of Graz
•  Netural GmbH
• Danobat S Coop

Kontakt

RISC Software GmbH
Softwarepark 35
4232 Hagenberg
www.risc-software.at