Systemdesign, erste Prototypen und Ergebnisse
Eine Präsentation der aktuellen Entwicklungen unserer Plattform Cognitive AR (03.03.2021)
Förderjahr 2020 / Project Call #15 / ProjektID: 5121 / Projekt: CognitiveAR

In den letzten zwei Monaten war unser mittlerweile 8-Köpfiges Cognitive AR Team intensiv mit dem Design der Plattform, dem Evaluieren von Technologien, und dem Entwickeln erster Prototypen beschäftigt.

Unser Ziel war es, bis März das Design der Plattform zu dokumentieren, die ersten Technologieevaluierungen abgeschlossen zu haben, und erste Prototypen für ausgesuchte Komponenten entwickelt zu haben. Diesen Meilenstein haben wir erreicht, und auch eine Publikation aus unserem Design und ersten Resultaten verfasst, die im März auf der IEEE VR erscheint. Die Entwicklung kann man öffentlich auf GitHub unter github.com/cognitivexr mitverfolgen.

Systemdesign

Die folgende Grafik zeigt eine Übersicht über unsere Plattform. Edge nodes (2) ermöglichen durch entsprechende Sensorik und AI Beschleuniger erstens das digitale tracking physikalischer Objekte, und zweitens das verarbeiten von Videodaten der AR headsets. Die Runtime Plattform (1) verwaltet die Ressourcen und die Applikationen die auf der Infrastruktur ausgeführt werden. Die Client Software (3) ermöglicht AR App (4) Entwicklern den transparenten Zugriff auf das System.

Systemübersicht

Architektur

Die folgende Grafik zeigt eine Detailansicht der Architektur und der eingesetzten Technologien. Details dazu findet man in unserem Paper.

Systemarchitektur

Prototyp: Cyber-Physical Object Positioning (CPOP)

Im Zuge der Technologieevaluierung für das Objekttracking haben wir bereits einen Indoor Prototypen entwickelt. Mit einer einfachen RGB Webcam, einem GPU beschleunigten Edge Computer (konkret ein NVIDIA Jetson Xavier NX), können wir aus einem 2D Bild eine 3D Position berechnen. Die 3D Position wird dann in einen gemeinsamen Koordinatenraum übersetzt, und über das Netzwerk an das AR Headset geschickt. Dort werden die Koordinaten wieder relativ zur Position vom Headset übersetzt, womit wir dann eine 3D Bounding-Box anzeigen können:

Erste Publikation: "Towards a Platform for Smart City-Scale Cognitive Assistance Applications"

Unser Design und die ersten Ergebnisse unserer Prototypen werden am 27. März 2021 auf dem IEEE VR Workshop "Distributed Interactive Systems for Collaboration Experiences (DISCE)" präsentiert. Details dazu gibt es in unserem Paper "Towards a Platform for Smart City-Scale Cognitive Assistance Applications".

Paper

 

Thomas Rausch

Profile picture for user ThomasRausch
Founder & Technical Lead of CognitiveXR
Co-Founder and Lead Engineer at LocalStack

Skills:

cloud computing
,
edge computing
,
AI | KI
,
Research
CAPTCHA
Diese Frage dient der Überprüfung, ob Sie ein menschlicher Besucher sind und um automatisierten SPAM zu verhindern.
    Datenschutzinformation
    Der datenschutzrechtliche Verantwortliche (Internet Privatstiftung Austria - Internet Foundation Austria, Österreich) würde gerne mit folgenden Diensten Ihre personenbezogenen Daten verarbeiten. Zur Personalisierung können Technologien wie Cookies, LocalStorage usw. verwendet werden. Dies ist für die Nutzung der Website nicht notwendig, ermöglicht aber eine noch engere Interaktion mit Ihnen. Falls gewünscht, treffen Sie bitte eine Auswahl: