Remonte Experte App Entwicklung

Hi

ich bin gerade dabei ein Remote Experte App zu erstellen / zu kreieren.
(Kurz zur App: Ein Techniker ist beim Kunden kann ein Problem nicht Lösung und ruft einen Experten über diese App an, der ihm dank visuelle Unterstützung hilft das Problem zu lösen. Dabei können die verschiedene Inhalte ins Videomaterial eingebenden werden z.B. 3D Modelle, Pfeile usw. die dankt AR (Augmented Reality) an den Gegenständen "haften" bleiben.)
Die App soll ich dann in den nächsten Monaten programmieren mit mehreren Ausbaustufen.
Der Prototyp soll erst Mal auf dem Android Tablet laufen einfache 1zu1 Video-Telefonie und die Endversion auf der HoloLens mit Augmented Reality mit Maschinendaten/3D Modellen und mit parallelen Videoanrufen möglich.

Von daher mache ich gerade Gedanken darüber und wollte euren Rat holen, damit ich später nicht einige Sachen von neu machen müsste?

Ich wollte das gleich mit Unity 3D aufbauen damit es später mit AR und HoloLens kompatibel ist und auf C++ setzen (Android/UWP).
1) Ich würde erst Mal für das Android Tablet 1zu1 Verbindung anfangen, ich dachte mir mit WebRTC die Videochat zu realisieren.
2) Der nächster Schritt wäre das Übertragungsbild zu verändern mit Markierungen (Pfeil, Kästchen, selbst rein malen usw.) in beide Richtungen .
3) Oder erst auf die HoloLens kompatibel machen.
4) Maschinendaten einblenden die auf dem Server liegen.
5) zum Schluss parallele Verbindungen / parallele Videoanrufe realisieren. Host/Server usw.

Habe ich was vergessen, habt ihr Anmerkungen? Macht die Reihenfolge einen Sinn oder vielleicht anders vorgehen?

Ich habe schon Erfahrung mit offline AR Apps, aber mit Video, Netzwerk(Internet) und HoloLens noch nichts gemacht also keine Erfahrung. In dem Sinne habe ich auch keine Erfahrung mit dem Aufwand und ob das wirklich so zu realisieren ist, ist auch noch eine Frage. Oder ob wir dann sagen man geht nur bis zu 1zu1 Verbindung und nicht hinaus, weil es den Aufwand den Nutzen übersteigt.

Bin schon für jeden Rat dankbar.

Schöne Grüße,
Riskugel

Hallo Riskugel,

auch wenn ich hier in der Hauptsache sehr aktiv bin und auch oft helfe,
so tut es mir in deinem Falle recht leid, dass ich nichts (Schlaues) dazu beitragen kann.

Ich kenne mich nicht mit Unity aus ( mein Sohn macht das), noch habe ich Videotelefonie auf Android Devices realisiert (nur Desktop)
Ergo würde ich nur Quatsch erzählen

Ich hoffe für Dich , dass sich jemand mit deiner Thematik auskennt und dir Unterstützung bieten kann

Viel Erfolg !!

Bei Unity kann ich Dir nicht helfen. Bei der Video-Telefonie hast du 3 Möglichkeiten.

a) Entweder benutzt du eine fremde Video-App, welche Du aus der App aufrufst. Hat natürlich den Nachteil, dass die App installiert sein muss.

b) Als nächstes könntest die Android API benutzen, diese ist leider extrem schlecht dokumentiert, und ist nicht auf allen Handys implementiert. Und es funktioniert nicht alles, bzw muss noch nachträglich implementiert werden.

c) Du implementierst eine VoIP Library. Ein recht gutes Framework (open source) ist pjsip (C++).

Getting-Started/Android – pjsip Open source SIP, media, and NAT traversal stacks/libraries for smartphones
PJSIP - Open Source SIP, Media, and NAT Traversal Library

Fand es recht gut.

Zu b) und c): Beide Lösungswege sind nicht trival, d.h. du muss sehr viel selber implementieren. Und Du solltest Ahnung von VoIP haben. Zusätzlich brauchst Du noch ein Server, der VoIP kann. Bis das alles läuft, solltest Du viel Zeit einplanen.

VoIP : es gibt hervorragende GSM Libriares (ehemalig Fraunhofer) bei denen die Qualität selbst bei einer 64K Leitung sehr gut war.
(8K Sampling. Mono)
Soweit ich weis, wird diese Kompression heute noch eingesetzt - Aber auch hier - wie Markus schon erwähnte - Server erforderlich .

Ich hatte das mal vor langer Zeit umgesetzt ( 2009) - läuft beim Kunden heute noch (Mist*)
Wenn du möchtest, kann ich dir gerne die C++/C Files ( Windows Client / Linux Daemon ) zukommen lassen

Danke für eure Ratschläge.

Bei den fremden Video Apps bist du immer in irgendeiner Weise beschränkt Qualität, Systemvoraussetzung, keine Markierungen möglich usw. deswegen eigene Entwicklung.

Aber VoIP ist doch mehr zum telefonieren und ist schon bei uns im Unternehmen integriert, also unsere Techniker können schon mit der Zentrale(Experten) telefonieren. Ne der Gedanke ist, dieser App soll die Techniker visuell unterstützen. Wenn schon Bild übertragen wird dann, soll auch gleich den Sound mit übertragen werden. Beim Techniker ist ein mobiles Gerät (Tablet/Smartphone, HoloLens) und die Zentrale hat eine kleine Anwendung/ Webseite auf. Darüber können die Experten den Videoanruf annehmen.
Hier ein Beispiel: Von daher war der Gedanke auf WebRTC zu setzten für Video/Audio Übertragung sowohl in der mobilen App als auch in (Web)Anwendung beim Experten.

Ich sehe das es nicht einfach ist, weil es nicht die klassische Softwareentwicklung ist sondern ein großer Mix aus Webentwicklung, App-Entwicklung, 3D-Entwicklung und AR-Entwicklung. Hier muss es geschickt zusammenpuzzeln damit es alles gut miteinander Laufen kann. Da mache ich mich gerade schlau was man alles braucht und womit man das alles realisieren kann und eure Ratschläge sind da sehr hilfreich! Habt ihr weitere Ratschläge?