[OFFEN] Screen einer anderen App aufnehmen und auswerten

N

Nono

Neues Mitglied
1
Hallo zusammen,

ich weiß leider nicht, nach welchen Begriffen ich suchen soll, deswegen beschreibe ich hier einfach mal mein Vorhaben und hoffe, dass mir jemand ein paar Tipps dazu geben kann.

Also ich möchte eine App entwickeln, die einen Screen einer anderen App auslesen soll. Dazu würde ich gerne so einen Button haben, der sich dauerhaft im Vordergrund befindet, egal welche App man offen hat. Wenn man meine App gestartet hat und dieser Button erscheint, soll man die entsprechende andere App öffnen. Wenn man sich da dann auf einem bestimmten Screen befindet, soll man den Button von meiner App klicken können und dann soll quasi der Screen der anderen App aufgenommen werden, sodass dieser ausgelesen werden kann. Da möchte ich dann zum Beispiel an bestimmten Stellen einen Text auslesen oder verschiedene Formen erkennen können. Je nachdem ob der Screen erfolgreich ausgelesen wurde soll dann auch eine Mitteilung im Vordergrund über der aktuellen App erscheinen.

1. Wie realisiert man so einen Button, der zu meiner App gehört, aber der auch beim öffnen einer anderen App noch im Vordergrund bleibt.
2. Wie kann man dann beim Klick auf den Button den aktuellen Screen aufnehmen?
3. Gibt es gute Möglichkeiten diesen aufgenommen Screen auszuwerten, also was Text und Formen angeht?
4. Wie "zeichnet" man Elemente über eine andere App nach dem Auswerten des Screens?

Ich wusste wie gesagt nicht, wonach ich da googlen sollte. Mir würden also erstmal schon die passenden Begriffe zu diesen Punkten reichen. Natürlich würde ich mich aber auch schon direkt über ein paar Links und auch über genauere Anleitungen freuen.

Viele Grüße
 
Hallo Nono,

um einen Screenshot zu erstellen , benötigst du einen Zugriff auf das entsprechende View.
In deinem Falle also auf den View deines Devices ( DecorView).

Anmerkung : Das funktioniert NICHT auf allen Devices - abhängig vom Betriebssystem
Es wird also keine Allround - Sache - und auch dementsprechend schwierig sein, es Device-Übergreifend umzusetzen.

Ein Beispiel hierzu
How to programmatically take a screenshot in Android?



Objekt-Erkennung musst du dann im weiteren Schritt anwenden :
Z.b. mit OpenCV , wobei vorher eine zwingende Binarisierung des ImageObjektes von Nöten ist.

Texterkennung mit den vielen zahlreichen OCR Bibliotheken.

Zur Frage 1 : Mit WIndowManger : WindowManager | Android Developers
Zur Frage 4 : Äusserst Tricky - m.E. nicht umsetzbar
 
Zuletzt bearbeitet:

Ähnliche Themen

S
Antworten
4
Aufrufe
4.462
mblaster4711
mblaster4711
Manny87
  • Manny87
Antworten
11
Aufrufe
166
swa00
swa00
H
Antworten
2
Aufrufe
1.311
Hcman
H
Zurück
Oben Unten