Die Erwartungen der Nutzer an KI auf ihren Geräten verändern grundlegend, wie sie mit ihren Apps interagieren. Anstatt Apps zu öffnen, um Aufgaben Schritt für Schritt zu erledigen, lassen sie die KI die Arbeit für sich erledigen. In diesem neuen Interaktionsmodell geht es nicht mehr darum, Nutzer dazu zu bringen, Ihre App zu öffnen, sondern darum, ihre Aufgaben erfolgreich zu erledigen und ihnen zu helfen, schneller mehr zu erreichen. 

Damit Sie Ihre Apps für diese Zukunft weiterentwickeln können, stellen wir Ihnen Entwicklerfunktionen in der Frühphase zur Verfügung, die die Lücke zwischen Ihren Apps und Agent-Apps sowie personalisierten Assistenten wie Google Gemini schließen. Wir befinden uns noch in der Betaphase, aber wir entwickeln diese Funktionen mit dem Fokus auf Datenschutz und Sicherheit. Das ist unser erster Schritt, um diesen Paradigmenwechsel als App-Ökosystem zu untersuchen.

Apps mit AppFunctions optimieren

Mit AppFunctions für Android können Apps Daten und Funktionen direkt für KI-Agents und ‑Assistenten bereitstellen. Mit der  AppFunctions Jetpack-Bibliothek und den Plattform-APIs können Entwickler selbstbeschreibende Funktionen erstellen, die von agentenbasierten Apps über natürliche Sprache erkannt und ausgeführt werden können. AppFunctions spiegelt die Deklaration von Backend-Funktionen über MCP-Cloudserver wider und bietet eine On-Device-Lösung für Android-Apps. Ähnlich wie bei WebMCP werden diese Funktionen lokal auf dem Gerät und nicht auf einem Server ausgeführt.

Die Integration von Samsung Gallery in Gemini auf der Galaxy S26-Serie zeigt AppFunctions in Aktion. Anstatt manuell durch Fotoalben zu scrollen, können Sie Gemini jetzt einfach bitten, „Zeig mir Bilder meiner Katze aus der Samsung-Galerie“. Gemini nimmt die Nutzeranfrage entgegen, identifiziert und löst auf intelligente Weise die richtige Funktion aus und präsentiert die zurückgegebenen Fotos aus der Samsung-Galerie direkt in der Gemini App. Nutzer müssen die App also nicht verlassen. Diese Funktion ist multimodal und kann per Sprach- oder Texteingabe genutzt werden. Nutzer können die zurückgegebenen Fotos sogar in Folgeunterhaltungen verwenden, z. B. indem sie sie in einer SMS an Freunde senden.

Diese Integration ist derzeit auf der Galaxy S26-Serie verfügbar und wird bald auf Samsung-Geräte mit OneUI 8.5 und höher ausgeweitet. Mit AppFunctions kann Gemini bereits Aufgaben in App-Kategorien wie Kalender, Notizen und Aufgaben auf Geräten verschiedener Hersteller automatisieren. Nutzer können Kalendertermine koordinieren, Notizen organisieren oder Erinnerungen für Aufgaben festlegen – alles an einem Ort.

Agentenbasierte Apps mit intelligenter UI-Automatisierung aktivieren

AppFunctions bietet zwar ein strukturiertes Framework und mehr Kontrolle für Apps, um mit KI-Agenten und ‑Assistenten zu kommunizieren, aber wir wissen, dass noch nicht für jede Interaktion eine eigene Integration vorhanden ist. Außerdem entwickeln wir ein Framework zur Benutzeroberflächenautomatisierung für KI-Agenten und ‑Assistenten, mit dem generische Aufgaben in den installierten Apps der Nutzer intelligent ausgeführt werden können. Dabei sind Transparenz und Kontrolle für die Nutzer integriert. Diese Plattform übernimmt die Hauptarbeit, sodass Entwickler ohne Code Agenten erreichen können. So lässt sich die Reichweite mit wenig Aufwand erhöhen, ohne dass derzeit größere technische Änderungen erforderlich sind. 
 

Um Feedback zu erhalten, während wir dieses Framework weiterentwickeln, starten wir mit einer Vorabversion auf der Galaxy S26-Serie und ausgewählten Pixel 10-Geräten. Dort können Nutzerinnen und Nutzer Gemini mehrstufige Aufgaben zuweisen, indem sie einfach die Ein/Aus-Taste gedrückt halten. Diese Funktion wird als Beta-Funktion in der Gemini App eingeführt und unterstützt zunächst eine ausgewählte Anzahl von Apps in den Kategorien „Essenslieferung“, „Lebensmittel“ und „Fahrdienste“ in den USA und Korea. Ganz gleich, ob Nutzer eine komplexe Pizza für ihre Familienmitglieder mit unterschiedlichen Geschmäckern bestellen, eine Mitfahrgelegenheit mit mehreren Haltestellen mit Kollegen koordinieren oder ihren letzten Lebensmitteleinkauf noch einmal bestellen möchten – Gemini kann Aufgaben mithilfe des bereits in Ihren Apps verfügbaren Kontexts erledigen, ohne dass Entwickler etwas tun müssen.

Nutzer haben die Kontrolle, während eine Aufgabe im Hintergrund durch UI-Automatisierung ausgeführt wird. Bei jeder Automatisierungsaktion haben Nutzer die Möglichkeit, den Fortschritt eines Vorgangs über Benachrichtigungen oder die Live-Ansicht zu verfolgen. Sie können jederzeit zur manuellen Steuerung wechseln, um die Kontrolle zu übernehmen. Gemini ist auch so konzipiert, dass Nutzer gewarnt werden, bevor vertrauliche Aufgaben wie ein Kauf abgeschlossen werden. 

Ausblick

In Android 17 möchten wir diese Funktionen ausweiten, um noch mehr Nutzer, Entwickler und Gerätehersteller zu erreichen.

Wir arbeiten derzeit mit einer kleinen Gruppe von App-Entwicklern an neuen Funktionen, wobei wir uns auf hochwertige Nutzererlebnisse konzentrieren, während sich das Ökosystem weiterentwickelt. Im Laufe des Jahres werden wir weitere Informationen dazu veröffentlichen, wie Sie mit AppFunctions und UI-Automatisierung Agent-basierte Integrationen für Ihre App ermöglichen können.