Les attentes des utilisateurs concernant l'IA sur leurs appareils modifient fondamentalement la façon dont ils interagissent avec leurs applications. Au lieu d'ouvrir des applications pour effectuer des tâches étape par étape, ils demandent à l'IA de faire le gros du travail à leur place. Dans ce nouveau modèle d'interaction, le succès ne consiste plus à inciter les utilisateurs à ouvrir votre application, mais à les aider à accomplir leurs tâches et à en faire plus rapidement. 

Pour vous aider à faire évoluer vos applications vers cet avenir agentique, nous lançons des fonctionnalités pour les développeurs en phase préliminaire qui comblent le fossé entre vos applications et les applications agentiques, ainsi que les assistants personnalisés, tels que Google Gemini. Nous sommes encore au début de cette aventure, en phase bêta, mais nous concevons ces fonctionnalités en mettant l'accent sur la confidentialité et la sécurité. Il s'agit de notre première étape pour explorer ce changement de paradigme en tant qu'écosystème d'applications.

Exploiter les applications avec AppFunctions

Android AppFunctions permet aux applications d'exposer des données et des fonctionnalités directement aux agents et assistants d'IA. Grâce à la bibliothèque Jetpack AppFunctions et aux API de plate-forme, les développeurs peuvent créer des fonctions auto-descriptives que les applications agentiques peuvent découvrir et exécuter en langage naturel. À l'instar de la façon dont les capacités de backend sont déclarées via les serveurs cloud MCP, AppFunctions fournit une solution sur l'appareil pour les applications Android. Comme WebMCP, il exécute ces fonctions localement sur l'appareil plutôt que sur un serveur.

L'intégration de la galerie Samsung à Gemini sur la gamme Galaxy S26 illustre le fonctionnement des AppFunctions. Au lieu de parcourir manuellement les albums photo, vous pouvez simplement demander à Gemini de vous montrer des photos de votre chat depuis Samsung Gallery. Gemini prend en compte la requête de l'utilisateur, identifie et déclenche intelligemment la bonne fonction, puis présente les photos renvoyées par Samsung Gallery directement dans l'application Gemini, afin que les utilisateurs n'aient jamais besoin de la quitter. Cette expérience est multimodale et peut être réalisée par commande vocale ou par saisie de texte. Les utilisateurs peuvent même utiliser les photos renvoyées dans des conversations ultérieures, par exemple en les envoyant à des amis par message.

Cette intégration est actuellement disponible sur la gamme Galaxy S26 et sera bientôt étendue aux appareils Samsung fonctionnant sous OneUI 8.5 ou version ultérieure. Grâce à AppFunctions, Gemini peut déjà automatiser des tâches dans des catégories d'applications telles que Agenda, Notes et Tasks, sur des appareils de plusieurs fabricants. Qu'il s'agisse de coordonner des événements dans l'agenda, d'organiser des notes ou de définir des rappels de tâches, les utilisateurs peuvent simplifier leurs activités quotidiennes en un seul endroit.

Activer les applications agentiques avec l'automatisation intelligente de l'UI

Bien qu'AppFunctions fournisse un framework structuré et un meilleur contrôle pour les applications qui communiquent avec les agents et assistants IA, nous savons que toutes les interactions ne disposent pas encore d'une intégration dédiée. Nous développons également un framework d'automatisation de l'interface utilisateur pour les agents et assistants d'IA, afin qu'ils puissent exécuter intelligemment des tâches génériques sur les applications installées par les utilisateurs, tout en assurant la transparence et le contrôle des utilisateurs. C'est la plate-forme qui fait le gros du travail, ce qui permet aux développeurs d'obtenir une portée agentique sans aucun code. C'est un moyen simple d'élargir leur couverture sans avoir à déployer d'efforts d'ingénierie majeurs pour le moment. 
 

Pour recueillir des commentaires à mesure que nous affinons ce framework, nous commençons par une version préliminaire sur la gamme Galaxy S26 et certains appareils Pixel 10. Les utilisateurs pourront y déléguer des tâches en plusieurs étapes à Gemini en appuyant de manière prolongée sur le bouton Marche/Arrêt. Cette fonctionnalité bêta sera lancée dans l'application Gemini. Elle sera compatible avec une sélection d'applications dans les catégories de livraison de repas, d'épicerie et de covoiturage aux États-Unis et en Corée dans un premier temps. Que les utilisateurs aient besoin de passer une commande de pizza complexe pour les membres de leur famille aux goûts particuliers, de coordonner un trajet en covoiturage avec plusieurs arrêts avec des collègues ou de recommander leurs derniers achats de produits alimentaires, Gemini peut les aider à accomplir ces tâches en utilisant le contexte déjà disponible dans vos applications, sans qu'aucun travail de développement ne soit nécessaire.

Les utilisateurs gardent le contrôle lorsqu'une tâche est effectuée en arrière-plan grâce à l'automatisation de l'UI. Pour toute action d'automatisation, les utilisateurs peuvent surveiller la progression d'une tâche via des notifications ou la "vue en direct". Ils peuvent également passer au contrôle manuel à tout moment pour reprendre la main. Gemini est également conçu pour alerter les utilisateurs avant d'effectuer des tâches sensibles, comme un achat. 

Perspectives d'avenir

Dans Android 17, nous souhaitons étendre ces fonctionnalités pour toucher encore plus d'utilisateurs, de développeurs et de fabricants d'appareils.

Nous développons actuellement des expériences avec un petit groupe de développeurs d'applications, en nous concentrant sur des expériences utilisateur de haute qualité à mesure que l'écosystème évolue. Nous prévoyons de vous en dire plus d'ici la fin de l'année sur la façon dont vous pouvez utiliser AppFunctions et l'automatisation de l'UI pour activer les intégrations agentiques pour votre application. Restez à l'écoute pour en savoir plus.