Ожидания пользователей от ИИ на своих устройствах коренным образом меняют способы взаимодействия с приложениями. Вместо того чтобы открывать приложения и выполнять задачи шаг за шагом, они просят ИИ взять на себя основную работу. В этой новой модели взаимодействия успех смещается от простого открытия приложения к успешному выполнению пользователями их задач и оказанию им помощи в более быстром и эффективном выполнении большего объема работы.

Чтобы помочь вам развивать ваши приложения для будущего, основанного на использовании виртуальных помощников, мы представляем возможности для разработчиков на ранней стадии, которые устранят разрыв между вашими приложениями и приложениями, использующими виртуальные помощники, а также персонализированными ассистентами, такими как Google Gemini. Хотя мы находимся на ранней, бета-стадии этого проекта, мы разрабатываем эти функции, уделяя первостепенное внимание конфиденциальности и безопасности, поскольку это наш первый шаг в изучении этого парадигматического сдвига в экосистеме приложений.

Расширение возможностей приложений с помощью AppFunctions

Android AppFunctions позволяет приложениям напрямую предоставлять данные и функциональность агентам и помощникам на основе искусственного интеллекта.   Благодаря библиотеке Jetpack и API платформы AppFunctions разработчики могут создавать самоописываемые функции, которые агентные приложения могут обнаруживать и выполнять на естественном языке. Подобно тому, как возможности бэкэнда объявляются через облачные серверы MCP, AppFunctions предоставляет решение для Android-приложений непосредственно на устройстве. Как и WebMCP , он выполняет эти функции локально на устройстве, а не на сервере.

Интеграция Samsung Gallery с Gemini на серии Galaxy S26 демонстрирует возможности AppFunctions в действии. Вместо того чтобы вручную пролистывать фотоальбомы, теперь можно просто попросить Gemini: «Покажи мне фотографии моей кошки из Samsung Gallery». Gemini принимает запрос пользователя, интеллектуально определяет и запускает нужную функцию, и отображает полученные фотографии из Samsung Gallery непосредственно в приложении Gemini, так что пользователям не нужно выходить из приложения. Этот опыт является мультимодальным и может осуществляться с помощью голоса или текста. Пользователи даже могут использовать полученные фотографии в последующих разговорах, например, отправлять их друзьям в текстовых сообщениях.

В настоящее время эта интеграция доступна на серии Galaxy S26 и вскоре будет распространена на устройства Samsung под управлением OneUI 8.5 и выше. Благодаря AppFunctions, Gemini уже может автоматизировать задачи в различных категориях приложений, таких как Календарь , Заметки и Задачи , на устройствах разных производителей. Будь то координация событий календаря, организация заметок или установка напоминаний о делах, пользователи могут оптимизировать повседневную деятельность в одном месте.

Внедрение интеллектуальной автоматизации пользовательского интерфейса в агентские приложения

Хотя AppFunctions предоставляет структурированную платформу и больший контроль для взаимодействия приложений с ИИ-агентами и помощниками, мы понимаем, что не для каждого взаимодействия пока есть отдельная интеграция. Мы также разрабатываем платформу автоматизации пользовательского интерфейса для ИИ-агентов и помощников, позволяющую интеллектуально выполнять общие задачи в установленных приложениях пользователей, обеспечивая при этом прозрачность и контроль со стороны пользователя. Эта платформа берет на себя основную работу, позволяя разработчикам получить доступ к агентам без написания кода. Это простой способ расширить охват без значительных инженерных затрат прямо сейчас.

Чтобы получить обратную связь по мере доработки этой системы, мы начинаем с предварительного тестирования на серии Galaxy S26 и некоторых устройствах Pixel 10, где пользователи смогут делегировать многоэтапные задачи Gemini простым длительным нажатием кнопки питания. Эта бета-функция, запускаемая в приложении Gemini, будет поддерживать тщательно отобранный набор приложений в категориях доставки еды, продуктов и такси в США и Корее. Независимо от того, нужно ли пользователям сделать сложный заказ пиццы для членов семьи с особыми вкусами, скоординировать поездку с коллегами или повторно заказать последний продукт, Gemini поможет выполнить задачи, используя контекст, уже доступный в ваших приложениях, без необходимости каких-либо дополнительных действий со стороны разработчиков.

Пользователи контролируют выполнение задачи в фоновом режиме с помощью автоматизации пользовательского интерфейса. Для любого действия автоматизации у пользователей есть возможность отслеживать ход выполнения задачи с помощью уведомлений или «просмотра в реальном времени», а также в любой момент переключаться на ручное управление, чтобы взять управление на себя. Gemini также разработан для оповещения пользователей перед завершением важных задач, таких как совершение покупки.

Взгляд в будущее

В Android 17 мы стремимся расширить эти возможности, чтобы охватить еще больше пользователей, разработчиков и производителей устройств.

В настоящее время мы работаем с небольшой группой разработчиков приложений, уделяя особое внимание высококачественному пользовательскому опыту по мере развития экосистемы. Более подробную информацию о том, как использовать AppFunctions и автоматизацию пользовательского интерфейса для интеграции с агентами в вашем приложении, мы планируем опубликовать позже в этом году. Следите за обновлениями.