Создавайте интеллектуальные приложения для Android: Введение в Jetpacker

Внедрение функций искусственного интеллекта в ваше приложение обычно подразумевает работу с различными моделями, API и архитектурными решениями:

• Место выполнения: Где запускается ваша модель? На устройстве, в облаке или и там, и там?
• Сложность: Насколько сложна ваша конфигурация? Вы выполняете один вызов функции вывода или вам нужен более агентный подход?
• Встроенная функция в приложение или интеграция с Android-системой: следует ли интегрировать вашу функцию в Android-приложение или лучше использовать её в качестве интеграции с Android-системой?

В этой серии статей мы вместе с вами разберемся в этих вопросах. Мы проведем вас через весь процесс, начиная с простого мобильного приложения и превращая его в персонализированный , интеллектуальный и интуитивно понятный интерфейс.

Jetpacker: демо-версия приложения для путешествий

Jetpacker — это демонстрационное техническое приложение , разработанное нашей командой с нуля для Google I/O этого года (с использованием Antigravity). По своей сути, Jetpacker помогает пользователям планировать, исследовать и наслаждаться своим следующим большим приключением. Оно отображает обзор ваших поездок, маршрут каждой поездки и подробную информацию о каждом мероприятии в этой поездке. Конечно же, при этом соблюдаются все лучшие практики разработки Android, включая красивый и выразительный дизайн Material UI.

А самое главное? Это полностью открытый исходный код !

Сегодня мы публикуем серию технических статей в блоге, подробно рассматривающих каждую из этих функций. Мы предоставим подробные шаги по реализации, фрагменты кода и архитектурные решения, которые помогут вам создавать собственные интеллектуальные приложения для Android.

Встроенный интеллект устройства

Использование модели обработки данных непосредственно на устройстве не влечет за собой дополнительных затрат на облачные вычисления , избавляет от необходимости беспокоиться о подключении к интернету и позволяет пользователям быть уверенными в том, что конфиденциальная информация будет обрабатываться локально , на устройстве, без отправки каких-либо их данных в облако.

В Jetpacker мы выбрали вывод данных непосредственно на устройстве для трех наших функций:

• Функция обзора поездки преобразует запутанный многодневный маршрут в краткое и удобное для принятия решений резюме. Она использует Gemini Nano через API GenAI ML Kit для обработки данных локально на устройстве. Мы считаем это желательной функцией, поскольку не хотим нести дополнительные расходы на облачные сервисы, поэтому вывод данных на устройстве — правильный выбор.
• Приложение для отслеживания расходов автоматически извлекает структурированные данные из изображений чеков, помогая пользователям отслеживать свои расходы на поездки. Оно использует многомодальные возможности Gemini Nano 4 через API ML Kit GenAI. Мы выбрали решение, устанавливаемое непосредственно на устройство, чтобы любая конфиденциальная информация, содержащаяся в изображениях чеков, никогда не покидала устройство пользователя.
• Аудиодневник записывает, расшифровывает и классифицирует голосовые заметки по соответствующим событиям поездки. Он работает на основе API распознавания речи ML Kit и API-интерфейсов подсказок GenAI . Мы выбрали решение для работы на устройстве по соображениям конфиденциальности и возможности подключения.

Облачные и гибридные вычисления

Иногда для решения конкретных задач требуются модели ИИ с более глубокими знаниями об окружающем мире , гораздо большим контекстным окном и большей способностью справляться со сложными задачами . В этом случае мы можем перейти от запуска модели на устройстве к использованию облачной модели.

Или, если вы хотите получить лучшее из обоих миров, вы можете использовать гибридный вывод, чтобы динамически выбирать между облачной и локальной моделью во время выполнения. Это позволяет нам снизить затраты , перенося вывод на устройство, когда это возможно, и одновременно поддерживать все устройства Android, на которых запущено приложение.

В Jetpacker мы реализовали несколько функций, используя облачный или гибридный вывод данных:

• Функция вопросов и ответов о местах отвечает на вопросы пользователей о конкретных локациях, основываясь на реальных данных. Она использует Firebase AI Logic, интегрированный с Google Maps и веб-контекстом . Использование облачной модели здесь необходимо для получения более глубоких знаний об окружающем мире.
• Функция создания подробных отзывов помогает пользователям писать обзоры посещенных мест. Она использует как модели на устройстве, так и облачные модели через новый API гибридного вывода Firebase AI Logic. Мы хотели сделать эту функцию доступной для всех пользователей приложения, поэтому используем облачную модель в качестве резервного варианта, когда модель на устройстве недоступна.
• Функция автоматического перевода чата динамически переводит сообщения в режиме реального времени, обеспечивая бесперебойную связь и демонстрируя собственную гибридную логику вывода. Мы хотим, чтобы эта функция была доступна всем пользователям приложения, но в то же время учитываем некоторые особенности выбора между использованием на устройстве и облачным сервисом.

Системная интеграция

Хотя эта функция не отображается в самом приложении, интеграция с системой Android открывает основные возможности приложения непосредственно для операционной системы Android. Она использует API AppFunctions для интеграции с системными интеллектуальными функциями.

Встроенные в приложение рабочие процессы для агентов (скоро появятся!)

Агентность обеспечивает более высокий уровень автономности , позволяя моделям действовать как агенты. Вместо одного единственного вызова функции вывода, агент работает над достижением конкретной цели посредством цикла оркестровки, который позволяет ему рассуждать , использовать инструменты и адаптировать свой путь. В зависимости от ваших требований, эти интеллектуальные агенты могут работать либо в облаке, непосредственно на устройстве, либо в гибридной конфигурации.

Для Jetpacker мы добавили помощника по бронированию , который автоматизирует весь процесс бронирования от начала до конца непосредственно в приложении, чтобы упростить процесс резервирования. Он создан с использованием A2UI и ADK , работающих в облаке. Приложение для Android функционирует как интерфейс для многоагентной системы, работающей в облаке.

Узнать больше

Ознакомьтесь с другими частями этой серии статей в блоге:

Часть 1 (в этом посте!): Введение в приложение и общий обзор.
Часть 2: Встроенный интеллект. Подробное изучение API GenAI от ML Kit и Gemini Nano для создания функций, ориентированных на конфиденциальность, таких как составление кратких описаний маршрутов, анализ квитанций и локальная обработка звука.
Часть 3: Гибридные и облачные методы рассуждений. Изучите, как использовать Firebase AI Logic для обоснования ответов LLM реальными данными, такими как Google Maps и веб-контекст.
Часть 4: Системная интеграция. Интеграция с интеллектуальной системой Android с помощью AppFunctions.
Часть 5 (скоро): Внутриприложениевые агентские рабочие процессы. Расширьте возможности приложения с помощью комплексного помощника по бронированию на базе A2UI и ADK.

Интересуетесь разработкой под Android? Подписывайтесь на Android Developers на YouTube или LinkedIn !