Prompt API в ML Kit: создавайте собственные функции на основе Gemini Nano, работающие на устройстве

ИИ упрощает создание персонализированных приложений, которые преобразуют контент в нужный пользователям формат. Ранее мы предоставили разработчикам возможность интегрировать Gemini Nano через ML Kit GenAI API, адаптированные для конкретных сценариев использования, таких как обобщение и описание изображений.

Сегодня важный день для генеративного искусственного интеллекта на устройствах Android. Мы выпускаем альфа-версию ML Kit GenAI Prompt API. Этот API позволяет отправлять в Gemini Nano запросы на естественном языке и мультимодальные запросы, что дает больше контроля и гибкости при работе с генеративными моделями.

Наши партнеры, например Kakao, уже используют Prompt API, чтобы создавать уникальные продукты, которые помогают людям в реальной жизни. Вы можете поэкспериментировать с мощными функциями Prompt API уже сегодня, написав минимум кода.

Переход от готовых решений к собственным моделям генеративного ИИ на устройстве

Prompt API не ограничивается встроенными функциями и поддерживает пользовательские сценарии применения генеративного ИИ в приложениях. Это позволяет создавать уникальные функции со сложным преобразованием данных. Prompt API использует Gemini Nano на устройстве для локальной обработки данных, что позволяет работать офлайн и повышает конфиденциальность пользователей.

Основные варианты использования Prompt API:

Prompt API позволяет создавать узкоспециализированные решения на основе генеративного ИИ. Вот несколько примеров: 

• Распознавание изображений. Анализ фотографий для классификации (например, создание черновика публикации в социальных сетях или определение тегов, таких как "домашние животные", "еда" или "путешествия").
• Умное сканирование документов. Извлечение текста из чека с помощью традиционной модели машинного обучения и последующая классификация каждого элемента с помощью Prompt API.
• Преобразование данных для интерфейса. Анализ длинного контента для создания короткого и привлекательного заголовка уведомления.
• Подсказки по контенту. Предложение тем для новых записей в дневнике на основе предпочтений пользователя.
• Анализ контента: классификация отзывов клиентов на положительные, нейтральные и отрицательные.
• Извлечение информации. Извлечение важных сведений о предстоящем мероприятии из цепочки писем.

Реализация
Prompt API позволяет создавать собственные запросы и задавать необязательные параметры генерации с помощью всего нескольких строк кода:

Generation.getClient().generateContent(
   generateContentRequest(
       ImagePart(bitmapImage),
       TextPart("Categorize this image as one of the following: car, motorcycle, bike, scooter, other. Return only the category as the response."),
   ) {
       // Optional parameters
       temperature = 0.2f
       topK = 10
       candidateCount = 1
       maxOutputTokens = 10
   },
)

Более подробные примеры реализации Prompt API можно найти в официальной документации и примере на GitHub.

Gemini Nano, производительность и прототипирование

Сейчас Prompt API лучше всего работает на устройствах серии Pixel 10, на которых установлена последняя версия Gemini Nano (nano-v3). Эта версия Gemini Nano построена на той же архитектуре, что и Gemma 3n – модель, которую мы впервые представили сообществу разработчиков открытых моделей на конференции I/O.

Общая основа Gemma 3n и nano-v3 позволяет разработчикам легко создавать прототипы функций. Если у вас нет устройства Pixel 10, вы можете начать экспериментировать с запросами уже сегодня, создав прототип с Gemma 3n локально.

Полный список устройств, поддерживающих GenAI API, можно найти в документации.

Подробнее…

Начните внедрять Prompt API в свои приложения для Android уже сегодня, следуя инструкциям из официальной документации и примера на GitHub.