Новости о продуктах

API Prompt от ML Kit: разблокировка пользовательских функций Gemini Nano на устройстве

2 минуты чтения
3 автора
Caren Chang, Chengji Yan, Penny Li

Искусственный интеллект упрощает создание персонализированных приложений, преобразующих контент в формат, подходящий для пользователей. Ранее мы предоставили разработчикам возможность интегрироваться с Gemini Nano через API ML Kit GenAI, разработанные для конкретных сценариев использования, таких как суммирование и описание изображений.

Сегодняшний день знаменует собой важную веху для генеративного ИИ на устройствах Android. Мы объявляем о выпуске альфа-версии API GenAI Prompt от ML Kit . Этот API позволяет отправлять запросы на естественном языке и мультимодальные запросы в Gemini Nano, удовлетворяя потребность в большем контроле и гибкости при работе с генеративными моделями.

Партнеры, такие как Kakao, уже используют Prompt API для создания уникальных решений, оказывающих реальное влияние на мир. Вы можете поэкспериментировать с мощными функциями Prompt API уже сегодня, используя минимальное количество кода.

Переходите от готовых решений к индивидуальной разработке GenAI на устройстве.

API Prompt выходит за рамки встроенных функций и поддерживает пользовательские, специфичные для приложений сценарии использования GenAI, позволяя создавать уникальные функции со сложным преобразованием данных. API Prompt использует Gemini Nano на устройстве для локальной обработки данных, обеспечивая возможность работы в автономном режиме и улучшенную конфиденциальность пользователей.

Основные варианты использования API Prompt:

API Prompt позволяет создавать высоконастраиваемые сценарии использования GenAI. Вот несколько рекомендуемых примеров:

  • Понимание изображений: анализ фотографий для классификации (например, создание черновика публикации в социальных сетях или определение тегов, таких как «домашние животные», «еда» или «путешествия»).
  • Интеллектуальное сканирование документов: использование традиционной модели машинного обучения для извлечения текста из чека, а затем классификация каждого элемента с помощью API Prompt.
  • Преобразование данных для пользовательского интерфейса: анализ длинного контента для создания короткого и привлекательного заголовка уведомления.
  • Подсказки по содержанию: Предложение тем для новых записей в журнале на основе предпочтений пользователя в отношении тематики.
  • Контент-анализ: Классификация отзывов клиентов по категориям: положительные, нейтральные или отрицательные.
  • Извлечение информации: извлечение важных сведений о предстоящем событии из переписки по электронной почте.

Выполнение
API Prompt позволяет создавать пользовательские подсказки и задавать необязательные параметры генерации всего несколькими строками кода:

Generation.getClient().generateContent(
   generateContentRequest(
       ImagePart(bitmapImage),
       TextPart("Categorize this image as one of the following: car, motorcycle, bike, scooter, other. Return only the category as the response."),
   ) {
       // Optional parameters
       temperature = 0.2f
       topK = 10
       candidateCount = 1
       maxOutputTokens = 10
   },
)

Более подробные примеры реализации Prompt API можно найти в официальной документации и примерах на Github .

Gemini Nano, производительность и прототипирование

В настоящее время API Prompt демонстрирует наилучшие результаты на устройствах серии Pixel 10, работающих под управлением последней версии Gemini Nano (nano-v3). Эта версия Gemini Nano построена на той же архитектуре, что и Gemma 3n, модель, которую мы впервые представили сообществу разработчиков открытых моделей на конференции I/O.

Общая основа Gemma 3n и nano-v3 позволяет разработчикам проще создавать прототипы функций. Тем, у кого нет устройства Pixel 10, можно начать экспериментировать с подсказками уже сегодня, создавая прототипы локально с помощью Gemma 3n.

Полный список устройств, поддерживающих API GenAI, см. в нашей документации по поддержке устройств.

Узнать больше

Начните внедрять Prompt API в свои Android-приложения уже сегодня, следуя инструкциям из нашей официальной документации и примера на Github .

    Автор:

    Продолжить чтение