자동 프롬프트 최적화(APO)
ML Kit Prompt API 사용 사례를 프로덕션에 적용하는 데 도움이 되도록 Vertex AI의 온디바이스 모델을 타겟팅하는 자동 프롬프트 최적화(APO)를 발표하게 되었습니다. 자동 프롬프트 최적화는 사용 사례에 맞는 최적의 프롬프트를 자동으로 찾을 수 있도록 도와주는 도구입니다.
온디바이스 AI 시대는 더 이상 미래의 약속이 아니라 현재의 현실입니다. Gemini Nano v3의 출시로 Google은 전례 없는 언어 이해 및 멀티모달 기능을 사용자의 손안에 직접 제공하고 있습니다. Gemini Nano 모델 제품군을 통해 Android 생태계 전반에서 다양한 지원 기기를 제공합니다. 하지만 차세대 지능형 앱을 빌드하는 개발자에게 강력한 모델에 액세스하는 것은 첫 번째 단계일 뿐입니다. 진짜 과제는 맞춤설정에 있습니다. 모바일 하드웨어의 제약 조건을 위반하지 않으면서 특정 사용 사례에 맞게 파운데이션 모델을 전문가 수준의 성능으로 맞춤설정하려면 어떻게 해야 할까요?
서버 측에서는 대규모 LLM이 더 뛰어난 성능을 발휘하고 도메인 적응이 덜 필요한 경향이 있습니다. 필요한 경우에도 LoRA(Low-Rank Adaptation) 미세 조정과 같은 고급 옵션을 사용할 수 있습니다. 하지만 Android AICore의 고유한 아키텍처는 공유되고 메모리 효율적인 시스템 모델을 우선시합니다. 즉, 개별 앱마다 커스텀 LoRA 어댑터를 배포하면 이러한 공유 시스템 서비스에 문제가 발생할 수 있습니다.
하지만 그에 못지않게 효과적인 다른 방법도 있습니다. Vertex AI의 자동 프롬프트 최적화(APO)를 활용하면 개발자는 네이티브 Android 실행 환경에서 원활하게 작업하면서 미세 조정에 가까운 품질을 달성할 수 있습니다. APO는 우수한 시스템 안내에 집중함으로써 개발자가 기존의 파인 튜닝 솔루션보다 더 강력하고 확장성 있게 모델 동작을 맞춤설정할 수 있도록 지원합니다.
참고: Gemini Nano V3는 호평을 받은 Gemma 3N 모델의 품질 최적화 버전입니다. 오픈소스 Gemma 3N 모델에서 수행된 프롬프트 최적화는 Gemini Nano V3에도 적용됩니다. 지원되는 기기에서 ML Kit GenAI API는 nano-v3 모델을 활용하여 Android 개발자를 위한 품질을 극대화합니다.
APO는 프롬프트를 정적 텍스트가 아닌 최적화할 수 있는 프로그래밍 가능한 표면으로 취급합니다. 서버 측 모델(예: Gemini Pro 및 Flash)을 활용하여 프롬프트를 제안하고, 변형을 평가하고, 특정 작업에 가장 적합한 프롬프트를 찾습니다. 이 프로세스는 성능을 극대화하기 위해 세 가지 특정 기술 메커니즘을 사용합니다.
- 자동 오류 분석: APO는 학습 데이터의 오류 패턴을 분석하여 초기 프롬프트의 특정 약점을 자동으로 식별합니다.
- 시맨틱 안내 정제: 대규모 학습 예시를 분석하여 작업의 '진정한 의도'를 정제하고 실제 데이터 분포를 더 정확하게 반영하는 안내를 만듭니다.
- 병렬 후보 테스트: APO는 한 번에 하나의 아이디어를 테스트하는 대신 여러 프롬프트 후보를 병렬로 생성하고 테스트하여 품질의 전역 최댓값을 식별합니다.
APO가 미세 조정 품질에 접근할 수 있는 이유
파인 튜닝이 항상 프롬프팅보다 더 나은 품질을 제공한다는 것은 일반적인 오해입니다. Gemini Nano v3와 같은 최신 파운데이션 모델의 경우 프롬프트 엔지니어링만으로도 큰 효과를 볼 수 있습니다.
- 일반 기능 보존: 파인 튜닝( PEFT/LoRA)은 모델의 가중치가 특정 데이터 분포에 과도하게 집중되도록 합니다. 이로 인해 모델이 특정 문법은 더 잘 처리하지만 일반적인 논리와 안전성은 떨어지는 '치명적 망각'이 발생하는 경우가 많습니다. APO는 가중치를 그대로 유지하여 기본 모델의 기능을 보존합니다.
- 요청 사항 수행 및 전략 탐색: Gemini Nano v3는 복잡한 시스템 요청 사항을 수행하도록 엄격하게 학습되었습니다. APO는 모델의 잠재적 기능을 활용하는 정확한 요청 구조를 찾아내어 이를 활용하며, 인간 엔지니어가 찾기 어려운 전략을 발견하는 경우가 많습니다.
이 접근 방식을 검증하기 위해 다양한 프로덕션 워크로드에서 APO를 평가했습니다. 검증 결과, 다양한 사용 사례에서 일관되게 5~8% 의 정확도 향상이 나타났습니다.배포된 여러 온디바이스 기능에서 APO는 상당한 품질 향상을 제공했습니다.
| 사용 사례 | 작업 유형 | 작업 설명 | 측정항목 | APO 개선 |
| 주제 분류 | 텍스트 분류 | 뉴스 기사를 금융, 스포츠 등의 주제로 분류합니다. | 정확성 | +5% |
| 의도 분류 | 텍스트 분류 | 고객 서비스 쿼리를 인텐트로 분류 | 정확성 | +8.0% |
| 웹페이지 번역 | 텍스트 번역 | 웹페이지를 영어에서 현지 언어로 번역 | BLEU | +8.57% |
원활한 엔드 투 엔드 개발자 워크플로
파인 튜닝이 항상 프롬프팅보다 더 나은 품질을 제공한다는 것은 일반적인 오해입니다. Gemini Nano v3와 같은 최신 파운데이션 모델의 경우 프롬프트 엔지니어링만으로도 큰 효과를 볼 수 있습니다.
- 일반 기능 보존: 파인 튜닝( PEFT/LoRA)은 모델의 가중치가 특정 데이터 분포에 과도하게 집중되도록 합니다. 이로 인해 모델이 특정 문법은 더 잘 처리하지만 일반적인 논리와 안전성은 떨어지는 '치명적 망각'이 발생하는 경우가 많습니다. APO는 가중치를 그대로 유지하여 기본 모델의 기능을 보존합니다.
- 요청 사항 수행 및 전략 탐색: Gemini Nano v3는 복잡한 시스템 요청 사항을 수행하도록 엄격하게 학습되었습니다. APO는 모델의 잠재적 기능을 활용하는 정확한 요청 구조를 찾아내어 이를 활용하며, 인간 엔지니어가 찾기 어려운 전략을 발견하는 경우가 많습니다.
이 접근 방식을 검증하기 위해 다양한 프로덕션 워크로드에서 APO를 평가했습니다. 검증 결과, 다양한 사용 사례에서 일관되게 5~8% 의 정확도 향상이 나타났습니다.배포된 여러 온디바이스 기능에서 APO는 상당한 품질 향상을 제공했습니다.
결론
자동 프롬프트 최적화(APO)의 출시는 온디바이스 생성형 AI의 전환점이 되었습니다. 파운데이션 모델과 전문가 수준의 성능 간의 격차를 해소함으로써 개발자에게 더 강력한 모바일 애플리케이션을 빌드할 수 있는 도구를 제공합니다. 제로샷 최적화로 시작하든 데이터 기반 미세 조정을 통해 프로덕션으로 확장하든, 이제 고품질 온디바이스 인텔리전스로 가는 길이 더 명확해졌습니다. ML Kit의 Prompt API와 Vertex AI의 자동 프롬프트 최적화를 사용하여 지금 바로 온디바이스 사용 사례를 프로덕션에 출시하세요.
관련 링크:
-
제품 뉴스Google은 가장 강력한 AI 모델을 Android 기기에 직접 제공하기 위해 최선을 다하고 있습니다. 오늘 Google은 최신 현존 최고 수준(SOTA) 개방형 모델인 Gemma 4를 출시하게 되어 기쁘게 생각합니다.
Caren Chang, David Chou • 읽는 데 3분 소요 -
제품 뉴스AI를 사용하면 콘텐츠를 사용자에게 적합한 형식으로 변환하는 맞춤형 앱 환경을 더 쉽게 만들 수 있습니다. Google은 이전에 개발자가 요약, 이미지 설명과 같은 특정 사용 사례에 맞게 조정된 ML Kit GenAI API를 통해 Gemini Nano와 통합할 수 있도록 지원했습니다.
Caren Chang, Chengji Yan, Penny Li • 읽는 데 2분 소요 -
제품 뉴스Unity는 전 세계 모바일 게임의 절반 이상을 지원하므로 첫인상이 중요합니다. 게임 개발자에게는 원활하고 안정적인 플레이어 온보딩 환경이 첫날 유지율과 장기적인 참여를 유도하는 데 필수적입니다.
Michelle Martin • 읽는 데 1분 소요
Android 개발 관련 최신 정보를 이메일로 받아 보세요.