제품 소식

자동 프롬프트 최적화가 ML Kit의 GenAI Prompt API 품질을 개선하는 방법

읽는 데 3분 소요

자동 프롬프트 최적화(APO)

ML Kit Prompt API 사용 사례를 프로덕션에 적용하는 데 도움이 되도록 Vertex AI의 온디바이스 모델을 타겟팅하는 자동 프롬프트 최적화(APO)를 발표하게 되었습니다. 자동 프롬프트 최적화는 사용 사례에 맞는 최적의 프롬프트를 자동으로 찾을 수 있도록 도와주는 도구입니다.

온디바이스 AI 시대는 더 이상 미래의 약속이 아니라 현재의 현실입니다. Gemini Nano v3의 출시로 Google은 전례 없는 언어 이해 및 멀티모달 기능을 사용자의 손안에 직접 제공하고 있습니다. Gemini Nano 모델 제품군을 통해 Android 생태계 전반에서 다양한 지원 기기를 제공합니다. 하지만 차세대 지능형 앱을 빌드하는 개발자에게 강력한 모델에 액세스하는 것은 첫 번째 단계일 뿐입니다. 진짜 과제는 맞춤설정에 있습니다. 모바일 하드웨어의 제약 조건을 위반하지 않으면서 특정 사용 사례에 맞게 파운데이션 모델을 전문가 수준의 성능으로 맞춤설정하려면 어떻게 해야 할까요?

서버 측에서는 대규모 LLM이 더 뛰어난 성능을 발휘하고 도메인 적응이 덜 필요한 경향이 있습니다. 필요한 경우에도 LoRA(Low-Rank Adaptation) 미세 조정과 같은 고급 옵션을 사용할 수 있습니다. 하지만 Android AICore의 고유한 아키텍처는 공유되고 메모리 효율적인 시스템 모델을 우선시합니다. 즉, 개별 앱마다 커스텀 LoRA 어댑터를 배포하면 이러한 공유 시스템 서비스에 문제가 발생할 수 있습니다.

하지만 그에 못지않게 효과적인 다른 방법도 있습니다. Vertex AI의 자동 프롬프트 최적화(APO)를 활용하면 개발자는 네이티브 Android 실행 환경에서 원활하게 작업하면서 미세 조정에 가까운 품질을 달성할 수 있습니다. APO는 우수한 시스템 안내에 집중함으로써 개발자가 기존의 파인 튜닝 솔루션보다 더 강력하고 확장성 있게 모델 동작을 맞춤설정할 수 있도록 지원합니다.

참고: Gemini Nano V3는 호평을 받은 Gemma 3N 모델의 품질 최적화 버전입니다. 오픈소스 Gemma 3N 모델에서 수행된 프롬프트 최적화는 Gemini Nano V3에도 적용됩니다. 지원되는 기기에서 ML Kit GenAI API는 nano-v3 모델을 활용하여 Android 개발자를 위한 품질을 극대화합니다.

APO block diagram.jpg

APO는 프롬프트를 정적 텍스트가 아닌 최적화할 수 있는 프로그래밍 가능한 표면으로 취급합니다. 서버 측 모델(예: Gemini Pro 및 Flash)을 활용하여 프롬프트를 제안하고, 변형을 평가하고, 특정 작업에 가장 적합한 프롬프트를 찾습니다. 이 프로세스는 성능을 극대화하기 위해 세 가지 특정 기술 메커니즘을 사용합니다.

  1. 자동 오류 분석: APO는 학습 데이터의 오류 패턴을 분석하여 초기 프롬프트의 특정 약점을 자동으로 식별합니다.
  2. 시맨틱 안내 정제: 대규모 학습 예시를 분석하여 작업의 '진정한 의도'를 정제하고 실제 데이터 분포를 더 정확하게 반영하는 안내를 만듭니다.
  3. 병렬 후보 테스트: APO는 한 번에 하나의 아이디어를 테스트하는 대신 여러 프롬프트 후보를 병렬로 생성하고 테스트하여 품질의 전역 최댓값을 식별합니다.

APO가 미세 조정 품질에 접근할 수 있는 이유

파인 튜닝이 항상 프롬프팅보다 더 나은 품질을 제공한다는 것은 일반적인 오해입니다. Gemini Nano v3와 같은 최신 파운데이션 모델의 경우 프롬프트 엔지니어링만으로도 큰 효과를 볼 수 있습니다.

  • 일반 기능 보존: 파인 튜닝( PEFT/LoRA)은 모델의 가중치가 특정 데이터 분포에 과도하게 집중되도록 합니다. 이로 인해 모델이 특정 문법은 더 잘 처리하지만 일반적인 논리와 안전성은 떨어지는 '치명적 망각'이 발생하는 경우가 많습니다. APO는 가중치를 그대로 유지하여 기본 모델의 기능을 보존합니다.
  • 요청 사항 수행 및 전략 탐색: Gemini Nano v3는 복잡한 시스템 요청 사항을 수행하도록 엄격하게 학습되었습니다. APO는 모델의 잠재적 기능을 활용하는 정확한 요청 구조를 찾아내어 이를 활용하며, 인간 엔지니어가 찾기 어려운 전략을 발견하는 경우가 많습니다. 

이 접근 방식을 검증하기 위해 다양한 프로덕션 워크로드에서 APO를 평가했습니다. 검증 결과, 다양한 사용 사례에서 일관되게 5~8% 의 정확도 향상이 나타났습니다.배포된 여러 온디바이스 기능에서 APO는 상당한 품질 향상을 제공했습니다.

사용 사례작업 유형작업 설명측정항목APO 개선
주제 분류텍스트 분류뉴스 기사를 금융, 스포츠 등의 주제로 분류합니다.정확성+5%
의도 분류텍스트 분류고객 서비스 쿼리를 인텐트로 분류정확성+8.0%
웹페이지 번역텍스트 번역웹페이지를 영어에서 현지 언어로 번역BLEU+8.57%

원활한 엔드 투 엔드 개발자 워크플로

파인 튜닝이 항상 프롬프팅보다 더 나은 품질을 제공한다는 것은 일반적인 오해입니다. Gemini Nano v3와 같은 최신 파운데이션 모델의 경우 프롬프트 엔지니어링만으로도 큰 효과를 볼 수 있습니다.

  • 일반 기능 보존: 파인 튜닝( PEFT/LoRA)은 모델의 가중치가 특정 데이터 분포에 과도하게 집중되도록 합니다. 이로 인해 모델이 특정 문법은 더 잘 처리하지만 일반적인 논리와 안전성은 떨어지는 '치명적 망각'이 발생하는 경우가 많습니다. APO는 가중치를 그대로 유지하여 기본 모델의 기능을 보존합니다.
  • 요청 사항 수행 및 전략 탐색: Gemini Nano v3는 복잡한 시스템 요청 사항을 수행하도록 엄격하게 학습되었습니다. APO는 모델의 잠재적 기능을 활용하는 정확한 요청 구조를 찾아내어 이를 활용하며, 인간 엔지니어가 찾기 어려운 전략을 발견하는 경우가 많습니다. 

이 접근 방식을 검증하기 위해 다양한 프로덕션 워크로드에서 APO를 평가했습니다. 검증 결과, 다양한 사용 사례에서 일관되게 5~8% 의 정확도 향상이 나타났습니다.배포된 여러 온디바이스 기능에서 APO는 상당한 품질 향상을 제공했습니다.

결론

자동 프롬프트 최적화(APO)의 출시는 온디바이스 생성형 AI의 전환점이 되었습니다. 파운데이션 모델과 전문가 수준의 성능 간의 격차를 해소함으로써 개발자에게 더 강력한 모바일 애플리케이션을 빌드할 수 있는 도구를 제공합니다. 제로샷 최적화로 시작하든 데이터 기반 미세 조정을 통해 프로덕션으로 확장하든, 이제 고품질 온디바이스 인텔리전스로 가는 길이 더 명확해졌습니다. ML Kit의 Prompt API와 Vertex AI의 자동 프롬프트 최적화를 사용하여 지금 바로 온디바이스 사용 사례를 프로덕션에 출시하세요. 

관련 링크: 

작성자:
계속 읽기