Hybride Inferenz

Google bietet eine große Auswahl an branchenführenden KI-Modellen und APIs für cloudbasierte und On-Device-Inferenz. Mit der hybriden Inferenz können Sie KI-Arbeitslasten nahtlos zwischen dem lokalen Gerät und der Cloud ausgleichen und so Leistung, Kosten und Verfügbarkeit optimieren.

Die hybride Inferenz bietet zwei Hauptvorteile für Ihre Android-App:

  • Maximale Reichweite: Cloud-Modelle dienen als wichtiger Fallback, wenn On-Device-Modelle wie Gemini Nano aufgrund von Einschränkungen der Gerätehardware oder des Betriebssystems nicht verfügbar sind. So wird sichergestellt, dass Ihre KI-Funktionen auf möglichst vielen Nutzergeräten funktionieren.
  • Kosten und Offlinefunktionen: On-Device-Modelle sorgen dafür, dass Ihre KI-Funktionen auch dann nahtlos funktionieren, wenn der Nutzer offline ist. Außerdem können durch das Auslagern von Routineaufgaben auf das lokale Gerät die Kosten für die Cloud-Inferenz reduziert werden.

Hier sind die Vorteile der Inferenz auf dem Gerät und der Cloud-Inferenz:

On-Device-Inferenz Cloud-Inferenz
Offline verfügbar Mit jedem Gerät kompatibel
Keine Kosten für Inferenz Erweiterte Modellfunktionen

Implementierungsoptionen

Sie können die hybride Inferenz mit den folgenden Ansätzen implementieren:

Firebase AI Logic Hybrid API

Die Firebase AI Logic Hybrid API bietet eine einheitliche Schnittstelle für das Routing von Inferenz zwischen Cloud- und On-Device-Modellen.

  • Automatischer Wechsel: Sie können Ihre App so konfigurieren, dass KI-Aufgaben nach Möglichkeit auf dem Gerät ausgeführt werden. Das bedeutet, dass die Funktion Ihrer App offline funktioniert, einen besseren Datenschutz bietet und keine Kosten für die Cloud-Inferenz anfallen. Wenn das On-Device-Modell nicht verfügbar ist, kann das SDK die Anfrage automatisch an das in der Cloud gehostete Gemini-Modell weiterleiten.
  • Schutz vor Missbrauch: Wenn Cloud-APIs direkt über eine mobile App aufgerufen werden, können Anmeldedaten offengelegt werden, was zu unerwünschten Gebühren führen kann. Wenn Sie Firebase AI Logic verwenden, erzwingen Sie auch Firebase App Check. Dadurch kann Missbrauch verhindert werden, da nur Ihre Original-App ohne Manipulationen auf die Gemini API in der Cloud zugreifen kann.
  • Ausgabenlimits: Wenn Sie Anfragen an cloudbasierte Modelle weiterleiten, können Sie Ausgabenobergrenzen konfigurieren, um Ihr Cloud-Budget zu schützen und unerwartete Kosten zu vermeiden.

In Ihrer App definieren Sie den Parameter onDeviceConfig, um den Inferenzmodus zu steuern und das Routing zu verwalten:

  • PREFER_ON_DEVICE: Es wird versucht, das On-Device-Modell zu verwenden. Wenn das On-Device-Modell für die Anfrage nicht verfügbar oder nicht unterstützt wird, wird automatisch auf das in der Cloud gehostete Modell zurückgegriffen.

  • PREFER_IN_CLOUD: Es wird versucht, das in der Cloud gehostete Modell zu verwenden, wenn das Gerät online und das Modell verfügbar ist. Das On-Device-Modell wird nur verwendet, wenn das Gerät offline ist.

  • ONLY_ON_DEVICE: Versucht, das On-Device-Modell zu verwenden. Löst eine Ausnahme aus, wenn das On-Device-Modell für die Anfrage nicht verfügbar oder nicht unterstützt wird.

  • ONLY_IN_CLOUD: Versucht, das in der Cloud gehostete Modell zu verwenden, wenn das Gerät online und das Modell verfügbar ist. In allen anderen Fällen wird eine Ausnahme ausgelöst.

val model = Firebase.ai(backend = GenerativeBackend.Companion.googleAI())
    .generativeModel(
        modelName = "gemini-3.5-flash",
        onDeviceConfig = OnDeviceConfig(mode = InferenceMode.Companion.PREFER_ON_DEVICE)
    )

val response = model.generateContent("Write a story about a green robot.")
print(response.text)

Implementierungsdetails finden Sie in der Firebase-Dokumentation und im Hybrid KI-Beispiel im KI-Katalog.

Beim Migrieren von Arbeitslasten in die Cloud können Cloud-API-Endpunkte verfügbar gemacht werden. Wenn Sie Firebase AI Logic verwenden, können Sie sicher auf cloudbasierte Gemini-Modelle direkt von Ihren clientseitigen Apps aus zugreifen, indem Sie Firebase App Check erzwingen. So können Sie cloudbasierte Inferenz vor unbefugtem Zugriff und Abrechnungsbetrug schützen. So bleibt Ihr hybrider Fallback-Mechanismus sowohl verfügbar als auch sicher.

Benutzerdefiniertes Routing

Wenn Ihre App bestimmte geschäftliche oder UX-Anforderungen hat, können Sie auch eine benutzerdefinierte Routing-Logik implementieren. So können Sie den Inferenzpfad dynamisch anhand von Echtzeitfaktoren wie den folgenden bestimmen:

  • Netzwerklatenz
  • Systemzustand des Geräts (z. B. Akkustand und Prozessorlast)
  • Komplexität der Nutzeranfrage

Dieser benutzerdefinierte Hybrid-Inferenzansatz wird von führenden Apps verwendet, die ihr eigenes benutzerdefiniertes Routing implementiert haben, um zuverlässige KI-Funktionen bereitzustellen, darunter:

  • Gboard: Gboard verwendet benutzerdefinierte Hybrid-Inferenz, um die Schreibtools wie „Korrekturlesen“ und „Umformulieren“ zu unterstützen.

  • Kakao Mobility: Kakao Mobility hat für seinen Paketlieferdienst ein Tool zur Extraktion von Einheiten mit benutzerdefinierter hybrider Inferenz entwickelt, das automatisch Empfängernamen, Adressen und Telefonnummern aus Nachrichten in natürlicher Sprache extrahiert, um Bestellformulare zu optimieren.