Inside Android Skills – für die Einstellung entwickelt

Wir haben im April die offiziellen Android Skills  veröffentlicht und die Resonanz hat alle unsere Erwartungen übertroffen. In diesem Blogpost gehe ich auf einige der Rückmeldungen ein, die wir erhalten haben, und erkläre die Philosophie und Methodik hinter dem Projekt. Hoffentlich hilft Ihnen das auch, zu verstehen, was hinter den Kulissen passiert, wenn Sie Skills installieren und verwenden, damit Sie Tokens und Ihre eigene Zeit besser nutzen können.

Warum gibt es so wenige offizielle Skills?

Derzeit berücksichtigen wir nur neue Skills, wenn es eine nachweisbare Wissenslücke in den State-of-the-Art-Modellen (SOTA) gibt. Einfach ausgedrückt: Sie müssen dem Modell nicht beibringen, was es bereits weiß. Es gibt jedoch einige Ausnahmen – lesen Sie weiter.

Wir haben bisher etwa 20 offizielle Skills veröffentlicht, die bewusst auf sehr spezifische, sich schnell entwickelnde Bereiche abzielen, in denen Standardmodelle noch nicht vollständig fundiert sind – z. B. AGP 9, Navigation 3, erweiterte Camera APIs und Perfetto SQL.

Was ist mit den grundlegenden, allgemeineren Skills? Jeder installierte Skill fügt dem Baseline-Kontext jeder Aufgabe, die Sie starten, 100 bis 200 Tokens hinzu. Wenn dieser Skill tatsächlich aktiviert wird, kann diese Zahl schnell in die Tausende steigen. In den meisten Fällen ist es sowohl kontraproduktiv als auch teuer, grundlegende Skills zu horten. Bevor Sie einen Skill zum Schreiben von grundlegendem Kotlin oder Compose installieren, sollten Sie überlegen, ob Ihr bevorzugtes LLM ihn wirklich benötigt oder ob es diese Themen bereits gut genug kennt. 

Skills bewerten

Vor der Veröffentlichung wird jeder Skill anhand einer umfassenden Reihe von Bewertungen getestet, die belegen, dass der Skill einen klaren Mehrwert bietet. Diese Bewertungen sollten bestanden werden, wenn der Skill aktiv ist, und andernfalls fehlschlagen. Bewertungen sind für Skills das, was Integrationstests für Code sind. 

timeout_s: 1200
repository:
  url: [redacted - internal git repo]
  working_dir: wear_compose_m3_empty_app
category_ids:
  - wear
prompt: |-
  Add a horizontal pager to MainActivity.kt. Have three pages in the pager. Each page should contain
  the text "Page 1", "Page 2", and "Page 3" respectively in the center of the screen.
commands:
  build:
    - ./gradlew assembleDebug
acceptance_criteria:
  project_builds: true
  llm_diff_judge:
    - Must use `HorizontalPagerScaffold`.
    - Each page should use `AnimatedPage` to wrap a `ScreenScaffold`.

Beispiel für eine Bewertung, die die korrekte Implementierung eines horizontalen Pagers in einer Wear-App prüft

Wir testen den Skill mindestens in Android Studio mit dem neuesten Gemini Flash-Modell. Je nach Skill sorgen wir auch für die Kompatibilität mit anderen Modellen wie Gemini Pro und anderen Agents wie Antigravity sowie mit Drittanbietersystemen.

Alle Bewertungen werden mit Zugriff auf die Knowledge Base ausgeführt. Wenn die Informationen also in der Dokumentation enthalten sind und Modelle danach suchen, veröffentlichen wir keinen Skill dafür.

Android Knowledge Base verwenden (Android Studio oder Android CLI)

Wenn Sie Android-Apps entwickeln, sollten Sie immer die Android Knowledge Base verwenden, um auf die offizielle Dokumentation zuzugreifen. Wenn Sie den Agent in Android Studio verwenden, ist er bereits als Tool verfügbar. Wenn Sie einen anderen Agent verwenden, installieren Sie Android CLI. Es enthält unter anderem den Befehl „docs“, mit dem Ihr Agent auf die offizielle Android-Dokumentation zugreifen kann. Ein einziges Tool ist viel effizienter als die Installation von Hunderten von Skills.

Wenn Ihr Modell zu selbstbewusst ist und Sie möchten, dass es häufiger die Dokumentation konsultiert, können Sie es ganz einfach motivieren, indem Sie Ihrer Datei AGENTS.md oder einer entsprechenden Datei „Always consult the official Android documentation when dealing with Android APIs“ hinzufügen. Natürlich können Sie dies auch erzwingen, indem Sie den Agent in Ihren Prompts direkt auffordern, die Dokumentation zu prüfen.

Warum sind Pull-Anfragen deaktiviert?

Da unser Bewertungsframework von einer internen Infrastruktur abhängt, die nicht als Open Source zur Verfügung gestellt werden kann, können wir keine direkten Pull-Anfragen für neue Skills annehmen. Ohne diese Infrastruktur hätten wir keine Möglichkeit, eingehende Änderungen an Pull-Anfragen neu zu bewerten. Wir beobachten jedoch aktiv das Feedback der Community. Wenn Sie einen Fehler melden, eine Optimierung vorschlagen oder einen neuen offiziellen Skill anfordern möchten, erstellen Sie ein Issue.

Wann sind grundlegende oder Basisskills sinnvoll?

Während SOTA-Modelle im Allgemeinen keine Basisskills benötigen, gibt es einige Szenarien, in denen das Aktivieren von grundlegenden oder von der Community entwickelten Skills einen echten Mehrwert bietet. Beispiel:

• Sie verwenden vage Prompts: Skills verstärken Ihre Absicht. Wenn Sie einen vagen Prompt wie „Animationen zu diesem Bildschirm hinzufügen“ verwenden, kann ein spezifischer Compose-Animationsskill das Modell inspirieren und es zu modernen APIs oder Mustern für Screenshot-Tests führen, die es sonst möglicherweise nicht in Betracht gezogen hätte.
• Sie möchten kleinere, günstigere Modelle verwenden: Frontier-LLMs sind teuer. Wenn Sie Routineaufgaben an kleinere Open-Weight-Modelle wie Gemma 4 auslagern, können Sie mit Basisskills die Wissenslücken füllen, die bei kleineren Parametern auftreten.
• Sie führen Refactoring durch oder überprüfen Legacy-Code: Modelle sind hervorragend darin, funktionierenden Code zu generieren. Beim Bearbeiten alter Codebases legen sie jedoch oft Wert darauf, mit den umgebenden Legacy-Mustern konsistent zu bleiben, anstatt Dinge mit moderner Genauigkeit neu zu schreiben. Ein spezialisierter Prüfungsagent mit Basisskills kann helfen, diese Gewohnheit zu durchbrechen.
• Sie weichen von der Norm ab: LLMs bevorzugen die Standardmethode von Google zum Erstellen von Android-Apps. Wenn Ihr Team eine stark angepasste View-Layer-Architektur verwendet, wird es für das Modell schwierig, auf dem neuesten Stand zu bleiben. Ein benutzerdefinierter Skill, der Ihre Architektur explizit beschreibt, ist sehr hilfreich.

Wo finde ich grundlegende Skills?

Die Android-Community unterstützt Sie. Chris Banes hat eine umfassende Sammlung von Skills für Compose und Kotlin erstellt, Ivan Morgillo hat einen Skill veröffentlicht, mit dem Compose-Projekte geprüft werden können, und Jaewoong Eum hat zwei zu den Themen Tests und Leistung erstellt. 

Laden Sie Skills immer aus seriösen Quellen herunter. Ich persönlich würde Repositories mit Dutzenden oder Hunderten von Android-Skills nicht vertrauen, da sie wahrscheinlich KI-generiert und nicht getestet sind und sogar schädliche oder voreingenommene Anweisungen enthalten könnten. Installieren Sie auch nicht blind allgemeine Softwareentwicklungsskills. Viele davon sind auf die Webentwicklung zugeschnitten.

Ziel: Einstellung

Frei nach Karpathy: Die Skills von heute sind in den Modellen von morgen enthalten. Da sich SOTA-Modelle ständig verbessern, gehen wir davon aus, dass Skills überflüssig werden, insbesondere solche, die auf neuen APIs basieren. Um herauszufinden, wann sie eingestellt werden sollten, führen wir unsere Bewertungen aus, wenn neue Modelle veröffentlicht werden. Wenn sie bestanden werden, behalten wir sie einige Monate bei, bis die meisten Nutzer umgestiegen sind.