AppFunctions เป็น API ของแพลตฟอร์ม Android ที่มาพร้อมกับไลบรารี Jetpack เพื่อลดความซับซ้อนในการผสานรวม Android MCP ซึ่งช่วยให้แอปทำงานเหมือนเซิร์ฟเวอร์ MCP ในอุปกรณ์ โดยมีฟังก์ชันที่ทำหน้าที่เป็นเครื่องมือสำหรับฟีเจอร์เชิงรุก รวมถึง Agent และผู้ช่วยต่างๆ เช่น Google Gemini หากต้องการทดสอบและเผยแพร่ AppFunctions ด้วย Gemini ให้สมัครรับเวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ของแพลตฟอร์มแอปที่เชื่อมต่อ หลังจากเข้าร่วมแล้ว ให้ทำตามขั้นตอนในหัวข้อสร้างและจัดการแอปที่เชื่อมต่อ
การกำหนด AppFunction เหล่านี้จะช่วยให้แอปของคุณให้บริการ ข้อมูล และการดำเนินการแก่รีจิสทรีที่ติดตั้งมาในระบบปฏิบัติการ Android ซึ่งช่วยให้ผู้ใช้ทำงานต่างๆ ให้เสร็จสมบูรณ์ผ่านตัวแทนและการโต้ตอบระดับระบบได้
AppFunctions ทำหน้าที่เป็นเครื่องมือเทียบเท่าบนอุปกรณ์เคลื่อนที่ภายใน Model Context Protocol (MCP) แม้ว่าโดยปกติแล้ว MCP จะกำหนดมาตรฐานวิธีที่ Agent เชื่อมต่อกับเครื่องมือฝั่งเซิร์ฟเวอร์ แต่ AppFunctions ก็มีกลไกเดียวกันสำหรับแอป Android ซึ่งจะช่วยให้คุณแสดงความสามารถของแอปเป็น "เครื่องมือ" ที่จัดการได้ ซึ่งแอปที่ได้รับอนุญาต (ผู้เรียก) สามารถค้นพบและดำเนินการเพื่อตอบสนองความตั้งใจของผู้ใช้ได้ ผู้เรียกต้องมีสิทธิ์ EXECUTE_APP_FUNCTIONS เพื่อค้นหาและเรียกใช้ AppFunctions ซึ่งอาจรวมถึง Agent, แอป และผู้ช่วย AI เช่น Gemini
AppFunctions พร้อมใช้งานในอุปกรณ์ที่ใช้ Android 16 ขึ้นไป
ตัวอย่าง Use Case
AppFunctions มีกลไกที่มีประสิทธิภาพในการทำงานอัตโนมัติและปรับปรุงการโต้ตอบของผู้ใช้ให้มีประสิทธิภาพมากขึ้น การเปิดความสามารถของแอปจะช่วยให้ผู้ใช้บรรลุเป้าหมายที่ซับซ้อนได้โดยใช้ภาษาธรรมชาติ ซึ่งมักจะแทนที่ความจำเป็นในการไปยังส่วนต่างๆ ด้วยตนเองทีละขั้นตอนด้วย UI ของคุณ
สถานการณ์ต่อไปนี้แสดงวิธีใช้ AppFunctions เพื่อขับเคลื่อนประสบการณ์การใช้งานในหมวดหมู่แอปต่างๆ
การจัดการงานและประสิทธิภาพการทำงาน
- คำขอของผู้ใช้: "เตือนฉันให้รับพัสดุที่ทำงานวันนี้ตอน 5 โมงเย็น"
- การดำเนินการ AppFunction: ผู้โทรระบุแอปการจัดการงานที่เกี่ยวข้องและเรียกใช้ฟังก์ชันเพื่อสร้างงาน โดยป้อนข้อมูลในช่องชื่อ เวลา และสถานที่โดยอัตโนมัติตามพรอมต์ของผู้ใช้
/** * Create a new task or reminder with a title, due time, and location. * * @param title The descriptive title of the task (e.g., "Pick up my package"). * @param dueDateTime The specific date and time when the task should be completed. * @param location The physical location associated with the task (e.g., "Work"). * @return The created Task */ @AppFunctionDeclaration(isDescribedByKDoc = true) suspend fun createTask( title: String, dueDateTime: LocalDateTime? = null, location: String? = null, ): Task = TODO()
สื่อและบันเทิง
- คำขอของผู้ใช้: "สร้างเพลย์ลิสต์ใหม่ที่มีอัลบั้มแจ๊สยอดนิยมจากปีนี้"
- การดำเนินการ AppFunction: ผู้เรียกใช้จะเรียกใช้ฟังก์ชันการสร้างเพลย์ลิสต์ภายในแอปเพลง โดยส่งบริบท เช่น "อัลบั้มแจ๊สยอดนิยมปี 2026" เป็นคำค้นหาเพื่อสร้างเพลย์ลิสต์ทันที
/** * Create a new music playlist based on a natural language query. * * @param query The description used to generate the playlist (e.g., "top jazz albums from 2026"). * @return The final created playlist based on songs. */ @AppFunctionDeclaration(isDescribedByKDoc = true) suspend fun createPlaylistFromQuery( query: String, ): Playlist = TODO()
เวิร์กโฟลว์ข้ามแอป
- คำขอของผู้ใช้: "ค้นหาสูตรก๋วยเตี๋ยวจากอีเมลของ Lisa และเพิ่มส่วนผสมลงในรายการช็อปปิ้งของฉัน"
- การดำเนินการ AppFunction: คำขอนี้ใช้ฟังก์ชันจากหลายแอป ก่อนอื่น ผู้โทรจะใช้ฟังก์ชันการค้นหาของแอปอีเมลเพื่อดึงเนื้อหา จากนั้นจะดึงข้อมูลส่วนผสมที่เกี่ยวข้องและเรียกใช้ฟังก์ชันของแอปรายการช็อปปิ้งเพื่อสร้างรายการของผู้ใช้
/** * Search for emails matching a query or sender name to retrieve content like recipes. * * @param query The search term or contact name (e.g., "Lisa noodle recipe"). * @return A list of matching email summaries containing the requested information. */ @AppFunctionDeclaration(isDescribedByKDoc = true) suspend fun searchEmails( query: String, ): List<EmailSummary> = TODO() /** * Add a list of items or ingredients to the user's active shopping list. * * @param items The names of the ingredients or products to add to the list. * @return The final shopping list with new items added */ @AppFunctionDeclaration(isDescribedByKDoc = true) suspend fun addItemsToShoppingList( items: List<String>, ): ShoppingList = TODO()
ปฏิทินและการกำหนดเวลา
- คำขอของผู้ใช้: "เพิ่มปาร์ตี้วันเกิดแม่ลงในปฏิทินวันจันทร์หน้าตอน 6 โมงเย็น"
- การดำเนินการ AppFunction: แอป Agentic ที่ได้รับอนุมัติจะเรียกใช้ฟังก์ชัน "สร้างกิจกรรม" ของแอปปฏิทิน โดยแยกวิเคราะห์บริบทที่เกี่ยวข้อง เช่น "วันจันทร์หน้า" และ "18:00 น." เพื่อสร้างรายการโดยที่ผู้ใช้ไม่ต้องเปิดปฏิทินด้วยตนเอง
/** * Schedule a new event on the user's primary calendar. * * @param title The name of the calendar event (e.g., "Mom's birthday party"). * @param startDateTime The specific date and time the event is scheduled to begin. * @return The created Event object. */ @AppFunctionDeclaration(isDescribedByKDoc = true) suspend fun createCalendarEvent( title: String, startDateTime: LocalDateTime, ): Event = TODO()
วิธีการทำงานของ AppFunctions
แผนภาพต่อไปนี้แสดงขั้นตอนทั่วไปที่แอปแชร์ AppFunction กับ Agent และดำเนินการในภายหลัง ตัวแทนมีแนวโน้มที่จะพิจารณาทั้งเครื่องมือ MCP ระยะไกลฝั่งเซิร์ฟเวอร์และ AppFunctions ในเครื่องร่วมกันเมื่อจัดการคำขอของผู้ใช้ ขั้นตอนโดยละเอียดสำหรับการใช้ AppFunctions ในเครื่องมีดังนี้
- การประกาศ AppFunction: แอป Android สร้างขึ้นเพื่อใช้ AppFunction เพื่อให้ฟีเจอร์ต่างๆ พร้อมใช้งาน เช่น "สร้างโน้ต" หรือ "ส่งข้อความ"
- การสร้างสคีมา: ไลบรารี Jetpack ของ AppFunctions จะสร้างไฟล์สคีมา XML ที่แสดงรายการ AppFunctions ที่ประกาศทั้งหมดในแอป ระบบปฏิบัติการ Android จะใช้ไฟล์นี้เพื่อจัดทำดัชนี AppFunctions ที่พร้อมใช้งาน
- การดึงข้อมูลเมตา: Agent สามารถดึงข้อมูลเมตาของ AppFunction ได้โดยการค้นหา นอกเหนือจาก KDoc เฉพาะฟังก์ชันแล้ว นักพัฒนาแอปยังสามารถกำหนดรูปแบบและข้อจำกัดในการทำงานระดับแอปในข้อมูลเมตาของแอปเพื่อเป็นแนวทางในการจัดระเบียบ Agent ในเครื่องมือต่างๆ ได้ด้วย
- การเลือกและการดำเนินการ AppFunction: ตัวแทนจะเลือกและดำเนินการ AppFunction ที่เหมาะสมพร้อมพารามิเตอร์ที่เหมาะสมตามพรอมต์ของผู้ใช้
ไลบรารี Jetpack ของ AppFunctions ช่วยให้การแสดงฟังก์ชันการทำงานของแอปง่ายขึ้น
เมื่อใช้โปรเซสเซอร์สำหรับคำอธิบายประกอบ คุณจะใส่คำอธิบายประกอบฟังก์ชันที่ต้องการให้พร้อมใช้งานสำหรับตัวแทน จากนั้นผู้โทรจะค้นหาและเรียกใช้ฟังก์ชันที่จัดทำดัชนีเหล่านี้ได้โดยใช้ AppFunctionManager
ก่อนเรียกใช้ฟังก์ชัน ผู้โทรควรยืนยันว่าอุปกรณ์รองรับฟีเจอร์ AppFunctions โดยพยายามดึงข้อมูลอินสแตนซ์ของ AppFunctionManager เมื่อรองรับแล้ว ผู้โทรจะยืนยันได้ว่ามีการเปิดใช้ฟังก์ชันที่เฉพาะเจาะจงภายในแอปเป้าหมายหรือไม่โดยใช้ isAppFunctionEnabled(packageName,functionId) การค้นหาสถานะของฟังก์ชันในแพ็กเกจอื่นๆ ต้องใช้สิทธิ์ android.permission.EXECUTE_APP_FUNCTIONS
แอปของคุณไม่จำเป็นต้องยืนยันว่าระบบรองรับฟีเจอร์ AppFunction หรือไม่ เนื่องจากไลบรารี Jetpack จะจัดการเรื่องนี้โดยอัตโนมัติ เช่น AppFunctionManager สามารถยืนยันได้ว่าระบบรองรับฟีเจอร์ดังกล่าวหรือไม่
ต่อไปนี้คือตัวอย่าง AppFunctions สำหรับแอปจดโน้ตที่มีความสามารถในการสร้าง แก้ไข และแสดงรายการโน้ต
@RequiresApi(36) @AndroidEntryPoint @AppFunctionServiceEntryPoint( serviceName = "TaskAppFunctionService", appFunctionXmlFileName = "task_app_function_service", ) abstract class BaseTaskAppFunctionService : AppFunctionService() { @Inject internal lateinit var taskRepository: TaskRepository /** * Creates a task with a title, content, or both. * * @param createTaskParams The title and content of the task. At least one * of them is required. * @return The created task, including its ID. */ @AppFunctionDeclaration(isDescribedByKDoc = true) suspend fun createTask( createTaskParams: CreateTaskParams, ): Task = withContext(Dispatchers.IO) { // Developers can use predefined exceptions to let the agent know // why it failed. if (createTaskParams.title == null && createTaskParams.content == null) { throw AppFunctionInvalidArgumentException("A task needs a title, content, or both.") } val id = taskRepository.createTask( createTaskParams.title, createTaskParams.content ) return@withContext taskRepository .getTask(id) ?.toTask() ?: throw AppFunctionElementNotFoundException("Task not found for ID = $id") } // Maps internal TaskEntity private fun TaskEntity.toTask() = Task(id = id, title = title, content = description) }
/** The title and content of a new task. */ @AppFunctionSerializable(isDescribedByKDoc = true) data class CreateTaskParams( /** The title of the task. */ val title: String?, /** The content of the task. */ val content: String?, ) /** The user-created task. */ @AppFunctionSerializable(isDescribedByKDoc = true) data class Task( /** The ID of the task. */ val id: String, /** The title of the task. */ val title: String, /** The content of the task. */ val content: String, )
ตัวอย่าง สกิล และเครื่องมือทดสอบ
เราได้จัดเตรียมสิ่งต่อไปนี้เพื่อช่วยให้คุณเพิ่มทักษะใน AppFunctions
- สำรวจตัวอย่าง AppFunctions เพื่อยืนยันและดูวิธีการทำงานของทุกอย่างในอุปกรณ์
- ใช้ทักษะตัวแทน AppFunctions เพื่อเร่งการพัฒนาในวงจร 4 ขั้นตอนต่อไปนี้
- การสำรวจ: วิเคราะห์ฐานของโค้ดเพื่อระบุและแนะนำฟีเจอร์ที่มีคุณค่าสูงสำหรับการจัดการ AI
- การติดตั้งใช้งานและการกำหนดค่า: สร้างการติดตั้งใช้งาน Kotlin และกำหนดค่าข้อมูลเมตาของระบบและการขึ้นต่อกันของบิลด์
- การปรับแต่ง KDoc: เพิ่มประสิทธิภาพเอกสารประกอบเกี่ยวกับฟังก์ชันและพร็อพเพอร์ตี้สำหรับ Agent ของ AI และ MCP ของ Android
- การทดสอบและการแก้ไขข้อบกพร่อง: ระบุคำสั่ง ADB สำหรับการประเมินในเครื่องและการแก้ไขข้อบกพร่องในอุปกรณ์
- ทดสอบทั้งลักษณะการทำงานของฟังก์ชัน ซึ่งรวมถึงค่าเริ่มต้นที่ละเว้น การเรียกใช้เธรดหลัก ข้อผิดพลาด
AppFunctionExceptionและอินพุตที่โมเดลสร้างขึ้น ตลอดจนวิธีที่ Agent เลือกและเรียกใช้ฟังก์ชันเหล่านั้น ดูข้อมูลเพิ่มเติมเกี่ยวกับการทดสอบหน่วย, ADB และ Agent ได้ที่ยืนยันการผสานรวม AppFunction - หากต้องการทดสอบวิธีที่ Gemini ใช้ AppFunctions ของคุณ ให้ทำตามขั้นตอนในหัวข้อสร้างและจัดการแอปที่เชื่อมต่อ
คำถามที่พบบ่อย
ส่วนต่อไปนี้จะตอบคำถามที่พบบ่อยเกี่ยวกับ AppFunctions
ฉันเป็นนักพัฒนาแอป ฉันจะใช้ AppFunctions วันนี้ได้ไหม
ได้ คุณสามารถติดตั้งใช้งานและทดสอบ AppFunctions ภายในแอปได้โดยทำตามคำแนะนำที่ระบุไว้ในส่วนก่อนหน้า
AppFunctions และ MCP แตกต่างกันอย่างไร
ทั้ง 2 วิธีช่วยให้ AI Agent จัดระเบียบเครื่องมือได้ แต่มีความแตกต่างอย่างมากในด้านสถาปัตยกรรม เวลาในการตอบสนอง และความพยายามของนักพัฒนาซอฟต์แวร์ที่จำเป็น AppFunctions เป็นฮุกระดับระบบปฏิบัติการในตัวซึ่งมีเฉพาะใน Android และทำงานในเครื่อง ในทางตรงกันข้าม เซิร์ฟเวอร์ MCP มาตรฐานเป็นโซลูชันที่ไม่ขึ้นอยู่กับแพลตฟอร์มซึ่งอาศัยการดำเนินการในระบบคลาวด์และการส่งข้อมูลไปกลับในเครือข่าย
กล่าวโดยย่อคือ การพัฒนาด้วย AppFunctions ช่วยให้คุณใช้สถานะแอปที่มีอยู่ได้โดยตรงในอุปกรณ์ และไม่จำเป็นต้องดูแลรักษาบริการนอกแอป Android
ฉันได้ติดตั้งใช้งาน AppFunctions ในแอปแล้ว ทำไม Gemini หรือ AI Agent อื่นๆ จึงเข้าถึงไม่ได้
- หากต้องการใช้ AppFunctions กับ Gemini บน Android ให้ลงทะเบียนและส่งแอปใน Google Connected Console ผ่านเวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ของแพลตฟอร์มแอปที่เชื่อมต่อ จนกว่าแอปที่เชื่อมต่อจะได้รับการเผยแพร่ เฉพาะผู้ทดสอบในรายชื่อผู้ทดสอบของแอปที่เชื่อมต่อเท่านั้นที่จะใช้แอปได้ และใช้ได้เฉพาะใน App Bundle เวอร์ชันที่คุณส่งเท่านั้น ดูขั้นตอนการตั้งค่าได้ที่คู่มือ Google Connected Console สำหรับแอปที่เชื่อมต่อและ Android MCP
- หากต้องการเรียกใช้ AppFunctions จาก Agent ของคุณเอง: แอปจะเรียกใช้ AppFunctions ที่ประกาศไว้ภายในแพ็กเกจของตนเองได้ การค้นหาและเรียกใช้ AppFunctions ของแอปอื่นๆ ต้องใช้สิทธิ์
EXECUTE_APP_FUNCTIONSที่มีสิทธิ์พิเศษ ซึ่ง Android จะให้สิทธิ์แก่ผู้ช่วยระบบที่ได้รับอนุญาตเท่านั้น
ฉันจะเตรียมแอปให้พร้อมสำหรับเวอร์ชันสำหรับผู้ใช้ทั่วไปของ AppFunctions ได้อย่างไร
พิจารณาฟีเจอร์ของแอปที่คุณต้องการแสดงต่อการทำงานอัตโนมัติแบบ Agentic
คุณสามารถใช้ AppFunctions ในแอปได้ โดยทำตามขั้นตอนในส่วนก่อนหน้าของหน้านี้ และยืนยันว่าได้ลงทะเบียนในอุปกรณ์แล้วโดยเรียกใช้ adb shell cmd app_function list-app-functions --package ด้วยชื่อแพ็กเกจของแอป
ฉันจะทดสอบและเผยแพร่ AppFunctions ด้วย Gemini ได้อย่างไร
เข้าร่วมเวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ของแพลตฟอร์มแอปที่เชื่อมต่อ หากต้องการขอสิทธิ์เข้าถึง ให้สมัครเข้าร่วมเวอร์ชันตัวอย่าง หลังจากเข้าร่วมแล้ว ให้สร้างแอปที่เชื่อมต่อ Android MCP ใน Google Connected Console, อัปโหลด App Bundle ไปยังแทร็กทดสอบ และเพิ่มผู้ทดสอบคนเดียวกันลงในทั้ง 2 แทร็ก โปรดดูรายละเอียดที่หัวข้อสร้างและจัดการแอปที่เชื่อมต่อ
ฉันจะแสดงความคิดเห็นเกี่ยวกับ AppFunctions ได้อย่างไร
คุณแสดงความคิดเห็นเกี่ยวกับ API ได้โดยยื่นปัญหา