音频输入通常来自内置麦克风、外接麦克风或连接到设备的音频接口。音频输入也可以来自 电话对话。
有时,两个或多个应用可能都想“捕获”相同的音频输入。 它们可能执行不同的任务。 例如,某些接收音频的应用可能会“录制”(例如简单的录音机),而其他应用可能会“监听”(例如 Google 助理或响应语音指令的无障碍服务)。
无论哪种情况,这些应用都希望接收音频输入。在本页中,无论应用是录制还是仅监听,我们都使用“捕获”一词。
如果两个或多个应用想要同时捕获音频,则可能会出现无法将来自同一来源的音频信号传递给所有应用的问题。本页介绍了 Android 系统如何在多个捕获音频的应用之间共享音频输入。
Android 10 之前的行为
在 Android 10 之前,输入音频串流一次只能由一个应用捕获。如果某个应用已在录制或监听音频,您的应用可以
创建 AudioRecord 对象,但在您调用
AudioRecord.startRecording()
时会返回错误,并且录制不会开始。
此规则的一个例外情况是,当特权应用(例如 Google 助理或一个
无障碍服务)具有权限
android.permission.CAPTURE_AUDIO_HOTWORD并使用类型为
HOTWORD的音频源时。在这种情况下,另一个应用可以开始录制。发生这种情况时,特权应用会终止,而新应用会捕获输入。
Android 9 中添加了另一项更改:只有在前台运行的应用(或前台服务)才能捕获音频输入。当没有前台服务或前台界面组件的应用开始捕获时,该应用会继续运行,但会收到静音,即使它是当时唯一捕获音频的应用也是如此。
Android 10 行为
Android 10 之前的行为是“先到先得”。一旦应用开始捕获音频,在捕获音频的应用停止之前,其他应用都无法访问音频输入。
Android 10 引入了一种优先级方案,可以在应用运行时在应用之间切换输入音频串流。在大多数情况下,如果新应用获取音频输入,之前捕获音频的应用会继续运行,但会收到静音。在某些情况下,系统可以继续向这两个应用传递音频。下面介绍了各种 共享场景。
此方案类似于音频焦点处理多个应用争用音频输出的方式。不过,音频焦点是通过编程请求来获取和释放焦点进行管理的,而此处介绍的输入切换方案基于优先级政策,每当新应用开始捕获音频时,系统会自动应用该政策。
为了捕获音频,Android 区分了两种应用:
- “普通”应用由用户安装。
- “特权”应用预安装在设备上。其中包括 Google 助理和所有无障碍服务。
此外,如果应用使用“对隐私敏感”的音频源:
CAMCORDER
或 VOICE_COMMUNICATION,则会受到不同的对待。
使用和共享音频输入的优先级规则如下:
- 特权应用的优先级高于普通应用。
- 具有可见前台界面的应用的优先级高于后台应用。
- 从对隐私敏感的来源捕获音频的应用的优先级高于不从对隐私敏感的来源捕获音频的应用。
- 两个普通应用永远无法同时捕获音频。
- 在某些情况下,特权应用可以与其他应用共享音频输入。
- 如果两个优先级相同的后台应用正在捕获音频,则最后启动的应用的优先级更高。
共享场景
当两个应用尝试捕获音频时,它们可能都能接收输入信号,也可能其中一个应用收到静音。
主要有四种场景:
- Google 助理 + 普通应用
- 无障碍服务 + 普通应用
- 两个普通应用
- 语音通话 + 普通应用
Google 助理 + 普通应用
Google 助理是特权应用,因为它已预安装,并且具有
角色 RoleManager.ROLE_ASSISTANT。
任何其他具有此角色的预安装应用都会受到类似对待。
Android 会根据以下规则共享输入音频:
Google 助理可以接收音频(无论是在前台还是后台),除非另一个使用对隐私敏感的音频源的应用已在捕获音频。
除非 Google 助理在屏幕顶部有可见的界面组件,否则应用会接收音频。
请注意,只有当 Google 助理在后台运行且另一个应用未从对隐私敏感的音频源捕获音频时,这两个应用才会接收音频。
无障碍服务 + 普通应用
AccessibilityService
需要严格声明。
Android 会根据以下规则共享输入音频:
如果服务的界面位于顶层,则服务和应用都会接收音频输入。此行为提供了一些功能,例如使用语音指令控制语音通话或视频捕获。
如果服务不在顶层,则此情况与下面的普通双应用情况类似。
两个普通应用
当两个应用同时捕获音频时,只有一个应用会接收音频,另一个应用会收到静音。
Android 会根据以下规则共享输入音频:
- 如果这两个应用都不对隐私敏感,则界面位于顶层的应用会接收音频。 如果这两个应用都没有界面,则最近开始捕获的应用会接收音频。
- 如果其中一个应用对隐私敏感,则该应用会接收音频,而另一个应用会收到静音,即使该应用在顶层有界面或最近开始捕获也是如此。
- 如果这两个应用都对隐私敏感,则最近开始捕获的应用会接收音频,而另一个应用会收到静音。
语音通话 + 普通应用
如果
AudioManager.getMode() 返回的音频模式为
MODE_IN_CALL 或
MODE_IN_COMMUNICATION,则语音通话处于活动状态。
Android 会根据以下规则共享输入音频:
- 通话始终会接收音频。
- 如果应用是无障碍服务,则可以捕获音频。
如果应用是具有权限
CAPTURE_AUDIO_OUTPUT的特权 (预安装)应用,则可以捕获语音通话。如需捕获语音通话的上行链路 (TX)、下行链路 (RX) 或两者,应用必须 指定音频源
MediaRecorder.AudioSource.VOICE_UPLINK或MediaRecorder.AudioSource.VOICE_DOWNLINK, 和/或设备AudioDeviceInfo.TYPE_TELEPHONY。
Android 11 行为
Android 11(API 级别 30)遵循上述 Android 10 优先级方案。它还在 AudioRecord、MediaRecorder 和 AAudioStream 中提供了新方法,用于启用和停用并发捕获音频的功能,无论选择哪种用例。
这些新方法包括:
AudioRecord.Builder.setPrivacySensitive()AudioRecord.isPrivacySensitive()MediaRecorder.setPrivacySensitive()MediaRecorder.isPrivacySensitive()AAudioStreamBuilder_setPrivacySensitive()AAudioStream_isPrivacySensitive()
如果将 setPrivacySensitive() 设为 true,则捕获用例是私有的,即使是特权助理也不能并发捕获。此设置会替换依赖于音频源的默认行为。例如,VOICE_COMMUNICATION 默认是私有的,但 UNPROCESSED 不是。
配置变更
当多个应用同时捕获音频时,只有一两个应用处于 "活动" 状态(接收音频);其他应用处于静音状态(接收静音)。当活动应用发生变化时,音频框架可能会根据以下规则重新配置音频路径:
- 每个活动应用的音频输入设备可能会发生变化(例如,从内置麦克风变为连接的蓝牙耳机)。
- 与优先级最高的活动应用关联的预处理已启用。所有其他预处理都会被忽略。
由于活动应用可能会在优先级更高的应用变为活动状态时被静音,
因此您可以在
AudioManager.AudioRecordingCallback
上注册 AudioRecord
或 MediaRecorder
对象,以便在配置发生变化时收到通知。
可能发生的变化包括:
- 捕获静音或取消静音
- 设备已更改
- 预处理已更改
- 流属性已更改(采样率、通道掩码、采样格式)
您必须在捕获开始之前调用
AudioRecord.registerAudioRecordingCallback()
。
只有当应用接收音频并且发生更改时,才会执行回调。
方法 onRecordingConfigChanged() 会返回一个 AudioRecordingConfiguration,其中包含当前的音频捕获状态。使用以下方法了解更改:
isClientSilenced()- 如果由于捕获政策,返回给客户端的音频当前处于静音状态,则返回 true。
getAudioDevice()- 返回活动的音频设备。
getEffects()- 返回活动的预处理效果。请注意,如果客户端不是优先级最高的活动应用,则活动效果可能与
getClientEffects()返回的效果不同。 getFormat()- 返回流属性。请注意,客户端收到的实际音频数据始终遵循
getClientFormat()返回的所需格式。框架会自动执行必要的重采样、通道和格式转换,将硬件接口中使用的格式转换为客户端指定的格式。 AudioRecord.getActiveRecordingConfiguration()。- 返回活动的录制配置。
您可以通过调用
AudioManager.getActiveRecordingConfigurations()来大致了解设备上的所有活动录制。