Android Qcom Audio入门学习

总结： Android Audio不简单呀，一个人摸索入门不容易的，研究了一段时间，感觉还不是很懂，但以下的知识对入门还是有帮助的。

FE(Front End)

提供pcm的设备信息，将数据从用户空间传输到音频后端，以及从音频后端捕获录制等
vendor/qcom/opensource/audio-hal/primary-hal/msm8974/platform.c
platform_init中根据声卡的名称"bengal-qrd-snd-card"获取得知配置platform_info对应的文件
PLATFORM_INFO_XML_PATH_QRD_NAME，audio_platform_info_qrd.xml，那这个文件是用来干嘛的呢？

其一就是包含pcm_ids，pcm就是我们这里提到的音频前端FE，访问pcm设备时需要知道设备的id(/dev/snd/pcmC0D3P /dev/snd/pcmC0D17c\ C0: card0 D3/D17: device id c:capture p:playbac)，不同的平台上可能出现差异，所以Framework就通过usecase来指定pcm设备，pcm_device_table用于管理usecase与pcm_ids的map关系，最终通过配置文件来修改以实现map关系的管理

pcm_device_table   [USECASE_AUDIO_PLAYBACK_LOW_LATENCY] = {LOWLATENCY_PCM_DEVICE,        //PCM_PLAYBACK               LOWLATENCY_PCM_DEVICE},    //PCM_CAPTURE<pcm_ids>   <usecase name="USECASE_AUDIO_PLAYBACK_LOW_LATENCY" type="out" id="9"/>

vendor/qcom/opensource/audio-hal/primary-hal/hal/audio_hw.c中包含use_case_table，
常见的就是low_latency(按键音等低延时)、deep_buffer(音乐等)、compress_offload(mp3、flac、acc等不需要软件解码，送入ADSP进行解码)、record(录音)、voice_call(语音通话)、voip_call(网络通话)等等

BE(Back End)

执行音频路由任务，连接Audio Device(Mic Speaker Codec等)，ADSP 处于音频前端和音频后端之间
audio_platform_info_qrd.xml中包含的其二backend_names，audio device与interface的对应关系，使用QCAT Tool显示RX Devices，需要做如下修改，因为并非使用高通的WSA

- <device name="SND_DEVICE_OUT_SPEAKER" interface="WSA_CDC_DMA_RX_0"/>+ <device name="SND_DEVICE_OUT_SPEAKER" interface="SEC_MI2S_RX"/>

ACDB(Audio Calibration Database)

audio_platform_info_qrd.xml中包含的其三acdb_ids，用于给每个音频设备在DSP 路径上的配置，或者可以说是DSP的配置文件

APR(Asynchronous Packet Router)

APR是基于SMD(Share memory Driver,提供通道让不同设备数据交互)和SMMU(System Memory Management Unit, 如果外部设备有一段可以访问的内存，那么可以直接通过smmu把这段内存映射给cpu，cpu可以直接去访问这段内存)的一种IPC 通信方式，用于Ap与QDSP通信
ADSP.VT.5.4.1/adsp_proc/apr - vendor/qcom/opensource/audio-kernel/ipc/apr.c

DAI(Digital Audio Interface)

一个machine当然要包含自己内部的音频控制接口单元–cpu_dai和外部音频设备通信协议转换接口单元–codec_dai

I2S(Inter-IC Sound)

SCLK串行时钟、WS声道选择线、Tx用于传输音频数据、Rx用于接收音频数据

PCM(Pulse Code Modulation)

BCLK位时钟，依据采样率变化、SYNC同步信号、Tx传输音频数据、Rx接受音频数据

SWR(SoundWire)

SWR由MIPI联盟推出的音频接口，有主从的两线制(clock,data)总线，Mipi SoundWire Spec 学习笔记

SLIM (Serial Low Power Interchip Media Bus)

SLIM由MIPI联盟开发的音频接口，同SWR类似，但支持多个Data线，可用于与aux(不适用dai) codec通信

ALSA(Advanced Linux Sound Architecture)

图片来自于ALSA 架构，推荐博客高通音频架构（三），ASOC(ALSA Systen on chip)主要提供一套独立的嵌入式系统设备管理框架。
(1) ALSA Library : 应用通过ALSA Library于内核空间进行交互，Android中使用tinyalsa，支持PCM和Control接口
(2) ALSA Layer： 处于内核空间，向上提供接口，如PCM、Control、Mixer，向下驱动硬件设备 I2S、Codec、Machine
(3) ASOC Machine:作为Codec和Platform的载体，将硬件设备关联起来，连接codec_dai与cpu_dai，构成硬件通路
(4) ASOC Platform: 可以简单理解为就是Soc平台，负责Soc侧的音频传输，音频接口配置与控制等
(5) ASOC Codec: 控制音频解码，完成音频采集和播放过程中模拟与数字间的转换，aux代表未使用dai的codec，
(6) DAPM: Dynamic Audio Power Management 在任何时候都能工作在最小功耗下，控制内部widget通路上下点

高通子系统subsystem基础知识

kernel/msm-4.19/drivers/soc/qcom/subsys-pil-tz.c (generic peripheral image loader (PIL) driver)
在devictree中可以发现有 qcom,firmware-name = adsp cdsp venus modem ipa_fws slpi
其实在PIL驱动并没有发生image加载过程,真正的加载有对应的子模块处理中，adsp就是在adsp-loader.c中

vendor/qcom/opensource/audio-kernel/dsp/adsp-loader.c
通过init.qcom.rc启动时 write /sys/kernel/boot_adsp/boot 1 ,之后就会subsystem_get(“adsp”)获取并加载;
其他例如slpi, 要看高通不同的平台子模块的组成，有些PIL是没有load slpi模块，sensor也是adsp中，
所以启动的节点会出现/sys/kernel/boot_adsp/ 以及 /sys/kernle/boot_slpi/两种情况
kernel/msm-4.19/drivers/sensors/sensors_ssc.c subsystem_get_with_fwname(“slpi”)获取并加载,如果有slpi的话

子系统的通信方式有三种(1)smen (2)spss(Secure-Processor-SubSystem) (3)spi,之前分析过adsp与glink以及ssc的通信都是基于smem
之前分析的博客  Android Qcom USB Driver学习(九)        Android Qcom Sensor架构学习

AMSS contents.xml和build.py可以得知各子系统的镜像 common/build/ufs/bin/asic/pil_split_bins中打包成NON-HLOS.bin或者是SDA.bin
PILDxe会去解析uefipil.cfg,其中就包含modem镜像的组成adsp slpi cdsp modem spss等几个子系统

Android推动GKI，能有更多的可动态加载的内核模块 (DLKM)，老点的Android版本audio也一直在执行DLKM的，以adsp-loader为例
vendor/qcom/opensource/audio-kernel/dsp/Kbuild Android.mk 将adsp-loader.c 模块化为audio_adsp_loader.ko
在out目录下有/dlkm/lib/modules/audio_adsp_loader.ko 和 /vendor/lib/modules/audio_adsp_loader.ko (Android Kernel ko)

vendor/lib/modules # modinfo audio_adsp_loader.ko         filename:       audio_adsp_loader.kolicense:        GPL v2              description:    ADSP Loader module  alias:          of:N*T*Cqcom,adsp-loader                        alias:          of:N*T*Cqcom,adsp-loaderC*                      depends:name:           adsp_loader_dlkm    vermagic:       4.19.157+ SMP preempt mod_unload modversions aarch64uart boot log:subsys-pil-tz ab00000.qcom,lpass: Falling back to syfs fallback for: adsp.mdtsubsys-pil-tz ab00000.qcom,lpass: Falling back to syfs fallback for: adsp.b02subsys-pil-tz ab00000.qcom,lpass: Subsystem error monitoring/handling services are upadsprpc: fastrpc_restart_notifier_cb: adsp subsystem is upadsprpc: fastrpc_rpmsg_probe: opened rpmsg channel for adsp

之前遇到过Google服务器导致ADSP中的SSC编译有问题，因为SSC用到了谷歌的Protocol，ADSP子系统启动有问题会开不了机，
看编译出的镜像size变小也可以得知有问题，暂时还没遇到过不加载导致Audio功能有问题的情况。
那高通的ADSP当作为audio究竟是如何工作?高通msm8996平台的ASOC音频路径分析

高通平台上fe dai link是链接cpu和adsp的，并非使用的i2s等硬件接口，而是使用共享内存的方式，在数据传输过程中没有实际的操作，platform直接将音频数据最终写入adsp，它描述的并非一个物理设备，这段是从博主那边看来的，自己还需看代码体会一下，挖坑。

[Linux Audio Driver] 高通平台MI2S总线配置
可见devicetree中的asoc-cpu asoc-platform包含了所有的dai接口，这里使用的MI2S1对应Secondary
硬件接口：LPI_MI2S1_CLK LPI_MI2S1_WS LPI_MI2S1_DATA0 LPI_MI2S1_DATA1
注意这里的gpio与lpg gpio的对应关系，硬件上的gpio102-gpio105对应lpg goui10-13

qcom,mi2s-audio-intf = <1>;qcom,sec-mi2s-gpios = <&cdc_sec_mi2s_gpios>; &q6core {        cdc_sec_mi2s_gpios: msm_cdc_pinctrl_sec {                compatible = "qcom,msm-cdc-pinctrl";                pinctrl-names = "aud_active", "aud_sleep";                pinctrl-0 = <&lpi_i2s2_sck_active &lpi_i2s2_ws_active                        &lpi_i2s2_sd0_active &lpi_i2s2_sd1_active>;                pinctrl-1 = <&lpi_i2s2_sck_sleep &lpi_i2s2_ws_sleep                        &lpi_i2s2_sd0_sleep &lpi_i2s2_sd1_sleep>;                qcom,lpi-gpios;        };};

耳机检测相关 0:NC(normally-closed) 1:NO(normally-open)，高通音频MBHC耳机系统软件相关配置归纳
根据硬件原理图，确认HS-DET和HPG-L引脚的连接状态，未插入时断开的则时NO,未插入时连接的则是NC

qcom,msm-mbhc-hphl-swh = <1>; qcom,msm-mbhc-gnd-swh = <1>;

DMIC0 DCMI1数字Mic输入接口对应硬件DMIC1_CLK DMIC1_DATA DMIC2_CLK DMIC2_DATA, micbias麦克风工作电压

qcom,cdc-dmic01-gpios = <&cdc_dmic01_gpios>;qcom,cdc-dmic23-gpios = <&cdc_dmic23_gpios>;qcom,cdc-micbias1-mv = <1800>qcom,cdc-micbias2-mv = <1800>qcom,cdc-micbias3-mv = <1800>

如果是dai的codec则添加在这里asoc-codec和asoc-codec-names，vendor/qcom/opensource/audio-kernel/asoc/bengal.c，populate_snd_card_dailinks将所有的snd_soc_dai_link保持在snd_soc_card中，在msm_populate_dai_link_component_of_node, 通过上面记录的num_links，逐个通过platform_name去找platform_of_node，对应devicetree中的asoc-platform-names和asoc-platform，通过cpu_dai_name去找cpu_of_node对应devicetree中的asoc-cpu-names和asoc-cpu，codec同理对应asoc-codec和asoc-codec-names，上述的内容都包含在sns_soc_dai_link中，硬件上我们得知使用的Secondary MI2S接的PA(PA也当作codec来看)，所以需要配置dai_link，在max98390 snd_soc_register_codec(&i2c->dev, &soc_codec_dev_max98390, max98390_dai, ARRAY_SIZE(max98390_dai));
分别传入snd_soc_codec_driver以及snd_soc_dai_driver，devm_snd_soc_register_card中调用soc_probe_link_dais来probe codec，当然这里并非作为i2c器件的i2c_driver的max98390_i2c_probe，而是作为alsa component的snd_soc_component_driver或者snd_soc_codec_driver(这两种其实都是抽象component示例最终挂在到全局链表component_list)的max98390_probe

asoc-codec  = <&stub_codec>, <&bolero>; asoc-codec-names = "msm-stub-codec.1", "bolero_codec";static struct snd_soc_dai_link msm_mi2s_be_dai_links[MI2S_DAI_LINK_MAX] = {{.name = LPASS_BE_SEC_MI2S_RX,.stream_name = "Secondary MI2S Playback",.cpu_dai_name = "msm-dai-q6-mi2s.1",.platform_name = "msm-pcm-routing",-.codec_name = "msm-stub-codec.1",-.codec_dai_name = "msm-stub-rx",+ .codec_name     = "max98390.0-0038",  +.codec_dai_name = "max98390-aif1",   .no_pcm = 1,.dpcm_playback = 1,.id = MSM_BACKEND_DAI_SECONDARY_MI2S_RX,.be_hw_params_fixup = msm_be_hw_params_fixup,.ops = &msm_mi2s_be_ops,.ignore_suspend = 1,.ignore_pmdown_time = 1,},static struct snd_soc_dai_driver max98390_dai[] = {   {                .name = "max98390-aif1",                .playback = {                        .stream_name = "HiFi Playback",                        .channels_min = 1,                        .channels_max = 2,                        .rates = MAX98390_RATES,                        .formats = MAX98390_FORMATS,                },                .capture = {                        .stream_name = "HiFi Capture",                        .channels_min = 1,                        .channels_max = 2,                        .rates = MAX98390_RATES,                        .formats = MAX98390_FORMATS,                },                .ops = &max98390_dai_ops,   }};

高通各平台之间也是差异的，snd_soc_dai_link结构体中仅codecs为snd_soc_dai_link_component，有些是cpu codecs platforms都是，所以在snd_soc_dai_link中使用了SND_SOC_DAILINK_REG，对应到SND_SOC_DAILINK_DEF/SND_SOC_DAILINK_DEFS定义的dai links kernel/msm-5.4/techpack/audio/asoc/msm-dailink.h

SND_SOC_DAILINK_DEFS(sec_mi2s_rx,DAILINK_COMP_ARRAY(COMP_CPU("msm-dai-q6-mi2s.2")),-DAILINK_COMP_ARRAY(COMP_CODEC("msm-stub-codec.1", "msm-stub-rx")),+   DAILINK_COMP_ARRAY(COMP_CODEC("max98390.1-0038", "max98390-aif1")),DAILINK_COMP_ARRAY(COMP_PLATFORM("msm-pcm-routing")));static struct snd_soc_dai_link msm_mi2s_be_dai_links[]{                .name = LPASS_BE_SEC_MI2S_RX,                .stream_name = "Secondary MI2S Playback",                .no_pcm = 1,                .dpcm_playback = 1,                .id = MSM_BACKEND_DAI_SECONDARY_MI2S_RX,                .be_hw_params_fixup = msm_be_hw_params_fixup,                .ops = &msm_mi2s_be_ops,                .ignore_suspend = 1,                .ignore_pmdown_time = 1,                SND_SOC_DAILINK_REG(sec_mi2s_rx),},

高通的PA相关的属性，0：没使用WSA PA, 1: 单声道 2：双声道，项目上没有用到置为0就不研究了

qcom,wsa-max-devs = <0>;  qcom,wsa-devs = <0>;qcom,wsa-aux-dev-prefix = "SpkrMono";

硬件接口 SWR_TX_CLK SWR_TX_DATA0 SWR_TX_DATA1 SWR_RX_CLK SWR_RX_DATA0 SWR_TX_DATA1 对应LPI_GPIO 0-5

qcom,codec-max-aux-devs = <1>;qcom,codec-aux-devs = <&wcd937x_codec>;

snd_soc_of_parse_audio_routing解析存入of_dapm_routes:snd_soc_dapm_route，上述devicetree对应routes.sink routes.source(kcontrol为空是dirct直连)，通过snd_soc_dapm_add_routes完成音频路径的注册，作用是将系统中注册的各种wideget:snd_soc_dapm_widget连接在一起

qcom,audio-routing =                      "TX DMIC0", "MIC BIAS1",              "MIC BIAS1", "Digital Mic0",

widget是通过snd_soc_dapm_new_controls注册的，四种widget的定义在include/sound/soc-dapm.h
(1)platform domain：SND_SOC_DAPM_MIC        (2)path domain：SND_SOC_DAPM_MICBIAS_E
(3)Codec domain：SND_SOC_DAPM_VMID        (4)stream domain：SND_SOC_DAPM_ADC_E
项目中使用wcd937x没有DMIC输入，提供MICBIAS，DMIC来自bolero

bolero_codec/hon4290-android12-vendor/vendor/qcom/opensource/audio-kernel/asoc/bengal.cstatic const struct snd_soc_dapm_widget msm_int_dapm_widgets[] = {    SND_SOC_DAPM_MIC("Digital Mic0", msm_dmic_event),    SND_SOC_DAPM_MIC("Digital Mic1", msm_dmic_event),}; vendor/qcom/opensource/audio-kernel/asoc/codecs/bolero/tx-macro.cstatic const struct snd_soc_dapm_widget tx_macro_dapm_widgets_common[]    SND_SOC_DAPM_ADC_E("TX DMIC0", NULL, SND_SOC_NOPM, 0, 0,  tx_macro_enable_dmic, SND_SOC_DAPM_PRE_PMU | SND_SOC_DAPM_POST_PMD), wcd937x_codecvendor/qcom/opensource/audio-kernel/asoc/codecs/wcd937x/wcd937x.cstatic const struct snd_soc_dapm_widget wcd937x_dapm_widgets[] =        SND_SOC_DAPM_MIXER_E("ADC1_MIXER", SND_SOC_NOPM, 0, 0, adc1_switch, ARRAY_SIZE(adc1_switch), wcd937x_tx_swr_ctrl, SND_SOC_DAPM_PRE_PMU | SND_SOC_DAPM_POST_PMD),        SND_SOC_DAPM_MICBIAS_E("MIC BIAS1", SND_SOC_NOPM, 0, 0, wcd937x_codec_enable_micbias,  SND_SOC_DAPM_PRE_PMU | SND_SOC_DAPM_POST_PMU | SND_SOC_DAPM_POST_PMD),

我们知道widget也是分起点终点的，不同的kernel版本会带来变化，SND_SOC_DAPM_MICBIAS_E(不能定义在route的起点和重点)变为SND_SOC_DAPM_SUPPLY录音时mic bias 无法自动打开问题，所以audio-routing的配置需要修改为

qcom,audio-routing ="TX DMIC0", "Digital Mic0","TX DMIC0", "MIC BIAS1",SND_SOC_DAPM_SUPPLY("MIC BIAS1", SND_SOC_NOPM, 0, 0, wcd938x_codec_enable_micbias,  SND_SOC_DAPM_PRE_PMU | SND_SOC_DAPM_POST_PMU | SND_SOC_DAPM_POST_PMD),

高通hal还有route相关的配置configs/bengal/mixer_paths_qrd.xml，在 bring up的时候，先使用tinymix/tinycap/tinyplay验证通路，再进行修改

tinymix "SEC_MI2S_RX Audio Mixer MultiMedia1" "1"tinymix "SEC_MI2S_RX SampleRate" "KHZ_48"tinymix "SEC_MI2S_RX Format" "S16_LE"tinymix "SEC_MI2S_RX Channels" "Two"tinyplay /data/test.wavtinymix "MultiMedia1 Mixer TX_CDC_DMA_TX_3" "1"tinymix "TX_CDC_DMA_TX_3 Channels" "One"tinymix "TX_AIF1_CAP Mixer DEC0" "1"tinymix "TX DMIC MUX0" "DMIC0"tinycap /data/test.wav 

<path name="deep-buffer-playback">-   <ctl name="RX_CDC_DMA_RX_1 Audio Mixer MultiMedia1" value="1" />+   <ctl name="SEC_MI2S_RX Audio Mixer MultiMedia1" value="1" /></path><path name="speaker">-   <ctl name="RX_CDC_DMA_RX_1 Channels" value="One" />-   <ctl name="RX_MACRO RX2 MUX" value="AIF2_PB" />-   <ctl name="RX INT2_1 MIX1 INP0" value="RX2" />-   <ctl name="AUX_RDAC Switch" value="1" />-   <ctl name="SpkrMono WSA_RDAC" value="Switch" />+   <ctl name="SEC_MI2S_RX SampleRate" value="KHZ_48"/>+   <ctl name="SEC_MI2S_RX Format" value="S16_LE" />+   <ctl name="SEC_MI2S_RX Channels" value="Two" /></path><path name="dmic1">    <ctl name="TX_CDC_DMA_TX_3 Channels" value="One" />    <ctl name="TX_AIF1_CAP Mixer DEC0" value="1" />    <ctl name="TX DMIC MUX0" value="DMIC0" /></path>static const struct snd_kcontrol_new msm_mi2s_snd_controls[] = {    SOC_ENUM_EXT("SEC_MI2S_RX SampleRate", sec_mi2s_rx_sample_rate,          mi2s_rx_sample_rate_get, mi2s_rx_sample_rate_put),    SOC_ENUM_EXT("SEC_MI2S_RX Format", mi2s_rx_format,  msm_mi2s_rx_format_get, msm_mi2s_rx_format_put),    SOC_ENUM_EXT("SEC_MI2S_RX Channels", sec_mi2s_rx_chs,   msm_mi2s_rx_ch_get, msm_mi2s_rx_ch_put),static struct dev_config mi2s_rx_cfg[] = {    [SEC_MI2S]  = {SAMPLING_RATE_48KHZ, SNDRV_PCM_FORMAT_S16_LE, 2},};

最后再通过 tinymix “SEC_MI2S_RX Audio Mixer MultiMedia1” “1”理解一下playback的route

PCM->MultiMedia1 Playback->MM_DL1 -> MultiMedia1 ⊕ SEC_MI2S_RX Audio Mixer->SEC_MI2S_RX->Secondary MI2S Playback

MM_DL1：SND_SOC_DAPM_AIF_IN对应一个数字音频输入接口, SEC_MI2S_RX：SND_SOC_DAPM_AIF_OUT对应一个数字音频输出接口；dai widget和stream widget是通过stream name来匹配的，通过aif_name来指定，MultiMedia1 Playback(stream_name)连接FE DAI, Secondary MI2S Playback(stream_name)连接BE DAI；SEC_MI2S_RX Audio Mixer：SND_SOC_DAPM_MIXER是个mixer(可用于多个MultiMediax混合)，MultiMedia1作为kcontrol，连接Source和Sink

来源地址：https://blog.csdn.net/qq_40405527/article/details/128385982