[MediaForge] 音频技术深度解析（二）：音频重采样

目录什么是重采样为什么要重采样哪些地方要重采样FFmpeg 重采样核心函数重采样原理深度解析遇到问题怎么处理设置错参数的表现怎么快速定位问题和 AI 一起快速定位问题本项目 swresample 实现分析1. 什么是重采样1.1 重采样的定义音频重采样（Audio Resampling）是将音频信号从一种采样率、声道数或位深度转换到另一种格式的过程。┌─────────────────────────────────────────────────────────────┐ │ 输入音频信号 │ │ 采样率: 44100 Hz, 声道: 2, 位深: 16 位 │ └──────────────────────┬──────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────┐ │ 重采样处理 │ │ ┌───────────────────────────────────────────────────────┐ │ │ │ 1. 抗混叠滤波 (Anti-aliasing Filter) │ │ │ │ 2. 插值 (Interpolation) / 抽取 (Decimation) │ │ │ │ 3. 声道重映射 (Channel Remapping) │ │ │ │ 4. 格式转换 (Format Conversion) │ │ │ └───────────────────────────────────────────────────────┘ │ └──────────────────────┬──────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────┐ │ 输出音频信号 │ │ 采样率: 48000 Hz, 声道: 1, 位深: 32 位浮点 │ └─────────────────────────────────────────────────────────────┘1.2 核心概念对比概念说明示例上采样（Upsampling）从低采样率转换到高采样率44100 → 48000 Hz下采样（Downsampling）从高采样率转换到低采样率48000 → 44100 Hz声道转换改变声道数量或布局立体声 → 单声道格式转换改变采样格式或位深16位整数 → 32位浮点2. 为什么要重采样2.1 设备兼容性不同设备支持的音频格式差异很大：┌─────────────────────────────────────────────────────────────┐ │ 设备兼容性问题 │ │ │ │ 麦克风采集: 48000 Hz, 立体声, 24 位整数 │ │ ↓ │ │ 编码器只支持: 44100 Hz, 单声道, 16 位整数 │ │ ↓ 必须重采样！ │ │ 编码后的音频文件 │ └─────────────────────────────────────────────────────────────┘2.2 为什么需要统一格式原因说明编码器限制多数音频编码器（如 AAC、MP3）只支持特定采样率混音需求多个音频源混合必须使用相同的采样率播放设备扬声器/耳机可能只支持特定格式存储优化降低采样率可减小文件大小性能优化低采样率处理更快2.3 常见采样率对比采样率常用场景说明8000 Hz电话、语音仅满足语音清晰度16000 HzVoIP、语音识别语音质量较好22050 Hz旧视频格式半CD质量44100 HzCD、音乐标准音频质量48000 Hz专业音频、视频影视制作标准96000 Hz高端录音超高质量3. 哪些地方要重采样3.1 典型应用场景流程图┌─────────────────────────────────────────────────────────────────┐ │ 音频处理管道 │ │ │ │ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │ │ │ 音频输入源 │ → │ 重采样模块 │ → │ 音频处理 │ │ │ │ (麦克风/文件) │ │ (swresample) │ │ (编码/混音) │ │ │ └──────────────┘ └──────────────┘ └──────────────┘ │ │ ↑ ↑ ↑ │ │ 48000 Hz 44100 Hz 44100 Hz │ │ 立体声 单声道 单声道 │ │ 24位整数 16位整数 16位整数 │ └─────────────────────────────────────────────────────────────────┘3.2 具体应用场景场景说明是否需要重采样音频录制麦克风 → 编码器经常需要视频转码视频文件 → 另一格式经常需要音频编辑多轨道混音必须统一格式语音识别麦克风 → 识别引擎通常需要实时通话VoIP/WebRTC必须音乐播放不同格式文件 → 扬声器播放器自动处理3.3 本项目中的重采样位置参考WinAudioInput.cpp:644-692：┌─────────────────────────────────────────────────────────────┐ │ WinAudioInput 中的数据流 │ │ │ │ MessagePump 线程 (采集原始数据) │ │ ↓ 48000 Hz, 立体声, 24位整数 │ │ m_rawBuffer (原始数据 RingBuffer) │ │ ↓ │ │ ResamplePump 线程 (重采样处理) │ │ ↓ swr_convert() │ │ m_handledBuffer (重采样后数据 RingBuffer) │ │ ↓ 44100 Hz, 单声道, 16位整数 │ │ 主线程 (GetData/PopData) │ └─────────────────────────────────────────────────────────────┘4. FFmpeg 重采样核心函数4.1 主要 API 概览FFmpeg 的重采样功能由libswresample库提供。函数作用关键参数swr_alloc_set_opts2()创建并配置重采样上下文输入/输出格式、采样率、声道布局swr_init()初始化重采样上下文-swr_convert()执行重采样转换输入/输出缓冲区、采样数swr_free()释放重采样上下文-4.2 重采样工作流程图┌─────────────────────────────────────────────────────────────┐ │ FFmpeg 重采样使用流程 │ └─────────────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────┐ │ 1. 配置输入输出参数 │ │ ├─ 采样率 (Sample Rate) │ │ ├─ 声道布局 (Channel Layout) │ │ └─ 采样格式 (Sample Format) │ └──────────────────────┬──────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────┐ │ 2. swr_alloc_set_opts2() - 创建上下文 │ │ 分配 SwrContext 并设置所有参数 │ └──────────────────────┬──────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────┐ │ 3. swr_init() - 初始化 │ │ 计算滤波器系数、准备内部缓冲区 │ └──────────────────────┬──────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────┐ │ 4. swr_convert() - 循环转换 │ │ ┌───────────────────────────────────────────────────────┐ │ │ │ while (有数据) { │ │ │ │ swr_convert(ctx, out, out_samples, in, in_samples);│ │ │ │ } │ │ │ └───────────────────────────────────────────────────────┘ │ └──────────────────────┬──────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────┐ │ 5. swr_free() - 清理资源 │ └─────────────────────────────────────────────────────────────┘4.3 关键参数详解4.3.1 采样格式 (AVSampleFormat)格式说明位数打包/平面AV_SAMPLE_FMT_U8无符号8位整数8打包AV_SAMPLE_FMT_S16有符号16位整数16打包AV_SAMPLE_FMT_S32有符号32位整数32打包AV_SAMPLE_FMT_FLT单精度浮点32打包AV_SAMPLE_FMT_DBL双精度浮点64打包AV_SAMPLE_FMT_S16P16位整数平面16平面AV_SAMPLE_FMT_FLTP浮点平面32平面打包 vs 平面格式：打包格式 (Packed): [L1][R1][L2][R2][L3][R3]... 左 右 左 右 左 右 平面格式 (Planar): 声道1: [L1][L2][L3]... 声道2: [R1][R2][R3]...4.3.2 声道布局 (AVChannelLayout)常见声道布局：布局声道数说明AV_CH_LAYOUT_MONO1单声道AV_CH_LAYOUT_STEREO2立体声 (左+右)AV_CH_LAYOUT_2POINT132.1 (左+右+低音)AV_CH_LAYOUT_SURROUND3环绕声 (左+右+中)AV_CH_LAYOUT_4POINT044.0 (左+右+中+后)AV_CH_LAYOUT_5POINT165.1 家庭影院AV_CH_LAYOUT_7POINT187.1 家庭影院4.4 代码示例：基本使用#includelibswresample/swresample.h// 1. 定义参数intin_sampl