Meta正式推出了音频处理领域的重大突破——SAM Audio，这是全球首个统一的多模态音频分离模型。它允许用户“用眼睛听”，只需一键从混合视频或音频中提取任意目标声音：点击视频中的吉他手，即可立即分离干净的吉他声音;“狗吠声”登场，自动过滤掉整个播客中的狗叫声;即使选择时间段，也能准确去除干扰声音。这项技术是首个完全复制人类自然感知声音的方式——视觉、说话、指向和选择——到人工智能系统中。
SAM Audio的核心是其自开发的感知编码视听设备（PE-AV），Meta称之为模型的“耳朵”。该引擎基于今年四月发布的开源Meta Perception Encoder计算机视觉模型开发，是首个将先进视觉理解能力与音频信号整合，实现跨模态声音定位与分离的引擎。
具体来说，SAM Audio 支持三种直观的交互方式，可以单独使用或组合使用：
– 文本提示：输入语义描述，如“人声唱歌”或“汽车喇叭”，系统自动提取相应的声音源;
– 视觉提示：点击视频中的声音源（如有人说话或手击鼓），系统将音频分离;
– 时间段提示（业界首创）：标记目标声音出现的时间间隔（例如：“3分12秒到3分18秒”），模型会自动处理整个录音中的类似声音——Meta将此功能与《赛博朋克2077》中的“梦境”技术进行了比较。
为推动技术标准化，Meta还开源了两个关键工具：
– SAM Audio-Bench：基于真实场景的首个音频分离评估基准;
– SAM 音频评判：世界上首个专门针对音频分离质量的自动评估模型，能够定量评估分离结果的纯度和完整性。
这款新发布的PE-AV不仅是SAM Audio的底层引擎，还将支持其他Meta AI产品，包括字幕生成、视频理解和智能剪辑系统。其开源特性意味着开发者未来可以开发自己的“联觉”人工智能应用——从会议录音中的自动降噪，到沉浸式增强现实音频交互，甚至辅助听觉设备以提升无障碍性。
在当今视频内容爆炸性增长的时代，SAM Audio的发布标志着音频处理新时代的开始：互动性强、可编辑且易于理解。过去，我们只能被动接收声音;现在，Meta赋予我们“选择性倾听”的超能力——这或许只是多模态人工智能重塑感官体验的第一步。
