提取音频中的人声: 简明指南

在当今技术日益进步的时代，人工智能(AI)在多媒体处理中的应用变得越发广泛和精深。特别地，从各种背景噪声环境中精确地提取人声说话片段，这项技术已成为智能音频分析领域的研究热点。本文将深入探讨利用先进的Silero Voice Activity Detector (VAD)模型，如何实现从音频文件中获得清晰人声片段的目标，进而揭示这一技术在实际应用中的巨大潜力。

Silero VAD概述Silero VAD是一个预训练的企业级语音活动检测器，以其卓越的精确度、高速处理能力、轻量级架构以及高度的通用性和便携性而著称。这款基于深度学习的模型在识别不同背景噪声、多样的语言和不同质量级别的音频方面展现出了令人印象深刻的性能。

主要特点

卓越的精确度：Silero VAD在语音检测任务上取得了杰出的成绩，证明了其在处理复杂音频数据时的强大能力。本图来至Silero 官网快速处理：单个音频块（30+毫秒）在单线程CPU上的处理时间不足1毫秒。通过批处理或利用GPU，性能可得到显著提升。特定条件下，ONNX版本甚至能达到4-5倍的加速。轻量级：JIT模型大小约为一兆字节，便于部署在资源有限的环境下。高度通用性：支持8000Hz和16000Hz采样率，训练涵盖100多种语言，保证了在不同的领域和背景噪声下都能保持良好的性能。极高的便携性：得益于PyTorch和ONNX的生态系统，可以在任何支持这些运行时的地方使用Silero VAD。无任何附加条件：以宽松的MIT许可发布，无需任何形式的注册、无内置过期、无任何供应商锁定。提取音频中的人声起步准备首先，确保您的工作环境已经安装了必要的Python库，包括pydub、numpy和torch。这些库分别用于音频文件的加载和处理、科学计算以及执行深度学习模型。

在本示例中，我们使用silero-vad模型（声学事件检测的一种），该模型能够识别音频流中的语音活动。silero-vad是基于深度学习的模型，它可以高效地在各种背景噪声中识别人声。

实施步骤音频预处理：首先将原音频文件转换为单声道WAV格式，并统一采样率至16000Hz，这一步是为了确保模型能够正确处理音频数据。

分帧处理：接着，我们将处理的音频分成多个帧，以便于模型逐一分析。在本例中，设置的帧长度为600ms。为了提高模型的识别准确率，我们将原有的音频数据切割成连续的、定长的帧。VAD（语音活动检测）：借助silero-vad模型和来自PyTorch的实用工具，对每一帧的音频数据进行语音活动检测。如果模型预测结果超过某个阈值（例如0.5），则认为该帧包含人声。合并说话片段：检测到的人声片段将基于它们的时间戳进行进一步的处理和合并，以便消除过于碎片化的片段，生成更加连续和自然的说话段落。输出和保存：最后，筛选和合并后的人声片段将被保存为新的WAV文件，每个文件包含一个单独的说话片段，便于后续的处理或分析。代码语言：python代码运行次数：0运行复制import os

import sys # 导入 sys 模块

import contextlib

import wave

import pydub

import numpy as np

import torch

torch.set_num_threads(1)

# 参数设置

sample_rate = 16000

min_buffer_duration = 0.6 # 这是音频缓冲区的最小长度，单位是秒

# 初始化 VAD

model, utils = torch.hub.load(repo_or_dir='snakers4/silero-vad',

model='silero_vad',

source='github')

def int2float(sound):

abs_max = np.abs(sound).max()

sound = sound.astype('float32')

if abs_max > 0:

sound *= 1/32768

sound = sound.squeeze() # depends on the use case

return sound

def audio_to_wave(audio_path, target_path="temp.wav"):

audio = pydub.AudioSegment.from_file(audio_path)

audio = audio.set_channels(1).set_frame_rate(sample_rate)

audio.export(target_path, format="wav")

def frame_generator(frame_duration_s, audio, sample_rate):

n = int(sample_rate * frame_duration_s * 2) # 一帧的存储字节长度

offset = 0 # 字节偏移量

timestamp = 0.0 # 时间偏移量

duration = frame_duration_s * 1000.0 # 单位毫秒

while offset + n < len(audio):

yield Frame(audio[offset:offset + n], timestamp, duration)

timestamp += duration

offset += n

class Frame:

def __init__(self, bytes, timestamp, duration):

self.bytes = bytes # 此帧字节大小

self.timestamp = timestamp # 此帧开始时间，单位毫秒

self.duration = duration # 此帧的持续时间，单位毫秒

def vad_collector(frames, sample_rate):

voiced_frames = []

for frame in frames:

audio_frame_np = np.frombuffer(frame.bytes, dtype=np.int16)

audio_float32 = int2float(audio_frame_np)

with torch.no_grad():

new_confidence = model(torch.from_numpy(

audio_float32), sample_rate).item()

if new_confidence > 0.5:

is_speech = True

else:

is_speech = False

if is_speech:

voiced_frames.append(frame)

elif voiced_frames:

start, end = voiced_frames[0].timestamp, voiced_frames[-1].timestamp + \

voiced_frames[-1].duration

voiced_frames = []

yield start, end

if voiced_frames:

start, end = voiced_frames[0].timestamp, voiced_frames[-1].timestamp + \

voiced_frames[-1].duration

yield start, end

def merge_segments(segments, merge_distance=3000):

merged_segments = []

for start, end in segments:

if merged_segments and start - merged_segments[-1][1] <= merge_distance:

merged_segments[-1] = (merged_segments[-1][0], end)

else:

merged_segments.append((start, end))

return merged_segments

def format_time(milliseconds):

seconds, milliseconds = divmod(int(milliseconds), 1000)

minutes, seconds = divmod(seconds, 60)

return f"{minutes:02d}:{seconds:02d}.{milliseconds:03d}"

def read_wave(path):

with contextlib.closing(wave.open(path, 'rb')) as wf:

sample_rate = wf.getframerate()

pcm_data = wf.readframes(wf.getnframes())

return pcm_data, sample_rate

def write_wave(path, audio: np.ndarray, sample_rate):

audio = audio.astype(np.int16) # Converting to int16 type for WAV format

with contextlib.closing(wave.open(path, 'wb')) as wf:

wf.setnchannels(1) # Mono channel

wf.setsampwidth(2) # 16 bits per sample

wf.setframerate(sample_rate)

wf.writeframes(audio.tobytes())

def detect_speech_segments(audio_path, output_folder="output"):

audio_to_wave(audio_path)

pcm_data, sample_rate = read_wave("temp.wav")

audio_np = np.frombuffer(pcm_data, dtype=np.int16) # 将PCM数据转换为numpy数组

frames = frame_generator(min_buffer_duration, pcm_data, sample_rate)

segments = list(vad_collector(list(frames), sample_rate))

merged_segments = merge_segments(segments)

os.makedirs(output_folder, exist_ok=True) # 确保输出文件夹存在

for index, (start, end) in enumerate(merged_segments):

start_sample = int(start * sample_rate / 1000)

end_sample = int(end * sample_rate / 1000)

segment_audio = audio_np[start_sample:end_sample]

segment_path = os.path.join(

output_folder, f"segment_{index+1}_{format_time(start)}-{format_time(end)}.wav")

write_wave(segment_path, segment_audio, sample_rate)

print(f"Speech segment saved: {segment_path}")

# 从命令行读取参数

if __name__ == "__main__":

if len(sys.argv) != 3:

print("Usage: python3 detect_talk.py ")

else:

audio_file = sys.argv[1]

output_folder = sys.argv[2]

detect_speech_segments(audio_file, output_folder)以上代码，在当前目录执行detect_voice.py，将wav文件audio_file.wav抽取出说话的语音片段，存储在当前目录下output_folder目录中：

代码语言：txt复制python3 detect_voice.py 总结Silero VAD以其卓越的检测性能、快速的处理速度、轻量化结构和广泛的适用性，在音频处理领域树立了新的标杆。通过本文的讨论与案例展示，我们不仅理解了如何有效地从复杂音频中提取人声说话片段的技术细节，而且可见利用这一技术在多样化应用场景中的巨大潜力。未来，随着技术进步，Silero VAD以及相关的音频处理技术将进一步推动智能语音分析领域的革新。