RubatoCodec:带 utterance 级事件预算的自适应语音编解码与流式解码
AI 导读研究提出 RubatoCodec,基于 X-Codec-2 实现可变帧率语音编解码,并用 Adaptive Firing 依据特征与波形频谱把语音切成时长可变的事件,每个事件由离散码加显式时长表示,可逐个事件流式解码。低事件率下重建保真度和可懂度优于定帧率;多语种模型在英、日、汉语上重建质量有竞争力,英日基准可懂度最佳;配套 TTS 的 WER 更低、UTMOS/UTMOSv2 更高,且无需生成时速率约束即可学会事件预算。代码与权重已开源。
AI 选稿理由给出确切 utterance 级事件预算的可变帧率语音编解码与流式解码,并配套 TTS 实验验证,适用范围为语音重建与流式语音合成研究。