跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT
Hugging Face · 每日论文· 媒体 / 作者来源·精选

RubatoCodec:带 utterance 级事件预算的自适应语音编解码与流式解码

原文标题

RubatoCodec: Budgeted Adaptive Speech Tokenization with Streaming Decoding

AI 导读

研究提出 RubatoCodec,基于 X-Codec-2 实现可变帧率语音编解码,并用 Adaptive Firing 依据特征与波形频谱把语音切成时长可变的事件,每个事件由离散码加显式时长表示,可逐个事件流式解码。低事件率下重建保真度和可懂度优于定帧率;多语种模型在英、日、汉语上重建质量有竞争力,英日基准可懂度最佳;配套 TTS 的 WER 更低、UTMOS/UTMOSv2 更高,且无需生成时速率约束即可学会事件预算。代码与权重已开源。

来源:Hugging Face · 每日论文 · arxiv.org

导读与选稿说明

给出确切 utterance 级事件预算的可变帧率语音编解码与流式解码,并配套 TTS 实验验证,适用范围为语音重建与流式语音合成研究。

导读由模型辅助整理,非独立核验。完整信息见原文。