跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT
中文动态

#语音.

正在确认更新状态可见页面每分钟只读检查
10月22日周四
  1. Hugging Face · 每日论文

    RubatoCodec:带 utterance 级事件预算的自适应语音编解码与流式解码

    AI 导读研究提出 RubatoCodec,基于 X-Codec-2 实现可变帧率语音编解码,并用 Adaptive Firing 依据特征与波形频谱把语音切成时长可变的事件,每个事件由离散码加显式时长表示,可逐个事件流式解码。低事件率下重建保真度和可懂度优于定帧率;多语种模型在英、日、汉语上重建质量有竞争力,英日基准可懂度最佳;配套 TTS 的 WER 更低、UTMOS/UTMOSv2 更高,且无需生成时速率约束即可学会事件预算。代码与权重已开源。

    AI 选稿理由给出确切 utterance 级事件预算的可变帧率语音编解码与流式解码,并配套 TTS 实验验证,适用范围为语音重建与流式语音合成研究。

  2. Hugging Face · 每日论文

    DirCast: 基于单流媒体视频语言模型的现场电子竞技导演与解说

    AI 导读研究人员开发了一种名为DirCast的单流媒体视频语言模型,能够实时进行电子竞技直播的导演和解说。该模型通过分析所有摄像机的低分辨率画面,决定何时切换镜头,并在高分辨率下读取选定镜头的内容进行解说。DirCast在导演和解说方面均优于基于规则的导演和GPT-5等模型,解说能力在Proact-VL协议下与GPT-4o相比胜出29.2%。

    AI 选稿理由DirCast模型在电子竞技直播导演和解说方面展现出优于现有技术的性能。

10月20日周二
  1. Hugging Face · 每日论文

    StyleStream 2.0:快速可控的流式语音风格转换

    AI 导读StyleStream 2.0通过训练少量步骤的像素MeanFlow模型并使用自回归反馈微调,将端到端延迟降低至520毫秒,比1.0版本提速2倍,同时保持转换质量。该框架引入紧凑的风格嵌入,支持基于文本的语音设计和指令式语音编辑,在目标风格保真度方面达到最强性能。

    AI 选稿理由StyleStream 2.0实现了语音风格转换的延迟优化和文本控制能力提升,适用于实时语音处理和个性化语音生成场景。

10月19日周一
  1. Hugging Face · 每日论文

    SEAM:低资源TTS的频谱嵌入对齐与合并方法

    AI 导读研究团队提出SEAM方法,通过零音频初始化从已知子词构建未见词元的嵌入,应用频谱滤波保留时间音素顺序,使用闭式岭回归对齐新嵌入与预训练条件流形。在三种语言和两种TTS架构上,SEAM使用最多减少四倍的训练数据接近或匹配基线性能,相比随机初始化和均值池化降低75%的样本复杂度。

    AI 选稿理由SEAM为低资源语音合成提供了一种轻量、可复现且理论基础的词汇扩展方法,显著减少训练数据需求。

  2. Hugging Face · 每日论文

    Heartbeat Thinking:实时语音代理中的推理与工具执行

    AI 导读研究团队提出Heartbeat Thinking方法,允许语音代理在用户说话期间持续执行推理和工具调用,通过定期调用Thinker处理最新部分转录文本和已完成推理结果,解决传统方法因语音更新中断工具调用的问题。在SpeechFCEval、FDBench v3和AudioCRAG基准测试中,该方法比SHANKS基线模型提高工具覆盖率16个百分点,并将平均最终响应延迟降低36.4%。

    AI 选稿理由Heartbeat Thinking通过保持语音期间的持续计算,将等待时间转化为可重用的准备工作,显著提升了语音代理的工具覆盖率和响应速度。

10月18日周日
  1. Hugging Face · 每日论文

    SPARC:语音档案作者识别语料库

    AI 导读研究团队推出SPARC语料库,基于两个播客语料构建,包含12,500多名说话者、150万条高质量语音转录文本,并标注说话者性别、年龄和口音信息。研究评估了五种归因模型和三个大语言模型在身份和属性验证任务中的表现,发现大语言模型能仅通过文本区分同一说话者,并在性别和口音标签验证中表现优于随机水平。仅发布50词短文本可显著降低最强模型的识别能力。

    AI 选稿理由SPARC语料库为语音匿名化研究提供了重要基准,揭示了转录文本中保留的说话者信息风险,为语音隐私保护提供了新思路。