ALLOT:按输出误差免训练分配视频DiT块稀疏注意力
AI 导读视频扩散Transformer的3D注意力开销大,块稀疏注意力只算部分注意力块,但现有方法未优化稀疏分配的层与去噪步组合。作者发现不同层-步对最终画面保真度影响差异很大,且最敏感组合跨输入几乎不变。ALLOT把每对视为单元,经单元探测与轨迹校准估计其对最终视频误差的贡献,在实测延迟预算下联合优化密度,只替换分配环节。相同或更短墙钟时间下,在HunyuanVideo上PSNR比现有分配策略高11.8 dB;在Wan2.1、Wan2.2、HunyuanVideo的四种已发布管线九种设置中,均优于或持平默认。
AI 选稿理由提出免训练稀疏分配方法,在实测延迟约束下按输出误差优化层-步密度,并在五种视频生成管线九种设置中验证优于或持平默认,给出可复用思路与具体PSNR收益。