为什么值得看 这项工作主要改进自回归视频模型的蒸馏与控制一致性,而不是训练集群、推理服务或运行时系统;对负责视频生成模型训练的人有参考价值,但对人工智能基础设施研究者的直接价值有限。
方法解读
双向完整片段教师会使用学生生成目标时无法获得的未来帧和控制信息。
方法使用不访问未来信息的因果教师,并依据学生实际生成的缓存前缀评分目标,再扰动训练早期不可靠的前缀。
教师初始化、学生蒸馏和推理都采用同一因果信息边界,而不是仅在学生阶段施加因果约束。
实验覆盖短视频和长视频基准,并报告自回归方法中的领先综合表现以及更强的时变摄像机控制遵循度。
摘要
交互式自回归视频生成需要低延迟展开和精确的在线控制,但现有分布匹配蒸馏流程常用能够查看完整片段的双向教师来监督因果学生,导致监督依赖生成时不可用的未来帧和控制信息。本文提出上下文匹配蒸馏,以因果教师、前缀评分和前缀扰动使教师训练、学生蒸馏与推理共享一致的信息边界,并声称在短视频和长视频基准上取得自回归方法中的领先综合表现,同时明显提高对时变摄像机控制的遵循度。