Aurora 是一个基于代理的视频编辑框架，它将视觉语言模型（VLM）代理与统一的视频扩散变换器相结合。该框架旨在解决用户请求中常见的文本和视觉信息不明确问题。VLM 代理将原始用户请求映射为结构化的编辑计划，并选择参考图像，从而在生成前消除歧义。通过监督数据和偏好对训练代理，并引入 AgentEdit-Bench 基准进行评估。实验表明，Aurora 优于仅基于指令的基线方法，且 VLM 代理可迁移至其他兼容的视频编辑模型。
核心要点
- Aurora 结合了工具增强的 VLM 代理和统一的视频扩散变换器，以处理视频编辑请求中的文本和视觉不明确性。
- VLM 代理将原始用户请求映射为与变换器条件通道对齐的结构化编辑计划，解决生成前的文本和视觉不明确性。
- 使用监督数据训练 VLM 代理以完成编辑计划和参考图像选择，并使用偏好对增强工具使用和指令细化。
- 引入 AgentEdit-Bench 基准，用于评估在文本和视觉不明确性下的代理增强视频编辑。
- 在 AgentEdit-Bench 和两个现有视频编辑基准上的实验表明，Aurora 优于仅基于指令的基线，且 VLM 代理可迁移至兼容的冻结视频编辑模型。
正文
原始摘要
最近的视频编辑模型已收敛于统一的条件设计：单个扩散变换器联合处理文本、源视频和参考图像，一组权重涵盖替换、移除、风格迁移和参考驱动插入。这种设计很灵活，但它假设用户已经提供了模型就绪的文本、参考图像和局部编辑的空间定位，而实际请求中往往缺少这些。我们提出了 Aurora，一个基于代理的视频编辑框架，它将工具增强的视觉语言模型（VLM）代理与统一的视频扩散变换器配对。VLM 代理将原始用户请求映射为与变换器条件通道对齐的结构化编辑计划，从而在生成前解决文本和视觉不明确性。我们使用监督数据训练 VLM 代理以完成编辑计划和参考图像选择，并使用偏好对增强工具使用和指令细化。我们引入了 AgentEdit-Bench 基准，用于评估在文本和视觉不明确性下的代理增强视频编辑。在 AgentEdit-Bench 和两个现有视频编辑基准上的实验表明，Aurora 优于仅基于指令的基线，且 VLM 代理可迁移至兼容的冻结视频编辑模型。项目页面：https://yeates.github.io/Aurora-Page
延伸摘要
最近的视频编辑模型已收敛于统一的条件设计：单个扩散变换器联合处理文本、源视频和参考图像，一组权重涵盖替换、移除、风格迁移和参考驱动插入。这种设计很灵活，但它假设用户已经提供了模型就绪的文本、参考图像和局部编辑的空间定位，而实际请求中往往缺少这些。我们提出了 Aurora，一个基于代理的视频编辑框架，它将工具增强的视觉语言模型（VLM）代理与统一的视频扩散变换器配对。VLM 代理将原始用户请求映射为与变换器条件通道对齐的结构化编辑计划，从而在生成前解决文本和视觉不明确性。我们使用监督数据训练 VLM 代理以完成编辑计划和参考图像选择，并使用偏好对增强工具使用和指令细化。我们引入了 AgentEdit-Bench 基准，用于评估在文本和视觉不明确性下的代理增强视频编辑。在 AgentEdit-Bench 和两个现有视频编辑基准上的实验表明，Aurora 优于仅基于指令的基线，且 VLM 代理可迁移至兼容的冻结视频编辑模型。项目页面：https://yeates.github.io/Aurora-Page
关联概念
- 视觉语言模型（VLM）
- 扩散变换器
- 代理增强
- 视频编辑
- AgentEdit-Bench
可操作项
- 访问项目页面 https://yeates.github.io/Aurora-Page 获取更多细节和演示。
- 查看代码仓库 https://github.com/yeates/Aurora 以了解实现细节和如何使用 Aurora 框架。
- 尝试在 AgentEdit-Bench 基准上评估自己的视频编辑模型，以比较性能。
- 考虑将 VLM 代理集成到现有的视频编辑模型中，以处理用户请求中的不明确性。
原文: Aurora: Unified Video Editing with a Tool-Using Agent
自动加工于 2026-05-21 01:54