SEGA:用于扩散变换器中分辨率外推的谱能量引导注意力
SEGA通过在去噪步骤中根据潜在空间的空间频率结构动态缩放RoPE组件上的注意力,提高了高分辨率文本到图像生成的结构一致性和细节保真度。
SEGA通过在去噪步骤中根据潜在空间的空间频率结构动态缩放RoPE组件上的注意力,提高了高分辨率文本到图像生成的结构一致性和细节保真度。
WorldKV是一种无需训练的框架,通过世界检索和压缩技术,在保持视频扩散模型一致性的同时提高吞吐量。
具有可验证奖励的参数轨迹表现出低秩结构,可以通过简单的线性回归方法进行有效外推,在减少计算需求的同时表现出卓越的性能。
个人助理代理(如OpenClaw)的发展凸显了大型语言模型在支持用户日常生活和工作中的潜力。然而,现有基准测试很少评估代理在多轮交互中识别和响应隐含用户意图的能力。为此,本文引入了π-Bench,一个包含100个多轮任务和5个特定领域用户角色的基准测试,用于评估主动式个人助理代理。
HRM-Text 是一种新型高效预训练方法,用分层循环模型(HRM)替代标准 Transformer,将计算解耦为慢速策略层和快速执行层。通过 MagicNorm 和预热深度信用分配稳定深度循环,并仅使用指令-响应对进行训练。1B 参数模型仅用 400 亿 token 和 1500 美元预算,在 M…