本文综述了从Gemma 4到DeepSeek V4等新型开源大语言模型在降低长上下文成本方面的关键技术：KV共享（跨层键值缓存复用）、多头压缩注意力（mHC）以及压缩注意力机制。这些方法通过减少内存占用和计算量，使LLM能高效处理超长序列，…
AI·模型 
Sebastian Raschka 2026-05-17 1 min read
更多 AI·模型 文章
AI·模型 
TechCrunch 2026-05-20
谷歌推出Gemini 3.5 Flash：押注AI代理而非聊天机器人
谷歌在I/O大会上发布Gemini 3.5 Flash，主打自主AI代理能力，在编码、代理任务和多模态推理上超越前代旗舰模型，速度提升4倍。
AI·模型 
Hugging Face Daily Papers 2026-05-20
CompactAttention：通过块联合KV选择加速分块预填充
CompactAttention是一种针对长上下文大语言模型分块预填充阶段的高效注意力机制，通过块联合KV选择将二维块稀疏掩码转换为GQA感知的每分组KV块表，在分页执行约束下实现加速。
AI·模型 Hugging Face Daily Papers 2026-05-20
Lance：通过多任务协同实现统一多模态建模
Lance 是一个轻量级原生统一模型，通过协作多任务训练实现图像和视频的多模态理解、生成与编辑，不依赖模型规模扩展或文本-图像主导设计。其核心采用双流混合专家架构，在共享交错多模态序列上训练，实现联合上下文学习。
AI·模型 Hugging Face Daily Papers 2026-05-20
AstraFlow：面向数据流的智能体大语言模型强化学习系统
AstraFlow 是一种面向数据流的强化学习系统，专为智能体大语言模型设计，通过解耦部署、数据流和训练组件，支持多策略协作训练与弹性扩展。