AI·模型 
Hacker News 2026-05-21
当快速傅里叶变换遇上Transformer用于图像修复（2024）
本文提出一种结合快速傅里叶变换（FFT）与Transformer架构的图像修复方法，通过FFT增强全局频率特征捕捉，在去噪、超分辨率等任务上优于传统模型，计算复杂度降低约30%。
搜索
找到 3 篇包含 "Transformer" 的文章
开发·工具 
Hacker News 2026-05-21
自回归下一个词预测与Transformer中的KV缓存
本文介绍了Transformer模型中自回归下一个词预测的基本原理，并重点解释了KV缓存技术如何通过存储先前计算的键值对来加速推理过程，减少重复计算，提升生成效率。
AI·模型 
Hugging Face Daily Papers 2026-05-19
使用灯塔注意力进行长上下文预训练
本文提出灯塔注意力（Lighthouse Attention），一种训练专用的对称分层选择注意力算法，通过降低计算复杂度实现因果Transformer在超长序列上的高效训练。该方法包含自适应压缩/解压缩、对称池化保持因果性、两阶段训练等创新，在小型LLM预训练实验中达到更快的总训练速度。