GRAM将递归潜在推理转化为概率多轨迹计算，通过随机潜在轨迹支持多假设、并行推理和推理时扩展。该模型在结构化推理和多解约束满足任务上优于确定性基线，并具备无条件生成能力。
核心要点
- GRAM将递归推理从确定性单轨迹扩展为概率多轨迹计算，支持多个假设和并行推理。
- 通过随机潜在轨迹实现推理时扩展，可同时增加递归深度和并行轨迹采样。
- 模型支持条件推理 $p_θ(y|x)$ 和无条件生成 $p_θ(x)$，是一个潜变量生成模型。
- 采用摊销变分推理训练，在结构化推理和多解约束满足任务上优于确定性递归和循环基线。
- 展示了无条件生成能力，可生成新样本而无需输入条件。
正文
未来神经推理系统应如何实现扩展计算？递归推理模型（RRMs）通过使用共享转移函数进行迭代潜在状态精炼，为自回归序列扩展提供了一种有前景的替代方案。然而，现有的RRMs大多是确定性的，遵循单一潜在轨迹并收敛到单一预测。
我们引入了生成式递归推理模型（GRAM），这是一个将递归潜在推理转化为概率多轨迹计算的框架。GRAM将推理建模为随机潜在轨迹，从而支持多个假设、替代解决策略，并通过递归深度和并行轨迹采样实现推理时扩展。
这产生了一个潜变量生成模型，支持通过 $p_θ(y|x)$ 进行条件推理，以及在输入固定或缺失时通过 $p_θ(x)$ 进行无条件生成。通过摊销变分推理进行训练，GRAM在结构化推理和多解约束满足任务上优于确定性递归和循环基线，同时展示了无条件生成能力。
关联概念
- 递归推理模型 (RRMs)
- 摊销变分推理
- 潜变量生成模型
- 多轨迹计算
- 推理时扩展
可操作项
可尝试在结构化推理任务（如约束满足问题）中应用GRAM，通过调整递归深度和并行轨迹数量来探索推理时扩展的效果。
原文: Generative Recursive Reasoning
自动加工于 2026-05-21 08:08