混合量化：为智能体LLM实现量化预填充与精确解码

Mix-Quant是一种阶段感知的量化框架，针对智能体LLM工作流中长上下文、多轮推理的预填充阶段瓶颈，采用高吞吐NVFP4量化加速预填充，同时保持BF16精度用于解码。实验表明，该方法在保持任务性能的同时，预填充速度提升最高达3倍。