Foundations-of-LLMs 论文解读：SLED 自 logits 进化解码——无需训练、零参数干预，让大语言模型输出更真实可靠

文档教程大模型【免费下载链接】Foundations-of-LLMsA book for Learning the Foundations of LLMs项目地址https://gitcode.com/GitHub_Trending/fo/Foundations-of-LLMs点击查看免费下载SLEDSelf Logits Evolution Decoding由杜克大学与 Google Research 联合提出是一种仅作用于解码阶段、无需任何训练与参数修改的即插即用解码技术通过对比大语言模型不同层的 logits 来唤醒潜在知识并让最终层 logits 向估计出的真实知识分布自我进化从而显著提升输出的事实性与可靠性。读完本文你将掌握 SLED 的完整技术原理真实知识分布估计、logits 自我进化、计算复杂度优化、三个核心超参数的设置逻辑以及它在多选、开放生成、思维链推理等任务上的实验表现并能在本仓库《大模型基础》教材的配套章节中找到继续深挖 logits 与解码机制的路径。论文概览与研究动机本文所解读的论文为SLED: Self Logits Evolution Decoding for Improving Factuality in Large Language Models作者为Jianyi Zhang、Da-Cheng Juan等人单位包括Duke University杜克大学与 Google Research谷歌研究院对应 Arxiv 论文编号2411.02433。研究瞄准的是大语言模型部署中最棘手的问题之一——输出真实性Factuality模型在生成开放域内容时往往会一本正经地编造与事实不符的信息即所谓的幻觉。现有的真实性提升方法在高效性与广泛适用性上均存在短板要么需要额外训练或微调模型要么只对特定任务、特定规模模型有效难以做到通用且轻量。SLED 的关键洞察来自对模型内部不同层 logits 关系的观察在大语言模型的深层 Transformer 堆叠中各层对下一个 token 的预测信号logits并不等价最终层的输出与真实知识分布最接近而早期层则蕴含未被最终输出充分采用的潜在知识。基于这一洞察SLED 通过分析不同层 logits 的差异来挖掘潜在知识、估计真实知识分布、实现 logits 自我进化并降低计算复杂度从而在不改变模型权重、不增加训练的前提下提升输出真实性。SLED 方法总览SLED 是一种黑盒友好的解码端方法即插即用于任何基于自回归 Transformer 的生成过程。整体方法分为三个主要部分步骤核心目标关键手段① 估计真实知识分布用各层 logits 信息逼近无法直接观测的P_real对比早期层与最终层 logits 的差异近似 KL 梯度做硬/软估计后加权平均② 实现 logits 自我进化让最终层 logits 向估计出的真实知识分布靠拢计算KL(P_latent, P_logits_N)的梯度沿负梯度方向更新 logits③ 降低计算复杂度让方法在真实推理场景可用只对 top-k 高概率 Token 做自我进化复杂度由O(d²)降至O(k²)下面逐一对这三个环节的原理与公式进行详解。估计真实知识分布用层间 logits 差异逼近真实分布大语言模型在生成过程中不同层的 logits 蕴含的信息丰度不同。通过对比早期层 logits记为logits_n与最终层 logits记为logits_N可以发现二者之间的差异能够反映模型在推理过程中的潜在知识变化从而近似刻画真实知识分布P_real与模型输出分布之间的关系。SLED 正是利用早期层与最后一层 logits 的差别来估算梯度、进而估计真实知识分布其依据建立在三条原理之上1. 训练阶段的启示最终层 logits 更接近真实知识分布。在大语言模型的训练过程中最终层的logits_N直接通过损失函数与真实知识分布P_real相关联训练目标就是最小化真实分布与输出分布之间的 KL 散度。因此有KL(P_real, P_logits_N) KL(P_real, P_logits_n)即logits_N比早期层的logits_n更能反映真实知识分布。2. 方向近似性层间差可以近似为 KL 梯度的方向。基于上述训练特性如果对比logits_n和logits_N那么它们的差logits_n − logits_N在方向上可以近似于 KL 散度在logits logits_n处的梯度logits_n − logits_N ≈ ∇_{logits_n} KL(P_real, P_logits_n)这为用层间差替代真实梯度提供了理论依据。3. 估计真实知识分布P_real。由于真实知识分布难以直接获取SLED 利用上述近似关系来反推P_real。具体而言对于每个早期层n通过计算余弦相似度CosSim来度量该层 logits 差与某个标准基向量对应的梯度的接近程度CosSim(logits_n − logits_N, ∇_{logits_n} KL(P_{e_i}, P_logits_n))其中每个 Token 对应的梯度为∇_{logits_n} KL(P_{e_i}, P_logits_n) (P_logits_n − P_{e_i}) / τ这里P_{e_i}是标准基向量表示真实知识分布要求生成词汇表中的第i个词τ为温度系数。选择与层间差余弦相似度最高的那个P_{e_i}作为该层的硬估计P_latent^(n)在此基础上进一步扩展为软估计P_latent^(n) (m_1^(n), m_2^(n), …, m_d^(n)) / m^(n)其中m^(n) Σ_{i1}^{d} m_i^(n)为归一化因子d为词汇表大小软估计相当于按相似度对各 Token 进行加权分布化而不是只取一个独热向量。最后将所有早期层的P_latent^(n)进行加权平均得到最终估计P_latent作为真实知识分布的最终估计。其中权重s^(n)依据各层梯度近似与词汇表中 Token 的对齐程度确定如果某一层n的logits_n − logits_N与词汇表中各 Token 的梯度∇_{logits_n} KL(P_{e_i}, P_logits_n)整体更为接近说明该层蕴含的知识信号更可靠那么该层在最终估计中的权重s^(n)就更大。实现 logits 自我进化沿梯度方向修正最终层输出得到真实知识分布的最终估计P_latent后SLED 计算KL(P_latent, P_logits_N)在logits logits_N处的梯度∇_{logits_N} KL(P_latent, P_logits_N) (P_logits_N − P_latent) / τ进而得到进化后的 logits\tilde{logits}_N logits_N − α · ∇_{logits_N} KL(P_latent, P_logits_N)其中α为进化率evolution rate控制对logits_N调整的幅度。直观理解该更新让最终层输出分布向模型自身潜在知识所暗示的真实分布靠拢——因为P_latent是从模型内部各层挖掘出来的知识信号而非外部引入的额外信息因此整个过程被称作logits 的自我进化Self Logits Evolution。经过此步骤最终用于 softmax 采样/贪婪解码的 logits 已经被修正幻觉倾向高的 token 的概率被压低更符合事实的 token 概率被抬高且整个过程无需反向传播、无需修改任何模型参数。降低计算复杂度top-k 截断式自我进化使 SLED 真正具备实用价值的关键一步是计算复杂度优化。自我进化过程中涉及对词汇表维度d通常可达数万乃至数十万的梯度与相似度计算若对所有 Token 全量计算复杂度高达O(d²)在推理场景中不可接受。SLED 的做法是仅选择最终层 logits 值最高的前k个 Token 参与自我进化其余 Token 的 logits 统一调整为较低数值论文中采用-1000从而将计算复杂度从O(d²)降低到O(k²)。其中k ≪ dk被称为进化规模evolution scale它决定了参与自我进化的高概率 Token 数量是方法在覆盖面与效率之间的关键权衡超参数。由于生成过程中真正可能被采样的通常就是 top-k 范围内的 token这种截断在几乎不影响输出质量的前提下大幅压缩了计算量使得 SLED 的推理开销保持在非常低的水平详见下文实验部分。实验结果广泛的 LLM 基准测试结果实验基线主要采用DoLa——一种与 SLED 类似的、基于层对比layer contrastive的解码方法。从原论文实验结果来看SLED 在多选任务、开放生成任务以及思维链Chain-of-Thought推理任务三类场景中均表现良好且在几乎所有指标上超越了 DoLa 基线。这验证了 SLED 不止能压制幻觉还能对依赖推理链条的任务带来正向增益。多样化 LLM 配置评估结果SLED 的泛化能力在多种模型配置下得到验证覆盖不同模型家族LLaMA 2、LLaMA 3、Gemma 等主流开源模型不同模型规模从 2B 到 70B 的跨度不同架构包括 Mixture of ExpertsMoE专家混合架构。在如此广泛的配置上均取得一致的效果提升说明 SLED 对模型的层数、参数量与架构类型不敏感具备较强的跨模型迁移能力——这与它仅读取各层 logits、不做参数级假设的设计是自洽的。解码时间开销实际部署最关心的是额外延迟。实验结果显示SLED 增加的解码时间开销较小与 DoLa 相比增加范围仅为 0.1% ~ 10%。考虑到 DoLa 本身已是轻量级的层对比解码方法SLED 在显著提升真实性的同时几乎没有牺牲推理速度确保了方法在生产环境中的实用性。结合本仓库延伸学习logits、解码与架构的底层知识SLED 的核心操作对象是各层 logits以及采样概率分布要深入理解其机理可以在本仓库配套的《大模型基础》教材中找到对应的底层知识铺垫logits 与概率分布的关系、各类解码采样方法如 temperature、top-k、top-p 采样属于语言模型基础的核心内容可参阅 《大模型基础》第 1 章 语言模型基础其中语言模型的采样方法一节与 SLED 中基于修正后 logits 的采样环节直接相关不同层级的表示与 logits 的产生过程Decoder-only Transformer 如何逐层计算并输出预测分布可参阅 《大模型基础》第 2 章 大语言模型架构SLED 层间 logits 差异蕴含潜在知识的假设正建立在这一架构理解之上若想对比阅读解码与采样方向的其他经典工作如Diverse Beam SearchAAAI 2018、The Curious Case of Neural Text DegenerationICLR 2020即 top-p 采样原始论文等可浏览仓库的 大模型经典论文列表其中语言模型的采样方法章节收录了相关论文及其原文链接需要系统学习时也可直接阅读完整的 《大模型基础》完整版 PDF。需要注意的是本仓库当前以教材与论文清单形态存在未附带 SLED 的官方实现代码若需复现或进一步实验建议以论文正文Arxiv 2411.02433提供的公式与超参数说明为准进行实现。总结SLED 代表了一类颇具工程价值的解码优化思路不训练、不改权重、不引入外部知识仅凭模型自身多层 logits 的内部对话来发现并修正输出分布。其三步流程环环相扣——以层间 logits 差近似 KL 梯度来估计真实知识分布以进化率α控制的梯度更新实现最终层 logits 的自我进化再以进化规模k的 top-k 截断将复杂度从O(d²)降到O(k²)。结合其在多选、开放生成、思维链任务上全面优于 DoLa 基线的表现以及在 LLaMA 2 / LLaMA 3 / Gemma、2B-70B、MoE 等多样化配置上的泛化结果SLED 为提升大语言模型输出的真实性与可靠性提供了一条低成本、易集成、可落地的实用路径。赞分享文档教程大模型【免费下载链接】Foundations-of-LLMsA book for Learning the Foundations of LLMs项目地址https://gitcode.com/GitHub_Trending/fo/Foundations-of-LLMs点击查看免费下载相关推荐Foundations-of-LLMs 论文解读Learning How Hard to Think——输入自适应的语言模型推理算力分配Foundations of LLMs 论文解读Learning How Hard to Think——输入自适应的语言模型推理算力分配 导读 本文深度解读文档教程大模型smtp4dev SMTP会话日志分析调试邮件发送问题的终极指南smtp4dev SMTP会话日志分析调试邮件发送问题的终极指南 在开发和测试邮件功能时遇到邮件发送失败或接收异常是常见问题。 smtp4dev 作为一款强后端开发工具Foundations-of-LLMs数据信任透明度与可靠性Foundations of LLMs数据信任透明度与可靠性 引言大模型时代的信任危机 在人工智能快速发展的今天大语言模型Large Language文档教程大模型上一篇探索纯净音乐新维度铜钟平台的极致聆听体验下一篇GitHub_Trending/blo/Blog 边缘计算技术博客CDN加速方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考