https://baihuajun24.github.io/podcast/ en-us Copyright 2026 小白超 AI算 Mon, 07 Sep 2026 00:30:00 GMT https://baihuajun24.github.io/podcast/logo.jpg https://baihuajun24.github.io/podcast/ 小白超 AI算 false ` Doesn't Stop Reasoning（KAIST，arXiv:2609.03633）解剖的是免训练早退：推理模型先写一长串推理再吐结束思考标记进作答阶段，而早退就是在中途硬塞一个结束标记，逼它去作答。大家默认被掐掉的推理 token 就是省下来的。这篇发现模型根本没停——它在名义上的作答阶段里继续写推理式内容，过一会儿自己又吐一个结束标记，作者称为伪终止；而且证明是注入导致的：模型自然结束时该现象为零，压得越狠比例越高，可到四成。账是这样的：十四 B 模型上推理阶段从 4156 降到 3262，省了 894，可作答阶段同时从 547 涨到 1252，涨了 705——约 79% 的节省流了回来，总 token 净省只有 4%，准确率从 76.9 掉到 73.3。另外三组模型方法组合的回流比例是 76%、65%、51%。最有价值的是他们试着把那段伪推理直接砍掉：GSM8K 掉 15.9 个点，MATH 掉 12.1，因为那段东西在替被砍掉的推理干活——计算量是守恒的，你能把它搬个地方，但删不掉。他们提的修法（给注入标记加注意力偏置）输给了自己的对照组：开头加一句提示词让它直接作答，伪终止率 0.1、答案 444 token，而注意力偏置是 3.8、667 token。评级人上人。 第二篇，测的不是模型。Interface-Induced Trajectory Censoring（香港城市大学，arXiv:2609.03966）说 agent 的工具调用率测的根本不是模型，而是一份三方合同——checkpoint 被训练成吐什么、chat template 让它吐什么、parser 接受什么。三方对不上时你收到的是 HTTP 200 加一个空的工具调用数组，用作者的话说，跟模型自己决定不调用"字节级一模一样"。实验很干净：权重、用例、解码参数、种子、执行器、打分器全钉死，只换服务适配器，同一模型分数是 0.00 或 0.96；二乘二里两个主效应精确为零，全部摆动落在交互项——单独换哪个都没事，配错了才出事。另一个交互式基准的 115 个任务上，同一次切换让服务端解析到的调用从 0 变成 636；跟进到强化学习训练循环里，115 次中 45 次有效调用、被接受 0 次。而这篇最诚实的地方是：修好之后机制恢复了，结果却没有显著变好——通过率 53 到 62，p=0.093；另一基准解决数 7 对 10，p=0.25。它没有假装"修了就更强"，只说"你之前测的那个数不成立"。它还撤回了自己一处结论、修正了自己报错的数、主动否掉一个对自己有利的一致性指标。硬伤是触发点本身是社区已知的配置错误，新的是量化与归因。评级人上人。 第三篇，真的快。Uno（多家机构 + 一家芯片公司，arXiv:2609.04010）要去掉投机解码里那个额外的 draft 模型——它意味着多一套权重、多一份 KV 缓存和额外维护。做法是在一个冻结的自回归模型的每个投影上挂一组秩 128 的门控 LoRA，蒸馏成能一次性去噪一整块 token；验证时把适配器关掉，同一个网络变回原来的自回归模型，自己验自己。所以草稿和验证是同一套权重只差一个开关，也因此只需要一份 KV 缓存（峰值 122.2 GiB 对 130）。无损这次站得住：自回归权重冻结，验证器可证明未变，还做了 10 个随机种子加 95% 置信区间（76.4 对 76.6）——这是本轮唯一一份。速度也是真的：单张 H200、并发 64，系统吞吐 5733 对基础模型 3662；而且它真的跑了对手，两个现有方法是 5351 和 4944，接受长度 3.89 对 2.07。问题出在它自己的摘要：摘要和结论说"最高三倍"，全文表格里最大比值是 2.53；另一处说最大 batch 上两倍，同篇正文写 1.5 倍、表十八写 1.57。而且所有吞吐是构造的而非端到端计时——先测平均每步接受几个 token，再回放合成步数。评级人上人。 本期还评估但未播出 VestigeKV（arXiv:2609.03949）很漂亮：NoPE 训练把 MLA 的 64 维解耦分支变成了与 query 无关的显著性通道，可以在读取查询到来之前就压缩。但全文精读后发现它的"压缩"并不释放显存——非 top 行不删除，整行搬进 GPU 常驻归档区还额外加了索引，本质是带宽分层；而且全部测量只有一个 checkpoint。 On-Policy Distillation II（arXiv:2609.04172）的匹配结论只在数学域成立，代码/指令/agentic 只报了对师生差距的比例；标题的"一条样本"与真正成立的"16 条"不是同一主张。 时间线 00:00 开场 · 你以为省下的那笔，经得起复核吗 00:41 第一篇 · 免训练早退是怎么做的 01:30 模型根本没停 · 伪终止 02:03 账 · 省了 894，作答阶段涨了 705 02:31 约 79% 流回来，净省 4%，准确率掉 3.6 个点 02:59 想直接删掉那段？GSM8K 掉 15.9 个点 03:28 计算量是守恒的 03:54 他们的修法输给了一句提示词 04:43 第二篇 · 工具调用率测的是一份三方合同 05:21 对不上时是 HTTP 200 加空数组，字节级一模一样 05:44 只换适配器 · 0.00 或 0.96，主效应精确为零 06:22 同一次切换 · 0 变成 636 06:52 但修好之后，结果并没有显著变好 07:32 它撤回了自己的结论 08:07 第三篇 · Uno，去掉 draft 模型 08:26 冻结主模型挂门控 LoRA，关掉适配器就是验证器 09:03 无损站得住 · 10 个种子加置信区间 09:29 5733 对 3662，且真的跑了对手 10:01 可摘要说三倍，表格里最大 2.53 10:45 三篇串起来 11:00 收尾 · 工程比广告实在]]> ` Doesn't Stop Reasoning（KAIST，arXiv:2609.03633）解剖的是免训练早退：推理模型先写一长串推理再吐结束思考标记进作答阶段，而早退就是在中途硬塞一个结束标记，逼它去作答。大家默认被掐掉的推理 token 就是省下来的。这篇发现模型根本没停——它在名义上的作答阶段里继续写推理式内容，过一会儿自己又吐一个结束标记，作者称为伪终止；而且证明是注入导致的：模型自然结束时该现象为零，压得越狠比例越高，可到四成。账是这样的：十四 B 模型上推理阶段从 4156 降到 3262，省了 894，可作答阶段同时从 547 涨到 1252，涨了 705——约 79% 的节省流了回来，总 token 净省只有 4%，准确率从 76.9 掉到 73.3。另外三组模型方法组合的回流比例是 76%、65%、51%。最有价值的是他们试着把那段伪推理直接砍掉：GSM8K 掉 15.9 个点，MATH 掉 12.1，因为那段东西在替被砍掉的推理干活——计算量是守恒的，你能把它搬个地方，但删不掉。他们提的修法（给注入标记加注意力偏置）输给了自己的对照组：开头加一句提示词让它直接作答，伪终止率 0.1、答案 444 token，而注意力偏置是 3.8、667 token。评级人上人。 第二篇，测的不是模型。Interface-Induced Trajectory Censoring（香港城市大学，arXiv:2609.03966）说 agent 的工具调用率测的根本不是模型，而是一份三方合同——checkpoint 被训练成吐什么、chat template 让它吐什么、parser 接受什么。三方对不上时你收到的是 HTTP 200 加一个空的工具调用数组，用作者的话说，跟模型自己决定不调用"字节级一模一样"。实验很干净：权重、用例、解码参数、种子、执行器、打分器全钉死，只换服务适配器，同一模型分数是 0.00 或 0.96；二乘二里两个主效应精确为零，全部摆动落在交互项——单独换哪个都没事，配错了才出事。另一个交互式基准的 115 个任务上，同一次切换让服务端解析到的调用从 0 变成 636；跟进到强化学习训练循环里，115 次中 45 次有效调用、被接受 0 次。而这篇最诚实的地方是：修好之后机制恢复了，结果却没有显著变好——通过率 53 到 62，p=0.093；另一基准解决数 7 对 10，p=0.25。它没有假装"修了就更强"，只说"你之前测的那个数不成立"。它还撤回了自己一处结论、修正了自己报错的数、主动否掉一个对自己有利的一致性指标。硬伤是触发点本身是社区已知的配置错误，新的是量化与归因。评级人上人。 第三篇，真的快。Uno（多家机构 + 一家芯片公司，arXiv:2609.04010）要去掉投机解码里那个额外的 draft 模型——它意味着多一套权重、多一份 KV 缓存和额外维护。做法是在一个冻结的自回归模型的每个投影上挂一组秩 128 的门控 LoRA，蒸馏成能一次性去噪一整块 token；验证时把适配器关掉，同一个网络变回原来的自回归模型，自己验自己。所以草稿和验证是同一套权重只差一个开关，也因此只需要一份 KV 缓存（峰值 122.2 GiB 对 130）。无损这次站得住：自回归权重冻结，验证器可证明未变，还做了 10 个随机种子加 95% 置信区间（76.4 对 76.6）——这是本轮唯一一份。速度也是真的：单张 H200、并发 64，系统吞吐 5733 对基础模型 3662；而且它真的跑了对手，两个现有方法是 5351 和 4944，接受长度 3.89 对 2.07。问题出在它自己的摘要：摘要和结论说"最高三倍"，全文表格里最大比值是 2.53；另一处说最大 batch 上两倍，同篇正文写 1.5 倍、表十八写 1.57。而且所有吞吐是构造的而非端到端计时——先测平均每步接受几个 token，再回放合成步数。评级人上人。 本期还评估但未播出 VestigeKV（arXiv:2609.03949）很漂亮：NoPE 训练把 MLA 的 64 维解耦分支变成了与 query 无关的显著性通道，可以在读取查询到来之前就压缩。但全文精读后发现它的"压缩"并不释放显存——非 top 行不删除，整行搬进 GPU 常驻归档区还额外加了索引，本质是带宽分层；而且全部测量只有一个 checkpoint。 On-Policy Distillation II（arXiv:2609.04172）的匹配结论只在数学域成立，代码/指令/agentic 只报了对师生差距的比例；标题的"一条样本"与真正成立的"16 条"不是同一主张。 时间线 00:00 开场 · 你以为省下的那笔，经得起复核吗 00:41 第一篇 · 免训练早退是怎么做的 01:30 模型根本没停 · 伪终止 02:03 账 · 省了 894，作答阶段涨了 705 02:31 约 79% 流回来，净省 4%，准确率掉 3.6 个点 02:59 想直接删掉那段？GSM8K 掉 15.9 个点 03:28 计算量是守恒的 03:54 他们的修法输给了一句提示词 04:43 第二篇 · 工具调用率测的是一份三方合同 05:21 对不上时是 HTTP 200 加空数组，字节级一模一样 05:44 只换适配器 · 0.00 或 0.96，主效应精确为零 06:22 同一次切换 · 0 变成 636 06:52 但修好之后，结果并没有显著变好 07:32 它撤回了自己的结论 08:07 第三篇 · Uno，去掉 draft 模型 08:26 冻结主模型挂门控 LoRA，关掉适配器就是验证器 09:03 无损站得住 · 10 个种子加置信区间 09:29 5733 对 3662，且真的跑了对手 10:01 可摘要说三倍，表格里最大 2.53 10:45 三篇串起来 11:00 收尾 · 工程比广告实在]]> Mon, 07 Sep 2026 00:30:00 GMT mlsys-feed-2026-09-07 11:43 false Fri, 04 Sep 2026 00:30:00 GMT mlsys-feed-2026-09-04 10:55 false Thu, 03 Sep 2026 00:30:00 GMT mlsys-feed-2026-09-03 10:42 false 停更三周，回来第一期做一个主题：当请求从人打字变成 agent 自动发起，KV 缓存这本账被重记了。三篇论文正好落在三个尺度上——集群怎么路由、单机留什么、以及缓存的单位到底该是什么。 ## 内容时间戳 - 00:00 开场 · 缓存这本账，被 agent 重记了 - 00:28 SMetric（上海交大 / 阿里）· 生产轨迹：92.9% 请求由 agent 发起，复用率 80%+ - 01:43 反直觉的一条 · 全局层配满后，完全不看缓存的调度器只差 7% - 02:57 只调度每个会话的第一个请求 · 轮次信号是白嫖的，路由器保持无状态 - 03:48 SMetric 的账 · 2% 低端就是全局层满配点；增益只在饱和拐点附近（夯） - 04:39 TOPAS（中科大 / 合工大）· 前缀常驻 vs 批处理显存，1.8-1.9 倍的差距 - 05:40 联合状态打分 · 收益按任务最长剩余路径的期望缩短量算 - 06:29 TOPAS 的账 · 39.8% 来自合成负载，真实工作流 9.8%；单卡单次无方差（人上人） - 07:12 ReCache（上海交大 / 宁波东方理工 / 西安交大）· 可重排的工具集合不是前缀 - 07:58 抹掉跨资源注意力 + 位置归零 · 同一个工具永远是同一份 KV - 08:21 字段消融 · 只留末尾 token 幻觉率 76%；加回工具名幻觉率相对降 97.63% - 08:54 描述几乎无用，参数怎么填才值钱 · 模型要的是约束不是散文 - 09:31 ReCache 的三笔账 · 要全参微调、未见工具掉 5.5 分、没跑任何缓存复用基线（人上人） - 10:37 收尾 · 你优化的是命中率，还是命中来自哪一层？ ## 本期主讲 **1. SMetric: Rethink LLM Scheduling for Serving Agents with Balanced Session-centric Scheduling**（上海交通大学并行与分布式系统研究所 / 阿里巴巴，arXiv:2607.08565） 先摆生产数据：两条真实商用编码智能体的 trace 里，92.9% 的请求由 agent 自动发起而非人在打字；KV 缓存可复用比例超过 80%，而聊天负载只有 54–62%。目标也随之改变——agent 只在拿到完整回复后才行动，集群总吞吐成了第一目标。于是调度器都在抢缓存亲和，代价是负载不均衡（生产调度器 2.7×、学术基线 3.0×）。最有价值的观察是反直觉的：全局缓存层配满时，完全不看缓存的纯负载均衡调度器吞吐只低 7%，四种策略整体复用率都在 73–75%，差别只在命中层级（本地命中 58% vs 6%）——全局层已经把「复用」和「请求落点」解耦了。另一个数字说明「会话钉死」：缓存亲和下 96.6% 的后续请求回到首轮实例，纯负载均衡下只有 4.0%。方案因此只有一句：只把每个会话的首个请求纯按负载打散，后续照常走缓存亲和；而「这是第几轮」这个信号是白嫖的——接口无状态、每个请求都带完整历史，数消息条数即可，路由器保持完全无状态（他们刻意否决了 session→instance 映射表，因为会话永不显式结束、表会一直长还得 GC）。同机部署吞吐高 10–16%，首字时延中位数 1.1 秒。诚实点：宣传的「预填充吞吐 +2~34%」，2% 低端恰是全局层满配点——全局层越充裕优势越小；完全没有全局存储时与生产调度器差在 1% 以内；增益只集中在饱和拐点附近的窄区间（1.0× 负载差 1%、1.5× 高 15%、1.75× 只高 4%）；trace 未公开、两条只回放一条、采集窗口仅两小时、测试床 32 张卡对上千卡生产集群。评级：夯。 **2. TOPAS: Workflow-Aware Prefix-State Scheduling for Multi-Agent LLM Serving**（中国科学技术大学 / 合肥工业大学，arXiv:2608.25523） 把同一个矛盾下沉到一张卡：agent 的长 system prompt 前缀常驻能省 prefill，但它占走的显存正是留给并发批处理和解码的显存。动机实验朴素也够狠——同一批请求、同样预算，只把服务顺序从两个 agent 交替改成按 agent 分组，平均批大小从 4.7 涨到 9.3，总耗时从 2086 秒掉到 1145 秒。论文里还有一张手算的图：追进度的策略平均完成时间 21.5，而攒同前缀请求、摊薄装载费的策略反而是 24——两种看起来都对的直觉互相打脸。做法是不再逐个请求排序，而是枚举「这一步之后留哪几段前缀、同时能跑哪一批请求」这个联合状态并按秒打分；最值得说的是收益的定义——不按请求自身的服务时间算，而按这个请求做完之后任务最长剩余路径能缩短多少，于是推进一条非瓶颈分支不会被错记成进度。实现于 SGLang v0.5.3。数字：合成工作流 mean/p99 完成时间降 39.8%/49.4%，真实的两个 MetaGPT 工作流分别是 22.0% 和 9.8%。诚实点：39.8% 来自合成负载（固定长度 query + 固定生成长度，把「路径长度可预测」这个最有利条件给足了），真实流水线上是个位数；单张 A100、单实例，到达序列只采样一次、无重复实验、无方差——p99 尾指标在单次实验下尤其不稳；它还假设所有任务遵循同一个已知的工作流图，而核心量「最长剩余路径」正是靠这张图算出来的。评级：人上人。 **3. ReCache: Efficient KV Cache Reuse and Compression for Tool-Augmented LLM Agents**（上海交通大学 / 宁波东方理工大学 / 西安交通大学，arXiv:2608.19662） 前两篇都还认「前缀」，这篇说在 agent 上这个前提已经不成立：agent 按任务检索工具，同一个工具反复出现，但每次的组合不同、顺序也不同；而前缀缓存要求复用内容构成完全相同的前缀，所以换掉一个工具、或同一批换个排列顺序，后面所有工具的 KV 全部作废。改法是抹掉跨资源注意力、把每个工具内部的位置索引归零重排，而周围上下文保留原位置——同一个工具无论排第几、和谁一起被检索，KV 都是同一份，可以离线单独构造、单独复用。消融里有全篇最刺眼的数字：每个工具只留最后一个 token，调用分数掉到 14.8、幻觉率 76%，模型基本在瞎编工具名；仅仅把工具名加回去，幻觉率就相对下降 97.63%。另一个对照更好玩：在工具名和参数名的基础上再加「这个工具是干嘛的」那段描述，分数只从 67.7 动到 67.9，而加「这个参数该怎么填」直接到 72.8——模型要的是约束，不是散文。数字上，只做那一步注意力改造，见过的工具上 82.3 对稠密基线 82.4 基本持平、首字时延快 3.655 倍，完整版显存降 92.43%。诚实点：它不是免训练的，需要全参数微调（作者在 Limitations 自承冻结模型留作未来工作）；「基本持平」的 82.3 只是单独一项且只在训练见过的工具上成立，完整版在见过的工具上掉 2.1 分、在完全没见过的工具上是 60.8 对 66.3、掉 5.5 分——而「没见过的新工具」恰恰是它想解决的场景；表里没有跑任何一个真正的缓存复用基线（前缀缓存、EPIC、CacheBlend、KVLink、KVCOMM 全都只在文献综述里）；3.655 倍那个首字时延定义上排除了离线缓存构造，等于假设 100% 命中。评级：人上人。 ## 收尾 三篇在三个尺度上打同一场仗。共同点是 agent 同时拆掉了两个前提：一个是「复用和请求落在哪儿绑定」——全局缓存层已经把它解耦了；另一个是「复用是前缀形状的」——可重排的工具集合根本不是前缀。所以下次看到「我们做了 KV 缓存优化」，可以先问一句：你优化的是命中率，还是命中来自哪一层？ ## 论文与链接 - SMetric — arXiv:2607.08565 - TOPAS — arXiv:2608.25523 - ReCache — arXiv:2608.19662 ]]> 停更三周，回来第一期做一个主题：当请求从人打字变成 agent 自动发起，KV 缓存这本账被重记了。三篇论文正好落在三个尺度上——集群怎么路由、单机留什么、以及缓存的单位到底该是什么。 ## 内容时间戳 - 00:00 开场 · 缓存这本账，被 agent 重记了 - 00:28 SMetric（上海交大 / 阿里）· 生产轨迹：92.9% 请求由 agent 发起，复用率 80%+ - 01:43 反直觉的一条 · 全局层配满后，完全不看缓存的调度器只差 7% - 02:57 只调度每个会话的第一个请求 · 轮次信号是白嫖的，路由器保持无状态 - 03:48 SMetric 的账 · 2% 低端就是全局层满配点；增益只在饱和拐点附近（夯） - 04:39 TOPAS（中科大 / 合工大）· 前缀常驻 vs 批处理显存，1.8-1.9 倍的差距 - 05:40 联合状态打分 · 收益按任务最长剩余路径的期望缩短量算 - 06:29 TOPAS 的账 · 39.8% 来自合成负载，真实工作流 9.8%；单卡单次无方差（人上人） - 07:12 ReCache（上海交大 / 宁波东方理工 / 西安交大）· 可重排的工具集合不是前缀 - 07:58 抹掉跨资源注意力 + 位置归零 · 同一个工具永远是同一份 KV - 08:21 字段消融 · 只留末尾 token 幻觉率 76%；加回工具名幻觉率相对降 97.63% - 08:54 描述几乎无用，参数怎么填才值钱 · 模型要的是约束不是散文 - 09:31 ReCache 的三笔账 · 要全参微调、未见工具掉 5.5 分、没跑任何缓存复用基线（人上人） - 10:37 收尾 · 你优化的是命中率，还是命中来自哪一层？ ## 本期主讲 **1. SMetric: Rethink LLM Scheduling for Serving Agents with Balanced Session-centric Scheduling**（上海交通大学并行与分布式系统研究所 / 阿里巴巴，arXiv:2607.08565） 先摆生产数据：两条真实商用编码智能体的 trace 里，92.9% 的请求由 agent 自动发起而非人在打字；KV 缓存可复用比例超过 80%，而聊天负载只有 54–62%。目标也随之改变——agent 只在拿到完整回复后才行动，集群总吞吐成了第一目标。于是调度器都在抢缓存亲和，代价是负载不均衡（生产调度器 2.7×、学术基线 3.0×）。最有价值的观察是反直觉的：全局缓存层配满时，完全不看缓存的纯负载均衡调度器吞吐只低 7%，四种策略整体复用率都在 73–75%，差别只在命中层级（本地命中 58% vs 6%）——全局层已经把「复用」和「请求落点」解耦了。另一个数字说明「会话钉死」：缓存亲和下 96.6% 的后续请求回到首轮实例，纯负载均衡下只有 4.0%。方案因此只有一句：只把每个会话的首个请求纯按负载打散，后续照常走缓存亲和；而「这是第几轮」这个信号是白嫖的——接口无状态、每个请求都带完整历史，数消息条数即可，路由器保持完全无状态（他们刻意否决了 session→instance 映射表，因为会话永不显式结束、表会一直长还得 GC）。同机部署吞吐高 10–16%，首字时延中位数 1.1 秒。诚实点：宣传的「预填充吞吐 +2~34%」，2% 低端恰是全局层满配点——全局层越充裕优势越小；完全没有全局存储时与生产调度器差在 1% 以内；增益只集中在饱和拐点附近的窄区间（1.0× 负载差 1%、1.5× 高 15%、1.75× 只高 4%）；trace 未公开、两条只回放一条、采集窗口仅两小时、测试床 32 张卡对上千卡生产集群。评级：夯。 **2. TOPAS: Workflow-Aware Prefix-State Scheduling for Multi-Agent LLM Serving**（中国科学技术大学 / 合肥工业大学，arXiv:2608.25523） 把同一个矛盾下沉到一张卡：agent 的长 system prompt 前缀常驻能省 prefill，但它占走的显存正是留给并发批处理和解码的显存。动机实验朴素也够狠——同一批请求、同样预算，只把服务顺序从两个 agent 交替改成按 agent 分组，平均批大小从 4.7 涨到 9.3，总耗时从 2086 秒掉到 1145 秒。论文里还有一张手算的图：追进度的策略平均完成时间 21.5，而攒同前缀请求、摊薄装载费的策略反而是 24——两种看起来都对的直觉互相打脸。做法是不再逐个请求排序，而是枚举「这一步之后留哪几段前缀、同时能跑哪一批请求」这个联合状态并按秒打分；最值得说的是收益的定义——不按请求自身的服务时间算，而按这个请求做完之后任务最长剩余路径能缩短多少，于是推进一条非瓶颈分支不会被错记成进度。实现于 SGLang v0.5.3。数字：合成工作流 mean/p99 完成时间降 39.8%/49.4%，真实的两个 MetaGPT 工作流分别是 22.0% 和 9.8%。诚实点：39.8% 来自合成负载（固定长度 query + 固定生成长度，把「路径长度可预测」这个最有利条件给足了），真实流水线上是个位数；单张 A100、单实例，到达序列只采样一次、无重复实验、无方差——p99 尾指标在单次实验下尤其不稳；它还假设所有任务遵循同一个已知的工作流图，而核心量「最长剩余路径」正是靠这张图算出来的。评级：人上人。 **3. ReCache: Efficient KV Cache Reuse and Compression for Tool-Augmented LLM Agents**（上海交通大学 / 宁波东方理工大学 / 西安交通大学，arXiv:2608.19662） 前两篇都还认「前缀」，这篇说在 agent 上这个前提已经不成立：agent 按任务检索工具，同一个工具反复出现，但每次的组合不同、顺序也不同；而前缀缓存要求复用内容构成完全相同的前缀，所以换掉一个工具、或同一批换个排列顺序，后面所有工具的 KV 全部作废。改法是抹掉跨资源注意力、把每个工具内部的位置索引归零重排，而周围上下文保留原位置——同一个工具无论排第几、和谁一起被检索，KV 都是同一份，可以离线单独构造、单独复用。消融里有全篇最刺眼的数字：每个工具只留最后一个 token，调用分数掉到 14.8、幻觉率 76%，模型基本在瞎编工具名；仅仅把工具名加回去，幻觉率就相对下降 97.63%。另一个对照更好玩：在工具名和参数名的基础上再加「这个工具是干嘛的」那段描述，分数只从 67.7 动到 67.9，而加「这个参数该怎么填」直接到 72.8——模型要的是约束，不是散文。数字上，只做那一步注意力改造，见过的工具上 82.3 对稠密基线 82.4 基本持平、首字时延快 3.655 倍，完整版显存降 92.43%。诚实点：它不是免训练的，需要全参数微调（作者在 Limitations 自承冻结模型留作未来工作）；「基本持平」的 82.3 只是单独一项且只在训练见过的工具上成立，完整版在见过的工具上掉 2.1 分、在完全没见过的工具上是 60.8 对 66.3、掉 5.5 分——而「没见过的新工具」恰恰是它想解决的场景；表里没有跑任何一个真正的缓存复用基线（前缀缓存、EPIC、CacheBlend、KVLink、KVCOMM 全都只在文献综述里）；3.655 倍那个首字时延定义上排除了离线缓存构造，等于假设 100% 命中。评级：人上人。 ## 收尾 三篇在三个尺度上打同一场仗。共同点是 agent 同时拆掉了两个前提：一个是「复用和请求落在哪儿绑定」——全局缓存层已经把它解耦了；另一个是「复用是前缀形状的」——可重排的工具集合根本不是前缀。所以下次看到「我们做了 KV 缓存优化」，可以先问一句：你优化的是命中率，还是命中来自哪一层？ ## 论文与链接 - SMetric — arXiv:2607.08565 - TOPAS — arXiv:2608.25523 - ReCache — arXiv:2608.19662 ]]> Wed, 02 Sep 2026 00:30:00 GMT mlsys-feed-2026-09-02 11:18 false 今天三篇干的是同一个动作：回头去改上一阶段已经定死的东西。量化把整数码当定局、记忆把老师的经验原样搬、技能库把检索到的文档直接塞进 prompt——三篇都说，那只是草稿。三篇都评人上人，而且都罕见地诚实。 ## 内容时间戳 - 00:00 开场 · 三篇干的是同一个动作 - 00:39 ReQuant（北大 / 港中深 / 中兴）· 量化后回头翻整数码（人上人） - 03:32 Agent Memory Distillation（KAIST / DeepAuto.ai）· 老师记忆按学生能力重切粒度（人上人） - 06:23 SkillAligner（浙江大学）· 执行前把检索到的技能重写一遍（人上人） - 08:28 快速一览 · 碳感知路由 / VLM 看图省 token / 自蒸馏门控 - 09:21 收尾 ## 本期主讲 **1. ReQuant: Fixed-Grid Discrete Refinement for Post-Training Quantization**（北京大学 / 香港中文大学深圳 / 中兴，arXiv:2608.07019） 训练后量化流水线产出一份整数分配就停了——权重一旦映到格点，这个离散决策就当最终答案；GPTQ 的贪心逐列扫描里前面的列冻住、只让后面的列补偿。ReQuant 的观察是层重建损失按输出行可分解、行内对量化误差是凸二次，所以把一个坐标挪到相邻格点的损失变化有闭式解，从缓存梯度里 O(1) 可算，于是能做离散坐标下降。它接在任何已完成的 PTQ 输出之后，冻住位宽、scale、zero-point、格点布局、存储格式与推理 kernel，只反复翻整数码，且只接受严格降低重建误差的翻转，并有有限步终止证明——部署侧完全不变。实测弱初始化收益很猛：Llama-3 8B W4A4+QuaRot 下 RTN 十任务均值 53.33→61.94，70B 上 32.78→66.93；W2A4 下 GPTQ 35.88→41.00 且 WikiText-2 困惑度 31.98→15.06。诚实点：真正收益集中在弱初始化，对上已经很强的 GPTAQ 只有 +0.04 到 +0.81 分，低于它自己五个种子的 ±0.55 波动，与噪声分不开（论文自己报了）；离线代价是初始化器的 5–16 倍。评级：人上人。 **2. Agent Memory Distillation: Empowering Small LLM Agents with Hierarchical Teacher Memory**（KAIST / DeepAuto.ai，arXiv:2608.07169） 小模型 agent 成功率低，攒出来的记忆库全是失败轨迹，记忆系统在小模型上基本失效；而把大老师的记忆原样塞给学生也不行——老师写的是"先登录再放歌"这种高层策略，学生根本不会执行登录那一步。洞察是记忆的粒度与表示形式要和学生能力对齐，并做成了消融：子任务记忆用代码 49.40% 对纯自然语言 23.21%，工作流记忆反过来自然语言 49.40% 优于代码 44.05%。老师只从成功轨迹抽三层记忆（工作流 / 子任务 / 函数），前两层开场注入，函数记忆只在工具报错时按函数名反应式检索，全程 k=1、不训练任何参数。Qwen3-4B 在 AppWorld 上 14.88%→49.40%，逼近老师 GPT-5-mini 的 50.00%；五次重复 49.60±0.91；去泄漏划分下仍有 41.07%。诚实点：标题的"蒸馏"轻微夸大——不更新任何参数，是免训练的结构化 prompt 注入（作者正文自述）；收益高度集中在 AppWorld（ToolSandbox 仅 +3.4 个点）；最反直觉的是老师不是越强越好，更强的老师带 4B 学生反而更差。评级：人上人。 **3. SkillAligner: Treating Retrieved Skills as Adaptable Drafts at Execution Time**（浙江大学，arXiv:2608.06880） 先给了一个很值钱的诊断：语义相关不等于执行有用。把 BM25 top-5 技能文档原样注入，会把本来做对的任务翻成失败——九个设定里全部出现这种技能引起的退化，比例 5.80%–17.91%，且换更强的模型不解决。原因是查询、执行接口、以及同时检索到的其它技能三者都在变，所以"这个技能该怎么用"没法提前写死。做法：执行前加一次 LLM 调用，把 top-5 技能连同执行规范（工具、schema、合法动作格式、权限）重写成一份四字段紧凑指南，免训练、与检索器无关。九设定平均 47.07→58.17（九格全胜），退化率 17.91/9.40/10.29→2.24/2.80/3.57。诚实点：38.26% 的净 token 节省是被 SearchQA 拉高的平均值（SearchQA 62.77% vs ALFWorld 26.33%）；指南一次生成后全程冻结，中途不匹配也改不了；退化归因由另一模型打标且未报人工一致性。评级：人上人。 ## 快速一览 - Routing LLM Inference to the Cleanest Grid in Real Time（arXiv:2608.06188）· 生产 GPU 路由器上的碳排放项；口径：线上实测仅省 1.45%，约 51% 来自一整年历史回放的建模值。 - A Picture is Worth a Thousand Tokens（arXiv:2608.07427，爱立信）· 电信 KPI 时序渲染成二维图喂 VLM，输入 token 降 3.6–10.4×、实测每查询 GPU 能耗降 1.8–2.5×。 - DASH（arXiv:2608.06243）· 自蒸馏里把每 token 的损失权重改成由散度决定的自适应门控。 ## 论文与链接 - ReQuant — arXiv:2608.07019 - Agent Memory Distillation — arXiv:2608.07169 - SkillAligner — arXiv:2608.06880 - Routing LLM Inference to the Cleanest Grid — arXiv:2608.06188 - A Picture is Worth a Thousand Tokens — arXiv:2608.07427 - DASH — arXiv:2608.06243 ]]> 今天三篇干的是同一个动作：回头去改上一阶段已经定死的东西。量化把整数码当定局、记忆把老师的经验原样搬、技能库把检索到的文档直接塞进 prompt——三篇都说，那只是草稿。三篇都评人上人，而且都罕见地诚实。 ## 内容时间戳 - 00:00 开场 · 三篇干的是同一个动作 - 00:39 ReQuant（北大 / 港中深 / 中兴）· 量化后回头翻整数码（人上人） - 03:32 Agent Memory Distillation（KAIST / DeepAuto.ai）· 老师记忆按学生能力重切粒度（人上人） - 06:23 SkillAligner（浙江大学）· 执行前把检索到的技能重写一遍（人上人） - 08:28 快速一览 · 碳感知路由 / VLM 看图省 token / 自蒸馏门控 - 09:21 收尾 ## 本期主讲 **1. ReQuant: Fixed-Grid Discrete Refinement for Post-Training Quantization**（北京大学 / 香港中文大学深圳 / 中兴，arXiv:2608.07019） 训练后量化流水线产出一份整数分配就停了——权重一旦映到格点，这个离散决策就当最终答案；GPTQ 的贪心逐列扫描里前面的列冻住、只让后面的列补偿。ReQuant 的观察是层重建损失按输出行可分解、行内对量化误差是凸二次，所以把一个坐标挪到相邻格点的损失变化有闭式解，从缓存梯度里 O(1) 可算，于是能做离散坐标下降。它接在任何已完成的 PTQ 输出之后，冻住位宽、scale、zero-point、格点布局、存储格式与推理 kernel，只反复翻整数码，且只接受严格降低重建误差的翻转，并有有限步终止证明——部署侧完全不变。实测弱初始化收益很猛：Llama-3 8B W4A4+QuaRot 下 RTN 十任务均值 53.33→61.94，70B 上 32.78→66.93；W2A4 下 GPTQ 35.88→41.00 且 WikiText-2 困惑度 31.98→15.06。诚实点：真正收益集中在弱初始化，对上已经很强的 GPTAQ 只有 +0.04 到 +0.81 分，低于它自己五个种子的 ±0.55 波动，与噪声分不开（论文自己报了）；离线代价是初始化器的 5–16 倍。评级：人上人。 **2. Agent Memory Distillation: Empowering Small LLM Agents with Hierarchical Teacher Memory**（KAIST / DeepAuto.ai，arXiv:2608.07169） 小模型 agent 成功率低，攒出来的记忆库全是失败轨迹，记忆系统在小模型上基本失效；而把大老师的记忆原样塞给学生也不行——老师写的是"先登录再放歌"这种高层策略，学生根本不会执行登录那一步。洞察是记忆的粒度与表示形式要和学生能力对齐，并做成了消融：子任务记忆用代码 49.40% 对纯自然语言 23.21%，工作流记忆反过来自然语言 49.40% 优于代码 44.05%。老师只从成功轨迹抽三层记忆（工作流 / 子任务 / 函数），前两层开场注入，函数记忆只在工具报错时按函数名反应式检索，全程 k=1、不训练任何参数。Qwen3-4B 在 AppWorld 上 14.88%→49.40%，逼近老师 GPT-5-mini 的 50.00%；五次重复 49.60±0.91；去泄漏划分下仍有 41.07%。诚实点：标题的"蒸馏"轻微夸大——不更新任何参数，是免训练的结构化 prompt 注入（作者正文自述）；收益高度集中在 AppWorld（ToolSandbox 仅 +3.4 个点）；最反直觉的是老师不是越强越好，更强的老师带 4B 学生反而更差。评级：人上人。 **3. SkillAligner: Treating Retrieved Skills as Adaptable Drafts at Execution Time**（浙江大学，arXiv:2608.06880） 先给了一个很值钱的诊断：语义相关不等于执行有用。把 BM25 top-5 技能文档原样注入，会把本来做对的任务翻成失败——九个设定里全部出现这种技能引起的退化，比例 5.80%–17.91%，且换更强的模型不解决。原因是查询、执行接口、以及同时检索到的其它技能三者都在变，所以"这个技能该怎么用"没法提前写死。做法：执行前加一次 LLM 调用，把 top-5 技能连同执行规范（工具、schema、合法动作格式、权限）重写成一份四字段紧凑指南，免训练、与检索器无关。九设定平均 47.07→58.17（九格全胜），退化率 17.91/9.40/10.29→2.24/2.80/3.57。诚实点：38.26% 的净 token 节省是被 SearchQA 拉高的平均值（SearchQA 62.77% vs ALFWorld 26.33%）；指南一次生成后全程冻结，中途不匹配也改不了；退化归因由另一模型打标且未报人工一致性。评级：人上人。 ## 快速一览 - Routing LLM Inference to the Cleanest Grid in Real Time（arXiv:2608.06188）· 生产 GPU 路由器上的碳排放项；口径：线上实测仅省 1.45%，约 51% 来自一整年历史回放的建模值。 - A Picture is Worth a Thousand Tokens（arXiv:2608.07427，爱立信）· 电信 KPI 时序渲染成二维图喂 VLM，输入 token 降 3.6–10.4×、实测每查询 GPU 能耗降 1.8–2.5×。 - DASH（arXiv:2608.06243）· 自蒸馏里把每 token 的损失权重改成由散度决定的自适应门控。 ## 论文与链接 - ReQuant — arXiv:2608.07019 - Agent Memory Distillation — arXiv:2608.07169 - SkillAligner — arXiv:2608.06880 - Routing LLM Inference to the Cleanest Grid — arXiv:2608.06188 - A Picture is Worth a Thousand Tokens — arXiv:2608.07427 - DASH — arXiv:2608.06243 ]]> Mon, 10 Aug 2026 00:30:00 GMT mlsys-feed-2026-08-10 09:33 false 今天换个打法：只深讲两篇，快速轮加长到四篇——今天这批真正过线的就两篇。两篇共用一句话：先量对东西，再谈优化。均评人上人。 ## 内容时间戳 - 00:00 开场 · 今天为什么只深讲两篇 - 00:46 SAKI（Cotality）· KV 索引该优化打分失真而不是重建 key（人上人） - 04:59 路由不可学（伦敦大学学院 / Holistic AI）· 收益大半是重跑噪声（人上人） - 08:12 快速一览 · 技能召回 / 切分推理 / 突发流量调度 / anytime-valid 评测 - 09:18 收尾 ## 本期主讲 **1. SAKI: Score-Aware Low-Rank Key Indexing with Random-Matrix Noise Correction for KV Retrieval**（Cotality，arXiv:2608.03228） 长上下文解码已经变成检索问题：8B 模型百万 token 的 bf16 KV cache 约 130 GB，真实系统先用 rank-r 的 key 索引粗选、再取精确 value。现有两类做法（截断权重矩阵、或在激活分布下重建缓存张量）优化的都不是 attention 真正使用的量——attention 用的是 q 点乘 k 的打分排序，不是 key 的重建误差。把"key 侧低秩压缩造成的期望打分失真"直接求期望，得到一个双边协方差加权的低秩逼近，打分算子被 query 与 key 的真实统计量从两侧夹住。关键结论：rank-r 最优解不是投影器，而是不对称的低秩双线性映射；正交投影器只是 rank-r 映射类的严格子集，所以所有 span-based 方法（含 PCA）在原理上就表达不了它。落地只需每 head 一次校准前向 + 一次 128x128 SVD，两个因子可离线折进权重。实测（LLaMA-3.1-8B 全 1024 head，4096 上下文）top-64 召回中位数 r=32 时 0.799 对 PCA 0.748、r=64 时 0.876 对 0.833；跨四个模型无一格子输给 PCA；校准效率约 8 倍。最漂亮的是理论预测与实测的 per-head 打分 MSE 下降跨 1024 head 的 Pearson r = 0.9969。诚实点：正文两处明说尚未投稿；只有 recall 代理指标，4K 上下文、单一校准域，无端到端质量，全文无任何延迟/显存/吞吐指标。评级：人上人。 **2. Routing Is Least Learnable Where It Is Most Valuable: Bounds on Representation Routing for Web Agents**（伦敦大学学院 / Holistic AI，arXiv:2608.06171） 一个负结果。web agent 要操作网页得先"看见"页面——可访问性树（文本）、截图（像素）、或两者融合的标注图；今天这个选择建站时定一次、之后不变。7686 次评分 episode、36 个条件后，表面收益诱人：六模态 oracle 成功率 7.1–51.9%，最好单模态只有 2.2–35.6%。但两刀砍下来：其一，先给"重跑一次"定价——同一条件重跑就有 12.1–14.3% 的任务结果翻转，而真加一个不同模态只多买 +1.97 到 +7 个点，大 oracle 收益大半是六臂并集比一臂基线的虚高。其二，路由标签只在"有东西成功了"的地方存在，每 cell 六类合计仅 15–97 个标签，按每类最少十行筛，6 个 cell 里 4 个训不出分类器——agent 成功率越低标签越稀缺，于是路由最该帮忙处恰恰最没监督。唯一活下来的正收益是离线重组：保留最好模态、只把从没解出的任务丢给最便宜的臂，8 个 cell 全部省 9.5–30.6% 成本且成功率不变。论文还公开撤回了自己五条早先写死的结论。诚实点：成功率仅 2–36%，仪器分辨率与效应量相当；重跑波动带只在 2 个 cell 实测、外推到另外 6 个；作者自述该结论标记当下能力水位并预测自身会被推翻。评级：人上人。 ## 快速一览 - Comparative Approaches to Agent Retrieval over Large Skill Libraries（arXiv:2608.06196）· 大技能库里怎么召回技能，正好接上前一期那篇 Wix 的确定性门：一个管召回、一个管拦截。 - RAC: Reference-Aware Activation Compression（arXiv:2608.04991）· 端云切分推理的边界激活压缩编解码。 - LLM Inference Under Bursty Workload Distribution（arXiv:2608.06135）· 把排队论调度里需预知的到达率换成在线估计；注意全程为模拟环境，正文未给出吞吐与时延数字。 - AV-AIVAT（arXiv:2608.06362）· anytime-valid 停机让 agent 评测"证据够了就停"；标题的 74 倍来自其引用方法 2018 年对弱基线的方差削减，该文自身证明的是 54 倍方差削减仅换 1.37 倍更早停机。 ## 论文与链接 - SAKI — arXiv:2608.03228 - Routing Is Least Learnable Where It Is Most Valuable — arXiv:2608.06171 - Comparative Approaches to Agent Retrieval over Large Skill Libraries — arXiv:2608.06196 - RAC — arXiv:2608.04991 - LLM Inference Under Bursty Workload Distribution — arXiv:2608.06135 - AV-AIVAT — arXiv:2608.06362 ]]> 今天换个打法：只深讲两篇，快速轮加长到四篇——今天这批真正过线的就两篇。两篇共用一句话：先量对东西，再谈优化。均评人上人。 ## 内容时间戳 - 00:00 开场 · 今天为什么只深讲两篇 - 00:46 SAKI（Cotality）· KV 索引该优化打分失真而不是重建 key（人上人） - 04:59 路由不可学（伦敦大学学院 / Holistic AI）· 收益大半是重跑噪声（人上人） - 08:12 快速一览 · 技能召回 / 切分推理 / 突发流量调度 / anytime-valid 评测 - 09:18 收尾 ## 本期主讲 **1. SAKI: Score-Aware Low-Rank Key Indexing with Random-Matrix Noise Correction for KV Retrieval**（Cotality，arXiv:2608.03228） 长上下文解码已经变成检索问题：8B 模型百万 token 的 bf16 KV cache 约 130 GB，真实系统先用 rank-r 的 key 索引粗选、再取精确 value。现有两类做法（截断权重矩阵、或在激活分布下重建缓存张量）优化的都不是 attention 真正使用的量——attention 用的是 q 点乘 k 的打分排序，不是 key 的重建误差。把"key 侧低秩压缩造成的期望打分失真"直接求期望，得到一个双边协方差加权的低秩逼近，打分算子被 query 与 key 的真实统计量从两侧夹住。关键结论：rank-r 最优解不是投影器，而是不对称的低秩双线性映射；正交投影器只是 rank-r 映射类的严格子集，所以所有 span-based 方法（含 PCA）在原理上就表达不了它。落地只需每 head 一次校准前向 + 一次 128x128 SVD，两个因子可离线折进权重。实测（LLaMA-3.1-8B 全 1024 head，4096 上下文）top-64 召回中位数 r=32 时 0.799 对 PCA 0.748、r=64 时 0.876 对 0.833；跨四个模型无一格子输给 PCA；校准效率约 8 倍。最漂亮的是理论预测与实测的 per-head 打分 MSE 下降跨 1024 head 的 Pearson r = 0.9969。诚实点：正文两处明说尚未投稿；只有 recall 代理指标，4K 上下文、单一校准域，无端到端质量，全文无任何延迟/显存/吞吐指标。评级：人上人。 **2. Routing Is Least Learnable Where It Is Most Valuable: Bounds on Representation Routing for Web Agents**（伦敦大学学院 / Holistic AI，arXiv:2608.06171） 一个负结果。web agent 要操作网页得先"看见"页面——可访问性树（文本）、截图（像素）、或两者融合的标注图；今天这个选择建站时定一次、之后不变。7686 次评分 episode、36 个条件后，表面收益诱人：六模态 oracle 成功率 7.1–51.9%，最好单模态只有 2.2–35.6%。但两刀砍下来：其一，先给"重跑一次"定价——同一条件重跑就有 12.1–14.3% 的任务结果翻转，而真加一个不同模态只多买 +1.97 到 +7 个点，大 oracle 收益大半是六臂并集比一臂基线的虚高。其二，路由标签只在"有东西成功了"的地方存在，每 cell 六类合计仅 15–97 个标签，按每类最少十行筛，6 个 cell 里 4 个训不出分类器——agent 成功率越低标签越稀缺，于是路由最该帮忙处恰恰最没监督。唯一活下来的正收益是离线重组：保留最好模态、只把从没解出的任务丢给最便宜的臂，8 个 cell 全部省 9.5–30.6% 成本且成功率不变。论文还公开撤回了自己五条早先写死的结论。诚实点：成功率仅 2–36%，仪器分辨率与效应量相当；重跑波动带只在 2 个 cell 实测、外推到另外 6 个；作者自述该结论标记当下能力水位并预测自身会被推翻。评级：人上人。 ## 快速一览 - Comparative Approaches to Agent Retrieval over Large Skill Libraries（arXiv:2608.06196）· 大技能库里怎么召回技能，正好接上前一期那篇 Wix 的确定性门：一个管召回、一个管拦截。 - RAC: Reference-Aware Activation Compression（arXiv:2608.04991）· 端云切分推理的边界激活压缩编解码。 - LLM Inference Under Bursty Workload Distribution（arXiv:2608.06135）· 把排队论调度里需预知的到达率换成在线估计；注意全程为模拟环境，正文未给出吞吐与时延数字。 - AV-AIVAT（arXiv:2608.06362）· anytime-valid 停机让 agent 评测"证据够了就停"；标题的 74 倍来自其引用方法 2018 年对弱基线的方差削减，该文自身证明的是 54 倍方差削减仅换 1.37 倍更早停机。 ## 论文与链接 - SAKI — arXiv:2608.03228 - Routing Is Least Learnable Where It Is Most Valuable — arXiv:2608.06171 - Comparative Approaches to Agent Retrieval over Large Skill Libraries — arXiv:2608.06196 - RAC — arXiv:2608.04991 - LLM Inference Under Bursty Workload Distribution — arXiv:2608.06135 - AV-AIVAT — arXiv:2608.06362 ]]> Fri, 07 Aug 2026 00:30:00 GMT mlsys-feed-2026-08-07 09:31 false 今天三篇有同一条线索：把决定权交给最便宜的那一层，贵的大模型只负责剩下的。评级 夯 / 夯 / 人上人。 ## 内容时间戳 - 00:00 开场 · 把决定权交给最便宜的那一层 - 00:38 AsymSpec（天津大学）· 非对称链路上的云边投机解码（夯） - 04:22 ReCo（港科大 / 西安交大 / 北大）· 一个过程奖励同时管 KV 与停机（夯） - 07:37 Wix 技能门 · 进上下文之前的确定性拦截（人上人） - 09:59 快速一览 · 证据忠实度 / agent 失效检测 - 10:44 收尾 ## 本期主讲 **1. AsymSpec: Efficient Cloud-Edge Speculative Decoding over Asymmetric Networks**（天津大学，arXiv:2608.04974） 云边投机解码里草稿模型在边缘、目标模型在云上，每个投机块都要过一次上行云端才能验证。老办法上传整个词表大小的草稿分布、回复却只有几十字节，上下行消息量差 16032–18992×（解析测算）；实测通信+等待占端到端时延 85% 以上。洞察是接受与纠正的频率、信息量完全不同，正好映射非对称链路两个方向：上行只传 token 加草稿概率，完整分布留在边缘当可查状态；纠正走更宽的下行。保真度不看 top-K 覆盖率，而是给残差分布本身推全变差上界当证书，不够就单调扩 K，再不够退回拒绝采样精确恢复；调度上每请求最多一个未决块，等待时切到另一个已确定前缀的请求。实测 18 个操作点全部最高吞吐，比最强基线 2.82–28.03×、几何平均 7.96×；强网到弱网基线掉 71.4–78.6%，它反涨 1.9%。诚实点：网络为 tc/NetEm 模拟、原型是两个 Python 服务、边缘用消费级显卡而非真网关；28.03× 上限由弱网下基线崩塌驱动，几何平均才是可比数；纠正是全变差预算内而非逐比特精确。评级：夯。 **2. Fewer Tokens, Smaller Cache: Reward-Coordinated Efficient Reasoning**（港科大 / 西安交大 / 北大，arXiv:2608.04771） 先测出一笔被忽略的账单——固定压缩率下模型反而吐更多 token：25% 压缩率时某主流方法把 MATH-500 平均生成长度 3268.7 拉到 4538.1（+38.8%），另一个 8B 模型 4409.8 拉到 7891.7（+79.0%），最高 79.8% 的题目比满 cache 还长。以往压缩对整条轨迹一视同仁、且只按"删了什么"评价。ReCo 用一个 30M 过程奖励给每步打分，一个信号同时决定该步 KV 保留、惩罚反思 token、触发提前停机（对照：从高奖励步删 70% 比同预算随机步删，准确率高 3.5–6 分）。实测 token 少 37%/65%/46%，单卡 H20 墙钟 2.08/2.35/2.18×，峰值显存 28.78 降到 17.92 GB（−37.7%），自身开销合计不到 4%。诚实点：准确率不是持平而是"掉得最少"，比满 CoT 低 1.9–2.7 分（AIME25 33.3% 对 40.0%）；只在 7–8B 蒸馏模型、数学与理科问答、单卡上验证。评级：夯。 **3. Don't Offer What Can't Be Done: Deterministic Executability Gating for LLM Skill Selection at Scale**（Wix，arXiv:2608.01050） 技能库一大，语义相关就不够用了——技能可能话题对得上却在当前账号状态下不可执行。招法：每个技能内部本就写着退出条件，把这些谓词反过来，在技能描述进入模型上下文之前就地评估；门与技能共用谓词，拦截在构造上可靠。生产实测（一个月、一个十技能域族）：756641 条消息、267612 个会话；门砍掉 59.4% 的技能-消息对与 2.288 亿 token，语义加门合计把技能描述上下文砍掉 90.5%，平均每条消息从 10 个技能里拿掉 5.94 个。反事实回放：全暴露十技能时模型在 1000 个会话里有 78 个（7.8%）选中生产已拦截的技能。诚实点：单公司单技能族一个月窗口、无跨产品泛化证据；7.8% 来自专门构造的高风险队列、只回放一次、无方差；脚注自报投稿 KDD 2027 应用赛道且在审——在审不等于录用。评级：人上人。 ## 快速一览 - Does Accuracy Equal Evidence? Reasoning Faithfulness under KV Cache Compression（arXiv:2608.01631）· KV 压缩可保住最终答案正确率，却毁掉推理链的证据支撑。 - Real-Time Detection and Repair of LLM Agent Failures（arXiv:2608.02464）· 用微秒级遥测监控替掉每步一次的 LLM 裁判，再闭环成回滚与修复。 ## 论文与链接 - AsymSpec — arXiv:2608.04974 - Fewer Tokens, Smaller Cache (ReCo) — arXiv:2608.04771 - Don't Offer What Can't Be Done — arXiv:2608.01050 - Does Accuracy Equal Evidence? — arXiv:2608.01631 - Real-Time Detection and Repair of LLM Agent Failures — arXiv:2608.02464 ]]> 今天三篇有同一条线索：把决定权交给最便宜的那一层，贵的大模型只负责剩下的。评级 夯 / 夯 / 人上人。 ## 内容时间戳 - 00:00 开场 · 把决定权交给最便宜的那一层 - 00:38 AsymSpec（天津大学）· 非对称链路上的云边投机解码（夯） - 04:22 ReCo（港科大 / 西安交大 / 北大）· 一个过程奖励同时管 KV 与停机（夯） - 07:37 Wix 技能门 · 进上下文之前的确定性拦截（人上人） - 09:59 快速一览 · 证据忠实度 / agent 失效检测 - 10:44 收尾 ## 本期主讲 **1. AsymSpec: Efficient Cloud-Edge Speculative Decoding over Asymmetric Networks**（天津大学，arXiv:2608.04974） 云边投机解码里草稿模型在边缘、目标模型在云上，每个投机块都要过一次上行云端才能验证。老办法上传整个词表大小的草稿分布、回复却只有几十字节，上下行消息量差 16032–18992×（解析测算）；实测通信+等待占端到端时延 85% 以上。洞察是接受与纠正的频率、信息量完全不同，正好映射非对称链路两个方向：上行只传 token 加草稿概率，完整分布留在边缘当可查状态；纠正走更宽的下行。保真度不看 top-K 覆盖率，而是给残差分布本身推全变差上界当证书，不够就单调扩 K，再不够退回拒绝采样精确恢复；调度上每请求最多一个未决块，等待时切到另一个已确定前缀的请求。实测 18 个操作点全部最高吞吐，比最强基线 2.82–28.03×、几何平均 7.96×；强网到弱网基线掉 71.4–78.6%，它反涨 1.9%。诚实点：网络为 tc/NetEm 模拟、原型是两个 Python 服务、边缘用消费级显卡而非真网关；28.03× 上限由弱网下基线崩塌驱动，几何平均才是可比数；纠正是全变差预算内而非逐比特精确。评级：夯。 **2. Fewer Tokens, Smaller Cache: Reward-Coordinated Efficient Reasoning**（港科大 / 西安交大 / 北大，arXiv:2608.04771） 先测出一笔被忽略的账单——固定压缩率下模型反而吐更多 token：25% 压缩率时某主流方法把 MATH-500 平均生成长度 3268.7 拉到 4538.1（+38.8%），另一个 8B 模型 4409.8 拉到 7891.7（+79.0%），最高 79.8% 的题目比满 cache 还长。以往压缩对整条轨迹一视同仁、且只按"删了什么"评价。ReCo 用一个 30M 过程奖励给每步打分，一个信号同时决定该步 KV 保留、惩罚反思 token、触发提前停机（对照：从高奖励步删 70% 比同预算随机步删，准确率高 3.5–6 分）。实测 token 少 37%/65%/46%，单卡 H20 墙钟 2.08/2.35/2.18×，峰值显存 28.78 降到 17.92 GB（−37.7%），自身开销合计不到 4%。诚实点：准确率不是持平而是"掉得最少"，比满 CoT 低 1.9–2.7 分（AIME25 33.3% 对 40.0%）；只在 7–8B 蒸馏模型、数学与理科问答、单卡上验证。评级：夯。 **3. Don't Offer What Can't Be Done: Deterministic Executability Gating for LLM Skill Selection at Scale**（Wix，arXiv:2608.01050） 技能库一大，语义相关就不够用了——技能可能话题对得上却在当前账号状态下不可执行。招法：每个技能内部本就写着退出条件，把这些谓词反过来，在技能描述进入模型上下文之前就地评估；门与技能共用谓词，拦截在构造上可靠。生产实测（一个月、一个十技能域族）：756641 条消息、267612 个会话；门砍掉 59.4% 的技能-消息对与 2.288 亿 token，语义加门合计把技能描述上下文砍掉 90.5%，平均每条消息从 10 个技能里拿掉 5.94 个。反事实回放：全暴露十技能时模型在 1000 个会话里有 78 个（7.8%）选中生产已拦截的技能。诚实点：单公司单技能族一个月窗口、无跨产品泛化证据；7.8% 来自专门构造的高风险队列、只回放一次、无方差；脚注自报投稿 KDD 2027 应用赛道且在审——在审不等于录用。评级：人上人。 ## 快速一览 - Does Accuracy Equal Evidence? Reasoning Faithfulness under KV Cache Compression（arXiv:2608.01631）· KV 压缩可保住最终答案正确率，却毁掉推理链的证据支撑。 - Real-Time Detection and Repair of LLM Agent Failures（arXiv:2608.02464）· 用微秒级遥测监控替掉每步一次的 LLM 裁判，再闭环成回滚与修复。 ## 论文与链接 - AsymSpec — arXiv:2608.04974 - Fewer Tokens, Smaller Cache (ReCo) — arXiv:2608.04771 - Don't Offer What Can't Be Done — arXiv:2608.01050 - Does Accuracy Equal Evidence? — arXiv:2608.01631 - Real-Time Detection and Repair of LLM Agent Failures — arXiv:2608.02464 ]]> Thu, 06 Aug 2026 00:30:00 GMT mlsys-feed-2026-08-06 10:58 false 长上下文和长交互要付三笔账：解码要一步步走、KV cache 占显存、agent 历史越堆越长。今天三篇各治一笔，且都评顶级。 ## 内容时间戳 - 00:00 开场 · 长上下文的三笔账 - 00:37 Bole（南京大学 / 蚂蚁集团）· 混合注意力的树投机 - 03:38 RestoreKV（釜山大学）· KV 驱逐后用 LoRA 复原 - 06:11 Context Compaction Theory（波士顿大学 / 哈佛等）· 上下文压缩的理论极限 - 07:52 快速一览 · LaCache / RING - 08:42 收尾 ## 本期主讲 **1. Bole: Efficient Tree Speculation for Hybrid-Attention Language Models**（南京大学 / 蚂蚁集团，arXiv:2608.01651） 混合注意力（全注意力交替线性注意力）解码时是显存带宽瓶颈，投机解码本该救，但现有树投机都绕全注意力 KV 设计——碰到线性注意力那条递归就得逐分支算、还给每个树节点存整份状态，验证延迟与显存都爆炸。Bole 证明门控线性注意力在候选树上有精确闭式解（祖先作用矩阵严格下三角且深度有限幂零 → 逆等于有限次多项式），于是从一个进树前的不变状态一次性并行算完，分支更新压成 token 尺度小因子、只在采样后重建接受的那条、全程不拍快照。做进 SGLang（六千多行）：线性注意力树验证快 3.4–7.7×、瞬时状态显存降 82–99×、端到端解码吞吐最高是自回归的 4.72×（比最强树投机基线 2.03×）、首/每 token 延迟最多砍 67.6%/49.9%、几何平均 2.74×。诚实点：仅在 Qwen3.5 系列 + 自带 MTP 草稿头上验证，闭式解专为门控 delta 递归推导。评级：顶级。 **2. RestoreKV: Recovering Full-Cache Behavior Under Aggressive Query-Agnostic KV Eviction**（釜山大学 / 淑明女大，arXiv:2608.01247） 查询无关 KV 驱逐（先压一次、任意查询复用）预算紧了就断崖，而以往方法都在抠"该留哪些原始 KV 对"，压出来永远是原始缓存的子集。RestoreKV 换思路：拿出总预算里一小块放 8 个可学习复原 token，在驱逐前用一个 LoRA 适配器让它们一次性看完整缓存、把丢失信息压成一小份补回来，总预算不超；LoRA 只在复原那一下开、解码全程关。极紧预算下 RULER 强基线 38.2→73.2，等预算 60 设定改善 59 个，开销 <0.5%、显存 +0.4%，4B 两小时只调 0.4% 参数。诚实点：名字说大了（离满 cache 九十多仍差）、增益集中在极紧预算、需按模型与驱逐法各训一个适配器，但消融把增益来源与位置编码混淆都控住了。评级：顶级。 **3. Context Compaction Theory**（波士顿大学 / 哈佛 / 纽约城市学院等，arXiv:2608.01326） agent 跑久了历史会爆，现在都靠上下文压缩续命，但没人说得清极限。这篇把它建成两方游戏，证明"生成式压缩"等价于通讯复杂度里的单向通讯——几十年的下界直接搬过来告诉你某类任务的压缩预算下限；还证明生成式可以严格比"挑选式"更省。案例研究拿一个前沿模型的上下文压缩接口做集合成员查询，发现压缩后基本是瞎猜水平，说明现实离理论还很远。不刷榜，但第一次把一个人人在用、却没人架理论的东西架上了理论，并打了个诚实的样。评级：顶级。 ## 快速一览 - LaCache: Robust Semantic Caching for LLM Serving（arXiv:2608.01718）· 给 LLM 服务做语义缓存，额外核对投机解码前几个 token 是否命中来防缓存碰撞攻击。 - RING: Retrieval-Internalized Generation（arXiv:2608.01630）· 把大规模外部知识灌进一组记忆专家，学一个在内部记忆上做路由与检索的策略，把外部检索内化。 ## 论文与链接 - Bole — arXiv:2608.01651 - RestoreKV — arXiv:2608.01247 - Context Compaction Theory — arXiv:2608.01326 - LaCache — arXiv:2608.01718 - RING — arXiv:2608.01630 ## 制作元信息 - 检索：watermark 补至 08-04 批次（当日批次约 11:38 BJT 落地后开跑），663 检索 / 506 候选 → Claude-as-judge（8 子代理，按更新后的兴趣：模型路由 / 大小模型协同 / 高效推理）判 60 → 7 入选。 - 三篇主讲全文 PDF 出卡定级（评级冻结），均顶级。 - 音频：本地合成（mlx-audio Qwen3-TTS-12Hz-1.7B-CustomVoice），双主持 Jeff（uncle_fu）/ Ada（serena），1.0x。 - 口径：各篇加速/分数为论文自报、口径不同不可横比；Bole 仅 Qwen3.5 + 自带草稿头验证；RestoreKV 增益集中于极紧预算；Context Compaction 接口测试为论文自身案例。 ]]> Tue, 04 Aug 2026 00:30:00 GMT mlsys-feed-2026-08-04 08:57 长上下文和长交互要付三笔账：解码要一步步走、KV cache 占显存、agent 历史越堆越长。今天三篇各治一笔，且都评顶级。 ## 内容时间戳 - 00:00 开场 · 长上下文的三笔账 - 00:37 Bole（南京大学 / 蚂蚁集团）· 混合注意力的树投机 - 03:38 RestoreKV（釜山大学）· KV 驱逐后用 LoRA 复原 - 06:11 Context Compaction Theory（波士顿大学 / 哈佛等）· 上下文压缩的理论极限 - 07:52 快速一览 · LaCache / RING - 08:42 收尾 ## 本期主讲 **1. Bole: Efficient Tree Speculation for Hybrid-Attention Language Models**（南京大学 / 蚂蚁集团，arXiv:2608.01651） 混合注意力（全注意力交替线性注意力）解码时是显存带宽瓶颈，投机解码本该救，但现有树投机都绕全注意力 KV 设计——碰到线性注意力那条递归就得逐分支算、还给每个树节点存整份状态，验证延迟与显存都爆炸。Bole 证明门控线性注意力在候选树上有精确闭式解（祖先作用矩阵严格下三角且深度有限幂零 → 逆等于有限次多项式），于是从一个进树前的不变状态一次性并行算完，分支更新压成 token 尺度小因子、只在采样后重建接受的那条、全程不拍快照。做进 SGLang（六千多行）：线性注意力树验证快 3.4–7.7×、瞬时状态显存降 82–99×、端到端解码吞吐最高是自回归的 4.72×（比最强树投机基线 2.03×）、首/每 token 延迟最多砍 67.6%/49.9%、几何平均 2.74×。诚实点：仅在 Qwen3.5 系列 + 自带 MTP 草稿头上验证，闭式解专为门控 delta 递归推导。评级：顶级。 **2. RestoreKV: Recovering Full-Cache Behavior Under Aggressive Query-Agnostic KV Eviction**（釜山大学 / 淑明女大，arXiv:2608.01247） 查询无关 KV 驱逐（先压一次、任意查询复用）预算紧了就断崖，而以往方法都在抠"该留哪些原始 KV 对"，压出来永远是原始缓存的子集。RestoreKV 换思路：拿出总预算里一小块放 8 个可学习复原 token，在驱逐前用一个 LoRA 适配器让它们一次性看完整缓存、把丢失信息压成一小份补回来，总预算不超；LoRA 只在复原那一下开、解码全程关。极紧预算下 RULER 强基线 38.2→73.2，等预算 60 设定改善 59 个，开销 <0.5%、显存 +0.4%，4B 两小时只调 0.4% 参数。诚实点：名字说大了（离满 cache 九十多仍差）、增益集中在极紧预算、需按模型与驱逐法各训一个适配器，但消融把增益来源与位置编码混淆都控住了。评级：顶级。 **3. Context Compaction Theory**（波士顿大学 / 哈佛 / 纽约城市学院等，arXiv:2608.01326） agent 跑久了历史会爆，现在都靠上下文压缩续命，但没人说得清极限。这篇把它建成两方游戏，证明"生成式压缩"等价于通讯复杂度里的单向通讯——几十年的下界直接搬过来告诉你某类任务的压缩预算下限；还证明生成式可以严格比"挑选式"更省。案例研究拿一个前沿模型的上下文压缩接口做集合成员查询，发现压缩后基本是瞎猜水平，说明现实离理论还很远。不刷榜，但第一次把一个人人在用、却没人架理论的东西架上了理论，并打了个诚实的样。评级：顶级。 ## 快速一览 - LaCache: Robust Semantic Caching for LLM Serving（arXiv:2608.01718）· 给 LLM 服务做语义缓存，额外核对投机解码前几个 token 是否命中来防缓存碰撞攻击。 - RING: Retrieval-Internalized Generation（arXiv:2608.01630）· 把大规模外部知识灌进一组记忆专家，学一个在内部记忆上做路由与检索的策略，把外部检索内化。 ## 论文与链接 - Bole — arXiv:2608.01651 - RestoreKV — arXiv:2608.01247 - Context Compaction Theory — arXiv:2608.01326 - LaCache — arXiv:2608.01718 - RING — arXiv:2608.01630 ## 制作元信息 - 检索：watermark 补至 08-04 批次（当日批次约 11:38 BJT 落地后开跑），663 检索 / 506 候选 → Claude-as-judge（8 子代理，按更新后的兴趣：模型路由 / 大小模型协同 / 高效推理）判 60 → 7 入选。 - 三篇主讲全文 PDF 出卡定级（评级冻结），均顶级。 - 音频：本地合成（mlx-audio Qwen3-TTS-12Hz-1.7B-CustomVoice），双主持 Jeff（uncle_fu）/ Ada（serena），1.0x。 - 口径：各篇加速/分数为论文自报、口径不同不可横比；Bole 仅 Qwen3.5 + 自带草稿头验证；RestoreKV 增益集中于极紧预算；Context Compaction 接口测试为论文自身案例。 ]]> 给大模型推理省钱，可以从三个层面下手：少解码几步、每个 token 少算一点、把 KV cache 里没用的早点扔掉。今天三篇正好各占一个层面，都训练无关、都有真实加速。 ## 内容时间戳 - 00:00 开场 · 给推理省钱的三个层面 - 00:46 SparseSpec-L（中国科学技术大学）· 自投机解码，草稿用可召回稀疏 KV - 02:36 WIDE（东方理工 / 慕尼黑 LMU）· token 级动态宽度剪枝 + 算子协同 - 05:16 Back from the Future · 逆因果惊奇度做 KV 驱逐 - 08:12 快速一览 · ReTopK / ARES - 08:39 收尾 ## 本期主讲 **1. WIDE: Boosting Adaptive LLM Inference via Token-level Dynamic Width Pruning**（东方理工 / 慕尼黑 LMU，arXiv:2607.28418） 结构化剪枝的老毛病：静态剪枝对所有输入一刀切、砍狠了精度掉；动态剪枝又只会粗粒度地跳整层、跳子模块，不规则执行在硬件上跑不出真加速。WIDE 把动态路由从"跳整层"下推到 token 级的宽度——每个 token 自选注意力头组与前馈通道组——再配一个 GPU 算子协同设计：把每个 token 稀疏的掩码重排成连续块，让细粒度稀疏也保持稠密式高效访存，不用物化 token 专属权重。50% 稀疏下精度保住八成六到八成八，比只会跳层的动态基线最高高出二十多个点；算子层面预填充最高 1.98×、解码 4.95×，端到端预填充 1.68×、解码 1.55×。学出来的稀疏注意力砍到 66%、前馈只砍 28%。诚实点：只在两个 Llama 模型上验证，端到端 ~1.6× 远低于算子上限，50% 稀疏绝对精度仍掉约 13 点。评级：顶级。 **2. A Sparse Glimpse of the Whole: Train-Free Self-Speculative Decoding (SparseSpec-L)**（中国科学技术大学，arXiv:2607.27735） 投机解码要草稿便宜、接受率高、还能一次猜够长，三者常顾此失彼：训练小草稿泛化差，静态压 KV 又永久丢上下文、长文接受率崩。SparseSpec-L 让目标模型自己当草稿，用一份"可召回"的稀疏 KV——重要性分数从上一次全量验证的注意力统计里免费回收，稠密 KV 一个不扔、只在起草时用稀疏视图，目标分布不变；再用熵控制器在线选投机步长。长上下文最高 2.79×、接受率 72.9%、平均一次过 11 个 token，另一长文基准 2.60×。它给了个干净的公式解释"步长不是越长越好"（边际接受率低于相对草稿成本时加速回落）。诚实点：加速建立在非 FlashAttention 的验证核上、对优化引擎是否提速未测，单卡 ≤64K、输出 128 token，且自承认不是首个稀疏-KV 自投机。评级：人上人。 **3. Back from the Future: Key-Value Cache Management by Counter-Causal Surprise**（Metacognition AI / 澳国立 / 阿德莱德，arXiv:2607.27600） 换个角度问 KV cache 该扔谁：一个 token 若光看它后面的内容就能预测出来，就是冗余可扔——用"逆因果惊奇度"（1 减去从未来预测该 token 的概率）当保留信号。实现上把因果掩码换成上三角、每个位置只看其后位置，复用已存 K/V、只重算 query，全程不训练。全量成本是序列平方乘层数，故给了个只用最后一层的快速近似，刷新延迟 54ms→7.9ms（快 7–9 倍），代价是多存约占 KV 12% 的中间激活。MATH500 上四个模型里三个是最优驱逐法、AIME 上也是驱逐法里最好，但离满 cache 仍有差距。诚实点：增益温和、部分结果只在图里、未与最近更强的驱逐法正面比、全量版预填充成本近翻倍。评级：人上人。 ## 快速一览 - Recall Before You Rank (ReTopK)（arXiv:2607.27692）· 训练无关地复用历史 Top-K 选择、省稀疏注意力选择器开销，128K 下几乎不掉精度、注意力提速 3×。 - ARES: Adaptive Reasoning-Effort Steering（arXiv:2607.27879）· 按每次调用自适应分配 reasoning 力气、带显式美元成本核算，用在 agent 回路做成本感知推理。 ## 论文与链接 - WIDE — arXiv:2607.28418 - SparseSpec-L — arXiv:2607.27735 - Back from the Future — arXiv:2607.27600 - ReTopK — arXiv:2607.27692 - ARES — arXiv:2607.27879 ## 制作元信息 - 检索：watermark 自动补 07-29→08-02 跳过批次，874 篇检索 / 678 候选 → Claude-as-judge（8 子代理）判 60 → 8 入选。 - 三篇主讲全文 PDF 出卡定级（评级冻结）：WIDE 顶级 / SparseSpec-L 人上人 / Back-from-the-Future 人上人。 - 音频：本地合成（mlx-audio Qwen3-TTS-12Hz-1.7B-CustomVoice），双主持 Jeff（uncle_fu）/ Ada（serena），1.0x。 - 口径：各篇加速倍数为论文自报、硬件与基准不同不可横比；主讲边界见正文诚实点。 ]]> Mon, 03 Aug 2026 00:30:00 GMT mlsys-feed-2026-08-03 08:42 给大模型推理省钱，可以从三个层面下手：少解码几步、每个 token 少算一点、把 KV cache 里没用的早点扔掉。今天三篇正好各占一个层面，都训练无关、都有真实加速。 ## 内容时间戳 - 00:00 开场 · 给推理省钱的三个层面 - 00:46 SparseSpec-L（中国科学技术大学）· 自投机解码，草稿用可召回稀疏 KV - 02:36 WIDE（东方理工 / 慕尼黑 LMU）· token 级动态宽度剪枝 + 算子协同 - 05:16 Back from the Future · 逆因果惊奇度做 KV 驱逐 - 08:12 快速一览 · ReTopK / ARES - 08:39 收尾 ## 本期主讲 **1. WIDE: Boosting Adaptive LLM Inference via Token-level Dynamic Width Pruning**（东方理工 / 慕尼黑 LMU，arXiv:2607.28418） 结构化剪枝的老毛病：静态剪枝对所有输入一刀切、砍狠了精度掉；动态剪枝又只会粗粒度地跳整层、跳子模块，不规则执行在硬件上跑不出真加速。WIDE 把动态路由从"跳整层"下推到 token 级的宽度——每个 token 自选注意力头组与前馈通道组——再配一个 GPU 算子协同设计：把每个 token 稀疏的掩码重排成连续块，让细粒度稀疏也保持稠密式高效访存，不用物化 token 专属权重。50% 稀疏下精度保住八成六到八成八，比只会跳层的动态基线最高高出二十多个点；算子层面预填充最高 1.98×、解码 4.95×，端到端预填充 1.68×、解码 1.55×。学出来的稀疏注意力砍到 66%、前馈只砍 28%。诚实点：只在两个 Llama 模型上验证，端到端 ~1.6× 远低于算子上限，50% 稀疏绝对精度仍掉约 13 点。评级：顶级。 **2. A Sparse Glimpse of the Whole: Train-Free Self-Speculative Decoding (SparseSpec-L)**（中国科学技术大学，arXiv:2607.27735） 投机解码要草稿便宜、接受率高、还能一次猜够长，三者常顾此失彼：训练小草稿泛化差，静态压 KV 又永久丢上下文、长文接受率崩。SparseSpec-L 让目标模型自己当草稿，用一份"可召回"的稀疏 KV——重要性分数从上一次全量验证的注意力统计里免费回收，稠密 KV 一个不扔、只在起草时用稀疏视图，目标分布不变；再用熵控制器在线选投机步长。长上下文最高 2.79×、接受率 72.9%、平均一次过 11 个 token，另一长文基准 2.60×。它给了个干净的公式解释"步长不是越长越好"（边际接受率低于相对草稿成本时加速回落）。诚实点：加速建立在非 FlashAttention 的验证核上、对优化引擎是否提速未测，单卡 ≤64K、输出 128 token，且自承认不是首个稀疏-KV 自投机。评级：人上人。 **3. Back from the Future: Key-Value Cache Management by Counter-Causal Surprise**（Metacognition AI / 澳国立 / 阿德莱德，arXiv:2607.27600） 换个角度问 KV cache 该扔谁：一个 token 若光看它后面的内容就能预测出来，就是冗余可扔——用"逆因果惊奇度"（1 减去从未来预测该 token 的概率）当保留信号。实现上把因果掩码换成上三角、每个位置只看其后位置，复用已存 K/V、只重算 query，全程不训练。全量成本是序列平方乘层数，故给了个只用最后一层的快速近似，刷新延迟 54ms→7.9ms（快 7–9 倍），代价是多存约占 KV 12% 的中间激活。MATH500 上四个模型里三个是最优驱逐法、AIME 上也是驱逐法里最好，但离满 cache 仍有差距。诚实点：增益温和、部分结果只在图里、未与最近更强的驱逐法正面比、全量版预填充成本近翻倍。评级：人上人。 ## 快速一览 - Recall Before You Rank (ReTopK)（arXiv:2607.27692）· 训练无关地复用历史 Top-K 选择、省稀疏注意力选择器开销，128K 下几乎不掉精度、注意力提速 3×。 - ARES: Adaptive Reasoning-Effort Steering（arXiv:2607.27879）· 按每次调用自适应分配 reasoning 力气、带显式美元成本核算，用在 agent 回路做成本感知推理。 ## 论文与链接 - WIDE — arXiv:2607.28418 - SparseSpec-L — arXiv:2607.27735 - Back from the Future — arXiv:2607.27600 - ReTopK — arXiv:2607.27692 - ARES — arXiv:2607.27879 ## 制作元信息 - 检索：watermark 自动补 07-29→08-02 跳过批次，874 篇检索 / 678 候选 → Claude-as-judge（8 子代理）判 60 → 8 入选。 - 三篇主讲全文 PDF 出卡定级（评级冻结）：WIDE 顶级 / SparseSpec-L 人上人 / Back-from-the-Future 人上人。 - 音频：本地合成（mlx-audio Qwen3-TTS-12Hz-1.7B-CustomVoice），双主持 Jeff（uncle_fu）/ Ada（serena），1.0x。 - 口径：各篇加速倍数为论文自报、硬件与基准不同不可横比；主讲边界见正文诚实点。 ]]> 长上下文推理里越堆越大的 KV cache 怎么省着用？三篇给了三种打法：把每页压成小摘要、把稀疏注意力的选择摊薄、把驱逐重新想成一个估计问题。压、挑、扔。 ## 内容时间戳 - 00:00 开场 · 长上下文 KV 的三种省法 - 00:44 LOCKS（单作者预印本）· 页级低秩摘要，只读 top 页 - 03:34 PIVOT（腾讯）· 稀疏注意力 indexer 的 query 轴摊销 - 05:53 Eviction as Estimation（北卡教堂山 / 纽约大学）· 把驱逐重述为估计 - 08:42 快速一览 · Kimi K3 / Agentic Context Management / Agentic CPU-GPU Scheduling - 09:52 收尾 ## 本期主讲 **1. LOCKS: Page-Local Compact Key Summaries for Efficient Long-Context Decoding**（单作者预印本，无机构署名，arXiv:2607.24555） 长上下文推理的瓶颈是 KV cache 的读带宽——cache 常驻显存，但每个 decode step 得整段全读。想稀疏地只读一部分又有死结：精确挑 top key 就得先读每个 key。LOCKS 给每页配一个常驻的低秩谱摘要（对该页做特征分解、留 rank-8，约占本页 KV 的十分之一），选择时只读摘要就能重构每页注意力质量、只挑 top 页去真读，全程不碰候选 key/value。还证了一个结构性不可能结论：任何跨页共享的固定投影必然对某些页自己独有的方向瞎掉。十万以上上下文、预算 2048 下平均分追平满 cache；一百万上下文每 token 延迟低 2.0×、每步读字节少约 9.8×；作为免训练插件挂进原版 vLLM 并跑进完整 CUDA graph。诚实点：保真度理论界仅对未量化摘要成立，量化版靠实测；效率优势集中在极长上下文/大 batch，短上下文仅持平。评级：夯。 **2. PIVOT: Efficient Query-Group Indexing for Token-Level Sparse Attention**（腾讯，arXiv:2607.24593） DSA 这类 token 级稀疏注意力让下游算得便宜了，但瓶颈转移到 indexer——为每个 query 从整段前缀挑 top-k，每层仍是平方复杂度（文中引用：200K 时约占 prefill 端到端延迟 81%，注：该数字引自 IndexCache、非本文实测）。观察：相邻 query 的 top-k 重叠高达 0.8–0.9。于是把一组 query 按均值池化成一个代理 query 只扫一次前缀拿候选集；快变体直接把候选分给全组，精度版让每个 query 在小候选集内再各自精挑。全程不丢 token、下游仍看到完整前缀，只共享"挑选"这一步。indexer 层最高约 4×、端到端最高 1.6×，精度追平稠密；诚实报边界（极长上下文快变体掉点、短序列精度版更慢并加护栏回退稠密）。评级：顶级。 **3. Eviction as Estimation: A Fixed-Lag Smoothing View of Test-Time Memory**（北卡罗来纳大学教堂山分校 / 纽约大学，arXiv:2607.24667） 把 KV 驱逐重述为估计问题：驱逐时你其实在猜这个 item 未来还有没有用，而有用是未来才揭晓的。借估计理论的三种姿态——过滤估计现在、预测估计未来、平滑等几步回看过去——发现现有方法都挤在"到达即决定"（H=0），Belady 最优在 H→∞，中间的 fixed-lag smoothing 是空白。只要把决策延迟有界的 H 步，不可观测的未来就变成可测量的近期使用。提出的训练无关策略本质是给 H2O 加一个"预测正确才算数"的权重。难得的诚实：它明说自己不是新 SOTA——独立 benchmark 上仅 H2O 级，流式多轮里甚至同时输给 H2O 和 SnapKV，对 H2O 一胜一平三负。价值在框架，和一张"何时测量胜过累积"的诚实地图。评级：人上人。 ## 快速一览 - Kimi K3: Open Frontier Intelligence（arXiv:2607.24653）· 开源前沿大模型报告，MoE 架构，对做推理 infra 有参考价值。 - Agentic Context Management: Solving Agent Memory and Cost（arXiv:2607.21503）· 把 agent 的记忆与成本当统一问题来管，思路对味但较早期。 - Agentic CPU-GPU Scheduling for Heterogeneous AI Workloads（arXiv:2607.22242）· 给异构 AI 负载做 agent 化的 CPU/GPU 调度。 ## 论文与链接 - LOCKS — arXiv:2607.24555 - PIVOT — arXiv:2607.24593 - Eviction as Estimation — arXiv:2607.24667 ## 制作元信息 - 检索：薄批次日（07-29），watermark 补 07-28 + 部分 07-29，87 篇 → 判 60（Claude-as-judge, 8 子代理）→ 6 入选。 - 三篇主讲全文 PDF 出卡定级（评级冻结）：LOCKS 夯 / PIVOT 顶级 / Eviction as Estimation 人上人。 - 音频：本地合成（mlx-audio Qwen3-TTS-12Hz-1.7B-CustomVoice），双主持 Jeff（uncle_fu）/ Ada（serena），1.0x。 - 口径：LOCKS 保真度界仅对未量化成立；PIVOT 的"占八成延迟"为引用他人；Eviction as Estimation 明确非 SOTA。 ]]> 长上下文推理里越堆越大的 KV cache 怎么省着用？三篇给了三种打法：把每页压成小摘要、把稀疏注意力的选择摊薄、把驱逐重新想成一个估计问题。压、挑、扔。 ## 内容时间戳 - 00:00 开场 · 长上下文 KV 的三种省法 - 00:44 LOCKS（单作者预印本）· 页级低秩摘要，只读 top 页 - 03:34 PIVOT（腾讯）· 稀疏注意力 indexer 的 query 轴摊销 - 05:53 Eviction as Estimation（北卡教堂山 / 纽约大学）· 把驱逐重述为估计 - 08:42 快速一览 · Kimi K3 / Agentic Context Management / Agentic CPU-GPU Scheduling - 09:52 收尾 ## 本期主讲 **1. LOCKS: Page-Local Compact Key Summaries for Efficient Long-Context Decoding**（单作者预印本，无机构署名，arXiv:2607.24555） 长上下文推理的瓶颈是 KV cache 的读带宽——cache 常驻显存，但每个 decode step 得整段全读。想稀疏地只读一部分又有死结：精确挑 top key 就得先读每个 key。LOCKS 给每页配一个常驻的低秩谱摘要（对该页做特征分解、留 rank-8，约占本页 KV 的十分之一），选择时只读摘要就能重构每页注意力质量、只挑 top 页去真读，全程不碰候选 key/value。还证了一个结构性不可能结论：任何跨页共享的固定投影必然对某些页自己独有的方向瞎掉。十万以上上下文、预算 2048 下平均分追平满 cache；一百万上下文每 token 延迟低 2.0×、每步读字节少约 9.8×；作为免训练插件挂进原版 vLLM 并跑进完整 CUDA graph。诚实点：保真度理论界仅对未量化摘要成立，量化版靠实测；效率优势集中在极长上下文/大 batch，短上下文仅持平。评级：夯。 **2. PIVOT: Efficient Query-Group Indexing for Token-Level Sparse Attention**（腾讯，arXiv:2607.24593） DSA 这类 token 级稀疏注意力让下游算得便宜了，但瓶颈转移到 indexer——为每个 query 从整段前缀挑 top-k，每层仍是平方复杂度（文中引用：200K 时约占 prefill 端到端延迟 81%，注：该数字引自 IndexCache、非本文实测）。观察：相邻 query 的 top-k 重叠高达 0.8–0.9。于是把一组 query 按均值池化成一个代理 query 只扫一次前缀拿候选集；快变体直接把候选分给全组，精度版让每个 query 在小候选集内再各自精挑。全程不丢 token、下游仍看到完整前缀，只共享"挑选"这一步。indexer 层最高约 4×、端到端最高 1.6×，精度追平稠密；诚实报边界（极长上下文快变体掉点、短序列精度版更慢并加护栏回退稠密）。评级：顶级。 **3. Eviction as Estimation: A Fixed-Lag Smoothing View of Test-Time Memory**（北卡罗来纳大学教堂山分校 / 纽约大学，arXiv:2607.24667） 把 KV 驱逐重述为估计问题：驱逐时你其实在猜这个 item 未来还有没有用，而有用是未来才揭晓的。借估计理论的三种姿态——过滤估计现在、预测估计未来、平滑等几步回看过去——发现现有方法都挤在"到达即决定"（H=0），Belady 最优在 H→∞，中间的 fixed-lag smoothing 是空白。只要把决策延迟有界的 H 步，不可观测的未来就变成可测量的近期使用。提出的训练无关策略本质是给 H2O 加一个"预测正确才算数"的权重。难得的诚实：它明说自己不是新 SOTA——独立 benchmark 上仅 H2O 级，流式多轮里甚至同时输给 H2O 和 SnapKV，对 H2O 一胜一平三负。价值在框架，和一张"何时测量胜过累积"的诚实地图。评级：人上人。 ## 快速一览 - Kimi K3: Open Frontier Intelligence（arXiv:2607.24653）· 开源前沿大模型报告，MoE 架构，对做推理 infra 有参考价值。 - Agentic Context Management: Solving Agent Memory and Cost（arXiv:2607.21503）· 把 agent 的记忆与成本当统一问题来管，思路对味但较早期。 - Agentic CPU-GPU Scheduling for Heterogeneous AI Workloads（arXiv:2607.22242）· 给异构 AI 负载做 agent 化的 CPU/GPU 调度。 ## 论文与链接 - LOCKS — arXiv:2607.24555 - PIVOT — arXiv:2607.24593 - Eviction as Estimation — arXiv:2607.24667 ## 制作元信息 - 检索：薄批次日（07-29），watermark 补 07-28 + 部分 07-29，87 篇 → 判 60（Claude-as-judge, 8 子代理）→ 6 入选。 - 三篇主讲全文 PDF 出卡定级（评级冻结）：LOCKS 夯 / PIVOT 顶级 / Eviction as Estimation 人上人。 - 音频：本地合成（mlx-audio Qwen3-TTS-12Hz-1.7B-CustomVoice），双主持 Jeff（uncle_fu）/ Ada（serena），1.0x。 - 口径：LOCKS 保真度界仅对未量化成立；PIVOT 的"占八成延迟"为引用他人；Eviction as Estimation 明确非 SOTA。 ]]> Wed, 29 Jul 2026 00:30:00 GMT mlsys-feed-2026-07-29 09:57 false 今天三篇，主题很集中——省钱三招：从三个正交维度砍大模型推理的成本。一篇砍投机解码里被忽视的 draft 全读 KV 税，一篇砍跨分词器蒸馏的浪费，一篇砍权重和激活里的冗余。 ## 内容时间戳 - 00:00 开场 · 省钱三招 - 00:46 Windowed-MTP（英伟达）· 投机解码的 draft-KV 税 - 04:04 Cross-Tokenizer Distillation（中科院大学 / 快手）· 字节空间蒸馏 - 06:58 SPDP（首尔国立大学）· 静态+动态剪枝统一 GPU kernel - 09:30 快速一览 · MoE 通信重叠 / 小模型编排 / HiKV - 10:55 收尾 ## 本期主讲 **1. Windowed-MTP: Removing the Full-Context Draft-KV Tax at Million-Token Context**（英伟达，arXiv:2607.21535） 投机解码假设 draft "几乎免费"，但内置的 MTP draft 头每猜一个 token 都要对整个 KV cache 做全注意力，读取量随上下文线性涨。当 target 转向便宜的 hybrid/linear attention，这个 draft 税就暴露出来，1M 上下文下几乎让每个解码步翻倍。解法极简：只给 draft attention 套一个 StreamingLLM 式滑窗加 sink，verify 仍全上下文——训练无关、drop-in、**构造上无损**（接受哪个 token 由全注意力 target 说了算）。单 decode step 成本降 28–44%，H100 复现是不投机的 2.43 倍，窗口外约 99% 的 draft KV 可回收显存。诚实度突出（区分构造无损 vs bf16 非确定性、单 seed 口径）；单作者 preprint。评级：人上人。 **2. Cross-Tokenizer On-Policy Distillation via Byte-Prefix Marginalization**（中科院大学 · 快手 KwaiKAT，arXiv:2607.22334） 想拿强的大模型蒸馏一个小模型，但两个模型分词器完全不同、token 对不上，没法做稠密蒸馏。洞察很漂亮：师生把同一句话切成不同 token，但都 decode 到同一个字节流。于是把老师监督搬到共享字节空间，把老师每个 token 的概率路由给"字节前缀正好是它的最长学生 token"，再聚合回学生词表——天然满足词表完整、字节对齐、质量守恒，且字节层面是精确解。六个数学/代码基准比最强跨分词器 baseline 高 3.7–6.6 分。还主动挖出并诊断了 whitespace collapse 失效模式（纯字节精确监督把代码通过率从 49% 打到 9%，一个只遮 3.5% 对齐行的 mask 就解决）。评级：顶级。 **3. Unified Static-Dynamic Pruning for Efficient LLM Inference (SPDP)**（首尔国立大学，arXiv:2607.21985） 静态剪枝离线定 mask 去权重、动态剪枝运行时跳激活，一个沿行、一个沿列，正交维度稀疏本可相乘，但数据格式一直不兼容。SPDP 设计一个统一的列主 Tiled-CBC 格式配两个分阶段 GPU kernel，第一次真正在 GPU 上把这两种稀疏叠起来跑。A10G/L4 上比 SpInfer 快 1.24–1.37×（最高 2.5×），同困惑度多吃 25% 稀疏；端到端平均 1.34×，受内存瓶颈与 Amdahl 上界限制。诚实报负结果（极端稀疏打不过 CSR、prefill 打不过 cuBLAS）。venue 口径：作者 arXiv 标注 VLDB 录用，但 PDF 用的是占位模板，按"作者标注"表述。评级：人上人。 ## 快速一览 - Fine-grained Computation-Communication Overlap for Mixture-of-Experts（ICPP'26，arXiv:2607.19539）· tile 级信号量重叠 MoE 的两次 all-to-all 通信与专家计算，四卡端到端最高 2.64×。 - Small, Free, and Effective: Orchestrating Open-Weight SLMs for Malware Analysis（RAID，arXiv:2607.20216）· 一堆开源小模型编排能不能打过单个大模型？4B+8B 组合在恶意软件分析上做到 35.30%，反超最强前沿 baseline——route-to-small 的正面证据。 - HiKV: Hierarchical Importance-Aware KV Cache with Hardware Acceleration（arXiv:2607.22389）· 分层的、重要性感知的 KV cache 配硬件加速。 ## 论文与链接 - Windowed-MTP — arXiv:2607.21535 - Cross-Tokenizer On-Policy Distillation via Byte-Prefix Marginalization — arXiv:2607.22334 - Unified Static-Dynamic Pruning for Efficient LLM Inference (SPDP) — arXiv:2607.21985 ## 制作元信息 - 检索：watermark 自动补 07-24→07-27 四天跳过批次，406 篇 → 去重 316 → rough-rank 取 60 判。 - 评分：本地无 API key，走 Claude-as-judge（8 个并行子代理按 llm_judge rubric 评分）→ 回灌真实 pipeline，状态已更新。 - 三篇主讲全文 PDF 出卡定级（评级冻结）：BPM 顶级 / Windowed-MTP 人上人 / SPDP 人上人。 - 音频：本地合成（mlx-audio Qwen3-TTS-12Hz-1.7B-CustomVoice），双主持 Jeff（uncle_fu）/ Ada（serena），1.0x。 - 口径：Windowed-MTP 无损为构造性；BPM 师生为 2026 命名模型、数字无法独立复核；SPDP 的 VLDB 录用为作者标注、PDF 是占位模板。 ]]> 今天三篇，主题很集中——省钱三招：从三个正交维度砍大模型推理的成本。一篇砍投机解码里被忽视的 draft 全读 KV 税，一篇砍跨分词器蒸馏的浪费，一篇砍权重和激活里的冗余。 ## 内容时间戳 - 00:00 开场 · 省钱三招 - 00:46 Windowed-MTP（英伟达）· 投机解码的 draft-KV 税 - 04:04 Cross-Tokenizer Distillation（中科院大学 / 快手）· 字节空间蒸馏 - 06:58 SPDP（首尔国立大学）· 静态+动态剪枝统一 GPU kernel - 09:30 快速一览 · MoE 通信重叠 / 小模型编排 / HiKV - 10:55 收尾 ## 本期主讲 **1. Windowed-MTP: Removing the Full-Context Draft-KV Tax at Million-Token Context**（英伟达，arXiv:2607.21535） 投机解码假设 draft "几乎免费"，但内置的 MTP draft 头每猜一个 token 都要对整个 KV cache 做全注意力，读取量随上下文线性涨。当 target 转向便宜的 hybrid/linear attention，这个 draft 税就暴露出来，1M 上下文下几乎让每个解码步翻倍。解法极简：只给 draft attention 套一个 StreamingLLM 式滑窗加 sink，verify 仍全上下文——训练无关、drop-in、**构造上无损**（接受哪个 token 由全注意力 target 说了算）。单 decode step 成本降 28–44%，H100 复现是不投机的 2.43 倍，窗口外约 99% 的 draft KV 可回收显存。诚实度突出（区分构造无损 vs bf16 非确定性、单 seed 口径）；单作者 preprint。评级：人上人。 **2. Cross-Tokenizer On-Policy Distillation via Byte-Prefix Marginalization**（中科院大学 · 快手 KwaiKAT，arXiv:2607.22334） 想拿强的大模型蒸馏一个小模型，但两个模型分词器完全不同、token 对不上，没法做稠密蒸馏。洞察很漂亮：师生把同一句话切成不同 token，但都 decode 到同一个字节流。于是把老师监督搬到共享字节空间，把老师每个 token 的概率路由给"字节前缀正好是它的最长学生 token"，再聚合回学生词表——天然满足词表完整、字节对齐、质量守恒，且字节层面是精确解。六个数学/代码基准比最强跨分词器 baseline 高 3.7–6.6 分。还主动挖出并诊断了 whitespace collapse 失效模式（纯字节精确监督把代码通过率从 49% 打到 9%，一个只遮 3.5% 对齐行的 mask 就解决）。评级：顶级。 **3. Unified Static-Dynamic Pruning for Efficient LLM Inference (SPDP)**（首尔国立大学，arXiv:2607.21985） 静态剪枝离线定 mask 去权重、动态剪枝运行时跳激活，一个沿行、一个沿列，正交维度稀疏本可相乘，但数据格式一直不兼容。SPDP 设计一个统一的列主 Tiled-CBC 格式配两个分阶段 GPU kernel，第一次真正在 GPU 上把这两种稀疏叠起来跑。A10G/L4 上比 SpInfer 快 1.24–1.37×（最高 2.5×），同困惑度多吃 25% 稀疏；端到端平均 1.34×，受内存瓶颈与 Amdahl 上界限制。诚实报负结果（极端稀疏打不过 CSR、prefill 打不过 cuBLAS）。venue 口径：作者 arXiv 标注 VLDB 录用，但 PDF 用的是占位模板，按"作者标注"表述。评级：人上人。 ## 快速一览 - Fine-grained Computation-Communication Overlap for Mixture-of-Experts（ICPP'26，arXiv:2607.19539）· tile 级信号量重叠 MoE 的两次 all-to-all 通信与专家计算，四卡端到端最高 2.64×。 - Small, Free, and Effective: Orchestrating Open-Weight SLMs for Malware Analysis（RAID，arXiv:2607.20216）· 一堆开源小模型编排能不能打过单个大模型？4B+8B 组合在恶意软件分析上做到 35.30%，反超最强前沿 baseline——route-to-small 的正面证据。 - HiKV: Hierarchical Importance-Aware KV Cache with Hardware Acceleration（arXiv:2607.22389）· 分层的、重要性感知的 KV cache 配硬件加速。 ## 论文与链接 - Windowed-MTP — arXiv:2607.21535 - Cross-Tokenizer On-Policy Distillation via Byte-Prefix Marginalization — arXiv:2607.22334 - Unified Static-Dynamic Pruning for Efficient LLM Inference (SPDP) — arXiv:2607.21985 ## 制作元信息 - 检索：watermark 自动补 07-24→07-27 四天跳过批次，406 篇 → 去重 316 → rough-rank 取 60 判。 - 评分：本地无 API key，走 Claude-as-judge（8 个并行子代理按 llm_judge rubric 评分）→ 回灌真实 pipeline，状态已更新。 - 三篇主讲全文 PDF 出卡定级（评级冻结）：BPM 顶级 / Windowed-MTP 人上人 / SPDP 人上人。 - 音频：本地合成（mlx-audio Qwen3-TTS-12Hz-1.7B-CustomVoice），双主持 Jeff（uncle_fu）/ Ada（serena），1.0x。 - 口径：Windowed-MTP 无损为构造性；BPM 师生为 2026 命名模型、数字无法独立复核；SPDP 的 VLDB 录用为作者标注、PDF 是占位模板。 ]]> Tue, 28 Jul 2026 00:30:00 GMT mlsys-feed-2026-07-28 11:06 false 今天三篇，主题很集中——都是在"别浪费每一份计算、每一个 token"上做文章：把投机的思想搬到 KV cache 的网络传输、把投机解码的草稿模型训练目标对齐推理、把模型路由和 KV 缓存复用耦合起来一起算账。 ## 内容时间戳 - 00:00 开场 · 三篇主题：给推理省时间省成本 - 00:17 Lynx（伦敦大学学院·华为）· 投机式 KV 传输 - 02:52 Spec-AUF（北京大学）· 草稿训练对齐推理 - 05:08 HyDRA（微软·GitHub）· 异构模型路由 + cache-aware - 07:57 收束：别浪费每一份计算、每一个 token ## 本期主讲 **1. Lynx: Progressive Speculative Quantization for accelerating KV Transfer in Long-Context Inference**（伦敦大学学院 · 华为，arXiv:2607.01831） disaggregated 推理里，长上下文的大 KV cache 要跨网络从 prefill 传到 decode，decode 必须等传完才能开始，网络传输成了瓶颈。Lynx 挑战"KV cache 不可分割"的假设：按比特重要性拆成 Anchor（高位、先传）和 Residual（低位、后到）两股流，decode 收到 Anchor 就投机式开跑、Residual 到了再补精度校验。拿到 INT4 级传输延迟、精度却匹配高精度量化（比 SOTA 高 5.1 个百分点），TTFT 与到第 32 个 token 的时间最多降 30.5%。 **2. Spec-AUF: Accept-Until-Fail Training under Train-Inference Misalignment for Masked Block Drafters**（北京大学，arXiv:2607.01893） block 草稿模型一次并行猜一整块，却用整块 cross-entropy 监督每个位置——而推理时 verifier 从左到右验、第一个被拒之后全丢，训练与推理错配。之前用加权衰减打补丁仍不够（靠后位置的价值是"有条件的"）。Spec-AUF 用 teacher-forcing 只监督"会被接受的前缀"（Accept-Until-Fail），把 verifier 的左到右接受契约写进训练目标。Qwen3-8B、DFlash/Domino 两种草稿、六个 benchmark 上，平均接受长度稳定提升——接受越长，投机加速比越高。 **3. HyDRA: Hybrid Dynamic Routing Architecture for Heterogeneous LLM Pools**（微软 · GitHub，arXiv:2605.17106） GitHub Copilot Auto 背后的路由器。不预测"用哪个模型"，而是预测 query 在四维能力（推理/代码生成/调试/工具使用）上各需多强（ModernBERT + 4 个 sigmoid 头），再与配置化模型档案做 shortfall matching，选满足需求里最便宜的——与模型身份解耦，换目录只改配置不重训。亮点是 cache-aware 粘滞路由：每轮切模型会让 prompt 缓存（省九成）失效，所以只在缓存本会失效的边界（首轮、compaction、总结后）才重路由。同池对比与 OpenRouter Auto 解题率打平但省成本 3.3×，路由器 CPU 上 55ms。 ## 论文与链接 - Lynx — arXiv:2607.01831 - Spec-AUF — arXiv:2607.01893 - HyDRA — arXiv:2605.17106 ## 制作元信息 - 检索：pool 07-03→07-08 六天（hours_back 168，gap-pool CAP 500），抓取 1671 篇 → 去重去历史 1309 → rough-rank 取 60 + backlog 9 判。 - 评分：本地无 API key，走 Claude-as-judge（9 个并行子代理按 llm_judge rubric 评分）→ 回灌真实 pipeline，状态已更新。 - 三篇为 PI 从判后 shortlist 中钦定（Lynx + Spec-AUF + HyDRA，HyDRA 系 PI 本周 inbound 从召回池命中）。 - 音频：本地合成（mlx-audio Qwen3-TTS-12Hz-1.7B-CustomVoice），双主持 小白（本人克隆声）/ Ada（serena）。 - 口径：GRPO/路由等数字均对各自 PDF 首页/正文复核。 ]]> 今天三篇，主题很集中——都是在"别浪费每一份计算、每一个 token"上做文章：把投机的思想搬到 KV cache 的网络传输、把投机解码的草稿模型训练目标对齐推理、把模型路由和 KV 缓存复用耦合起来一起算账。 ## 内容时间戳 - 00:00 开场 · 三篇主题：给推理省时间省成本 - 00:17 Lynx（伦敦大学学院·华为）· 投机式 KV 传输 - 02:52 Spec-AUF（北京大学）· 草稿训练对齐推理 - 05:08 HyDRA（微软·GitHub）· 异构模型路由 + cache-aware - 07:57 收束：别浪费每一份计算、每一个 token ## 本期主讲 **1. Lynx: Progressive Speculative Quantization for accelerating KV Transfer in Long-Context Inference**（伦敦大学学院 · 华为，arXiv:2607.01831） disaggregated 推理里，长上下文的大 KV cache 要跨网络从 prefill 传到 decode，decode 必须等传完才能开始，网络传输成了瓶颈。Lynx 挑战"KV cache 不可分割"的假设：按比特重要性拆成 Anchor（高位、先传）和 Residual（低位、后到）两股流，decode 收到 Anchor 就投机式开跑、Residual 到了再补精度校验。拿到 INT4 级传输延迟、精度却匹配高精度量化（比 SOTA 高 5.1 个百分点），TTFT 与到第 32 个 token 的时间最多降 30.5%。 **2. Spec-AUF: Accept-Until-Fail Training under Train-Inference Misalignment for Masked Block Drafters**（北京大学，arXiv:2607.01893） block 草稿模型一次并行猜一整块，却用整块 cross-entropy 监督每个位置——而推理时 verifier 从左到右验、第一个被拒之后全丢，训练与推理错配。之前用加权衰减打补丁仍不够（靠后位置的价值是"有条件的"）。Spec-AUF 用 teacher-forcing 只监督"会被接受的前缀"（Accept-Until-Fail），把 verifier 的左到右接受契约写进训练目标。Qwen3-8B、DFlash/Domino 两种草稿、六个 benchmark 上，平均接受长度稳定提升——接受越长，投机加速比越高。 **3. HyDRA: Hybrid Dynamic Routing Architecture for Heterogeneous LLM Pools**（微软 · GitHub，arXiv:2605.17106） GitHub Copilot Auto 背后的路由器。不预测"用哪个模型"，而是预测 query 在四维能力（推理/代码生成/调试/工具使用）上各需多强（ModernBERT + 4 个 sigmoid 头），再与配置化模型档案做 shortfall matching，选满足需求里最便宜的——与模型身份解耦，换目录只改配置不重训。亮点是 cache-aware 粘滞路由：每轮切模型会让 prompt 缓存（省九成）失效，所以只在缓存本会失效的边界（首轮、compaction、总结后）才重路由。同池对比与 OpenRouter Auto 解题率打平但省成本 3.3×，路由器 CPU 上 55ms。 ## 论文与链接 - Lynx — arXiv:2607.01831 - Spec-AUF — arXiv:2607.01893 - HyDRA — arXiv:2605.17106 ## 制作元信息 - 检索：pool 07-03→07-08 六天（hours_back 168，gap-pool CAP 500），抓取 1671 篇 → 去重去历史 1309 → rough-rank 取 60 + backlog 9 判。 - 评分：本地无 API key，走 Claude-as-judge（9 个并行子代理按 llm_judge rubric 评分）→ 回灌真实 pipeline，状态已更新。 - 三篇为 PI 从判后 shortlist 中钦定（Lynx + Spec-AUF + HyDRA，HyDRA 系 PI 本周 inbound 从召回池命中）。 - 音频：本地合成（mlx-audio Qwen3-TTS-12Hz-1.7B-CustomVoice），双主持 小白（本人克隆声）/ Ada（serena）。 - 口径：GRPO/路由等数字均对各自 PDF 首页/正文复核。 ]]> Thu, 09 Jul 2026 00:30:00 GMT mlsys-feed-2026-07-09 08:23 false 三篇顺着「长上下文 / 长推理」这条线，从下往上各出一招：serving 层压 KV cache、推理层决定"想多久"、agent 层学"怎么记"。 > 音频不口播 arXiv 编号，编号见下方链接。 ## 内容时间戳 - 00:00 开场 · 三篇顺着长上下文 / 长推理，从下往上各出一招 - 00:23 ① MosaicKV：serving 层同时压 KV cache 的两个维度（系统 / 长上下文服务） - 03:53 ② CAT：用模型自信度决定"想多久"，省 token 还涨精度（token economy） - 06:28 ③ AutoMem：把记忆管理学成一门可训练技能（agent 记忆 / 探索） - 09:05 收尾 · 三篇小结 ## 本期主讲 ### ① MosaicKV · serving / KV cache · 评级：夯 - **MosaicKV: Serving Long-Context LLM with Dynamic Two-D KV Cache Compression** — arXiv 2607.00760 · 上海交通大学 IPADS - 亮点：长上下文 serving 里 KV cache 是头号成本（8 并发 × 128K 用 LLaMA-3.1-8B 要 128GB＝权重的 8×，1M 时 64×）。现有方法只压一个维度（序列如 Quest，或通道如 ThinK），天真叠加会崩（反例：通道压 30% 掉 24.5%、70% 掉 82.8%）。MosaicKV 同时压两维、且贯穿整个 decode：靠 per-vector 选元素 + per-segment 自适应策略保精度；又发现 decode attention 是带宽瓶颈（带宽利用率 90%、CUDA core 仅 10%、CPU 闲置），把稀疏 attention 塞进闲置的 CUDA core/CPU。 - 数字：相比不压缩基线，attention 最高 16×、解码延迟降到约 1/4.8、吞吐最高 7.3×，显存 3×，精度平均只掉 1.76%（LongBench + RULER）。 - 诚实声明：以上是峰值；平均约解码 3.8× / 吞吐 5.5×；个别模型（Ministral）RULER 掉 3.55%；>512K 的部分数字为按层采样外推；仅加速 decode（prefill 是未来工作）。 ### ② CAT · token economy / adaptive compute · 评级：人上人 - **CAT: Confidence-Adaptive Thinking for Efficient Reasoning of Large Reasoning Models** — arXiv 2607.00862 · 电子科技大学（UESTC） - 亮点：大推理模型对简单题"过度思考"浪费 token；现有方法要么一刀切砍长度（伤难题）、要么用粗粒度难度估计。CAT 用模型自己的自信度（每步 token 分布离均匀分布多远）当细粒度难度信号——它能分开答对/答错轨迹且对长度不敏感——据此构造偏好对（对的偏短"简洁对"、错的偏长"深思对"）+ 置信度加权的偏好优化。 - 数字：R1-Distill-Qwen-7B 在 MATH-500 从 91.7→93.9 且省约 1/3 token；AIME24 53.3→58.9；GPQA 49.2→54.0。罕见地在压缩同时还涨精度。 - 诚实声明：其压缩率其实低于更激进的方法，卖点是"精度-压缩折得最好"而非砍最狠；只报 token 下降、没有墙钟加速；仅 STEM 任务、训练仍依赖 ground-truth 正确性。 ### ③ AutoMem · agent 记忆（探索性） · 评级：夯 - **AutoMem: Automated Learning of Memory as a Cognitive Skill** — arXiv 2607.01224 · Stanford University - 亮点：长程 agent（游戏，几千到十万步）远超上下文，一个坏的记忆决定会潜伏几百步才发作、人无法逐条 review。AutoMem 把文件操作（读/写/搜索/追加）提升成与任务动作平级的一等动作——每个记忆决定都可追溯，一个前沿元模型就能像 code review 一样看完整条轨迹、指出错在哪一步。两个外层循环：元模型重写记忆结构/schema；再用 LoRA 把"记忆专家"小模型在 agent 自己的好决定上微调出来。 - 数字：底座 Qwen2.5-32B，只优化记忆就拿 2–4× 提升：Crafter 25→51%、MiniHack 7.5→30%、NetHack 0.42→1.85%，据称让 32B 开源模型在这些游戏上追平 Claude Opus 4.5 / Gemini-3.1-Pro；NetHack 每步记忆从 138 字符压到 6（−95%），冗余写入降 68–83%。 - 诚实声明：记忆一局一清、无跨局持久化；仅 3 个程序生成游戏、无真实/工具任务；第二个循环（LoRA 记忆专家）的增益误差棒重叠、统计不显著；强依赖前沿元模型（Claude Opus）当 reviewer。 ## 制作元信息 - 文稿：双人对谈（Jeff 主讲 serving 一篇 + Ada 主讲推理/agent 两篇并互相质询）。 - 音频：本地 Qwen3-TTS（mlx-audio）合成，约 09:31。 - 主持：Jeff（系统）· Ada（算法）。 - 口径：论文数字均据原文，每篇附诚实声明；arXiv 编号不口播、仅留链接。 ]]> 三篇顺着「长上下文 / 长推理」这条线，从下往上各出一招：serving 层压 KV cache、推理层决定"想多久"、agent 层学"怎么记"。 > 音频不口播 arXiv 编号，编号见下方链接。 ## 内容时间戳 - 00:00 开场 · 三篇顺着长上下文 / 长推理，从下往上各出一招 - 00:23 ① MosaicKV：serving 层同时压 KV cache 的两个维度（系统 / 长上下文服务） - 03:53 ② CAT：用模型自信度决定"想多久"，省 token 还涨精度（token economy） - 06:28 ③ AutoMem：把记忆管理学成一门可训练技能（agent 记忆 / 探索） - 09:05 收尾 · 三篇小结 ## 本期主讲 ### ① MosaicKV · serving / KV cache · 评级：夯 - **MosaicKV: Serving Long-Context LLM with Dynamic Two-D KV Cache Compression** — arXiv 2607.00760 · 上海交通大学 IPADS - 亮点：长上下文 serving 里 KV cache 是头号成本（8 并发 × 128K 用 LLaMA-3.1-8B 要 128GB＝权重的 8×，1M 时 64×）。现有方法只压一个维度（序列如 Quest，或通道如 ThinK），天真叠加会崩（反例：通道压 30% 掉 24.5%、70% 掉 82.8%）。MosaicKV 同时压两维、且贯穿整个 decode：靠 per-vector 选元素 + per-segment 自适应策略保精度；又发现 decode attention 是带宽瓶颈（带宽利用率 90%、CUDA core 仅 10%、CPU 闲置），把稀疏 attention 塞进闲置的 CUDA core/CPU。 - 数字：相比不压缩基线，attention 最高 16×、解码延迟降到约 1/4.8、吞吐最高 7.3×，显存 3×，精度平均只掉 1.76%（LongBench + RULER）。 - 诚实声明：以上是峰值；平均约解码 3.8× / 吞吐 5.5×；个别模型（Ministral）RULER 掉 3.55%；>512K 的部分数字为按层采样外推；仅加速 decode（prefill 是未来工作）。 ### ② CAT · token economy / adaptive compute · 评级：人上人 - **CAT: Confidence-Adaptive Thinking for Efficient Reasoning of Large Reasoning Models** — arXiv 2607.00862 · 电子科技大学（UESTC） - 亮点：大推理模型对简单题"过度思考"浪费 token；现有方法要么一刀切砍长度（伤难题）、要么用粗粒度难度估计。CAT 用模型自己的自信度（每步 token 分布离均匀分布多远）当细粒度难度信号——它能分开答对/答错轨迹且对长度不敏感——据此构造偏好对（对的偏短"简洁对"、错的偏长"深思对"）+ 置信度加权的偏好优化。 - 数字：R1-Distill-Qwen-7B 在 MATH-500 从 91.7→93.9 且省约 1/3 token；AIME24 53.3→58.9；GPQA 49.2→54.0。罕见地在压缩同时还涨精度。 - 诚实声明：其压缩率其实低于更激进的方法，卖点是"精度-压缩折得最好"而非砍最狠；只报 token 下降、没有墙钟加速；仅 STEM 任务、训练仍依赖 ground-truth 正确性。 ### ③ AutoMem · agent 记忆（探索性） · 评级：夯 - **AutoMem: Automated Learning of Memory as a Cognitive Skill** — arXiv 2607.01224 · Stanford University - 亮点：长程 agent（游戏，几千到十万步）远超上下文，一个坏的记忆决定会潜伏几百步才发作、人无法逐条 review。AutoMem 把文件操作（读/写/搜索/追加）提升成与任务动作平级的一等动作——每个记忆决定都可追溯，一个前沿元模型就能像 code review 一样看完整条轨迹、指出错在哪一步。两个外层循环：元模型重写记忆结构/schema；再用 LoRA 把"记忆专家"小模型在 agent 自己的好决定上微调出来。 - 数字：底座 Qwen2.5-32B，只优化记忆就拿 2–4× 提升：Crafter 25→51%、MiniHack 7.5→30%、NetHack 0.42→1.85%，据称让 32B 开源模型在这些游戏上追平 Claude Opus 4.5 / Gemini-3.1-Pro；NetHack 每步记忆从 138 字符压到 6（−95%），冗余写入降 68–83%。 - 诚实声明：记忆一局一清、无跨局持久化；仅 3 个程序生成游戏、无真实/工具任务；第二个循环（LoRA 记忆专家）的增益误差棒重叠、统计不显著；强依赖前沿元模型（Claude Opus）当 reviewer。 ## 制作元信息 - 文稿：双人对谈（Jeff 主讲 serving 一篇 + Ada 主讲推理/agent 两篇并互相质询）。 - 音频：本地 Qwen3-TTS（mlx-audio）合成，约 09:31。 - 主持：Jeff（系统）· Ada（算法）。 - 口径：论文数字均据原文，每篇附诚实声明；arXiv 编号不口播、仅留链接。 ]]> Fri, 03 Jul 2026 00:30:00 GMT mlsys-feed-2026-07-03 09:31 false 本期三篇论文盯着同一个敌人——长思维链（long CoT）动辄上万 token 带来的延迟与显存开销，从调度、KV cache、推理表征三个层面各出一招。 > 音频不口播 arXiv 编号，编号见下方链接。 ## 内容时间戳 - 00:00 开场 · 今日三篇导览（三篇都在砍长思维链的 token 开销） - 01:01 ① LASER：负载感知 early-exit，边缘 serving 按实时负载动态决定"想多深"（系统/调度） - 04:12 ② EpiKV：不看 attention、从 residual stream 打分的 KV cache 驱逐（推理系统） - 07:58 ③ CLSR：多 agent 自主进化符号语言，精度不变、token 降 3–6×（多智能体/token economy） - 11:10 📌 引用观察 · 投机解码"草稿何时被接受"的理论 - 11:45 收尾 · 三篇小结 ## 本期主讲 ### ① LASER · 边缘 serving / early-exit 调度 · 评级：人上人 - **Load-Aware Serving with Early-Exit for Reasoning LLMs at the Edge** — arXiv 2606.31580 · 北京师范大学（珠海）+ 澳门大学 - 亮点：把 reasoning 模型的 confidence-based early-exit 从"单请求、固定阈值"升级成"负载感知的可调度变量"。两个机制：(1) 用 tanh(EMA 负载) 在一个事先验证过的安全区间里在线微调 exit 阈值——负载高早停、负载低多想；(2) 按题目难度 + 当前负载给每个请求预分一个 token 预算作为硬上限。 - 数字：平均延迟降 17–38%、SLO 达成率 +3–6pp，平均精度代价约 1%（注意是平均，个别 benchmark 掉到约 5pp）；token 压缩 42–80%；突发流量下延迟砍约 22%。 - 诚实声明：系统级数字来自离散事件仿真（单张 RTX 4090、两个 4–7B 小模型），非线上真部署。 ### ② EpiKV · KV cache 驱逐 / 推理系统 · 评级：人上人（偏夯） - **Epiphany-Aware KV Cache Eviction Without the Attention Matrix** — arXiv 2606.26472 · Carnegie Mellon University - 亮点：现有 KV cache eviction 几乎都按 attention 权重排 token 重要性——信号噪声大，还逼模型物化 n×n attention 矩阵、用不了 FlashAttention。EpiKV 改用 epiphany score：token 前后 residual stream（隐藏状态）的 L2 变化量，直接从前向传播读出，不碰 attention 矩阵、FlashAttention 兼容、免训练。背后有可解释性支撑（中间层与偏上层变化方向相反的两个 band，取差值）。 - 数字：MATH-500、缓存压到 4096 时准确率 72%（H2O 67%），离无损天花板 75% 仅差约 3 点；比最快的 attention 基线快约 1.6×；FlashAttention 让可行上下文从 eager 8192 就 OOM 撑到 65,536 token；缓存极小（1024）时 H2O 崩到 5%，EpiKV 仍站得住。 - 诚实声明：单模型（DeepSeek-R1-Distill-LLaMA-8B）验证；AIME 仅 30 题，作者明确说属方向性证据；主打"近无损省显存/提吞吐"，非宣称精度大涨；部分吞吐数字为投影。 ### ③ CLSR · 多智能体 / token economy（探索性） · 评级：人上人 - **When LLMs Develop Languages: Symbolic Communication for Efficient Multi-Agent Reasoning** — arXiv 2606.29354 · 中国科学院计算技术研究所 + 国科大 - 亮点：自然语言 CoT 对机器不是信息密度最高的表达。CLSR 让多个 black-box LLM agent 自主发明、演化、共享一套紧凑符号语言（LSF：符号表+语法+使用规则），离线用 Pareto 准则（先对错、再省 token）一代代进化出一批，在线由一个 latent-free router 按 query 挑选/组合。等于"给机器造方言并让方言优胜劣汰"。 - 数字：保持精度基本不变下生成 token 降 3–6×（约省 3/4）。例：8B 模型 GPQA 从 73.2%/5380 token → 73.1%/1326 token；Qwen3-32B 在 MATH-500 从 845 → 206 token、精度纹丝不动。 - 诚实声明：离线语言进化很贵（8×RTX 4090 跑数天、需带标准答案的样例）；最亮眼的精度数字来自较费 token 的模式，默认 router 模式有时以少量精度换 token。（注：论文文件套用了会议模板，接收与否未独立核实，本节目不据此背书。） ## 📌 引用观察 - **When Is a Draft Accepted? A Theory of Acceptance in Speculative Decoding** — arXiv 2606.30265。给贪心解码 / 放松接受准则 / 树状候选这些实际系统常用、但过去理论没覆盖好的设定，补了一个"草稿何时被接受"的理论刻画。 ## 制作元信息 - 文稿：双人对谈（Jeff 主讲系统两篇 + Ada 主讲多智能体一篇并负责质询）。 - 音频：本地 Qwen3-TTS 合成，约 12:09。 - 主持：Jeff（系统）· Ada（算法）。 - 口径：论文数字均据原文，每篇附诚实声明；arXiv 编号不口播、仅留链接。 ]]> 本期三篇论文盯着同一个敌人——长思维链（long CoT）动辄上万 token 带来的延迟与显存开销，从调度、KV cache、推理表征三个层面各出一招。 > 音频不口播 arXiv 编号，编号见下方链接。 ## 内容时间戳 - 00:00 开场 · 今日三篇导览（三篇都在砍长思维链的 token 开销） - 01:01 ① LASER：负载感知 early-exit，边缘 serving 按实时负载动态决定"想多深"（系统/调度） - 04:12 ② EpiKV：不看 attention、从 residual stream 打分的 KV cache 驱逐（推理系统） - 07:58 ③ CLSR：多 agent 自主进化符号语言，精度不变、token 降 3–6×（多智能体/token economy） - 11:10 📌 引用观察 · 投机解码"草稿何时被接受"的理论 - 11:45 收尾 · 三篇小结 ## 本期主讲 ### ① LASER · 边缘 serving / early-exit 调度 · 评级：人上人 - **Load-Aware Serving with Early-Exit for Reasoning LLMs at the Edge** — arXiv 2606.31580 · 北京师范大学（珠海）+ 澳门大学 - 亮点：把 reasoning 模型的 confidence-based early-exit 从"单请求、固定阈值"升级成"负载感知的可调度变量"。两个机制：(1) 用 tanh(EMA 负载) 在一个事先验证过的安全区间里在线微调 exit 阈值——负载高早停、负载低多想；(2) 按题目难度 + 当前负载给每个请求预分一个 token 预算作为硬上限。 - 数字：平均延迟降 17–38%、SLO 达成率 +3–6pp，平均精度代价约 1%（注意是平均，个别 benchmark 掉到约 5pp）；token 压缩 42–80%；突发流量下延迟砍约 22%。 - 诚实声明：系统级数字来自离散事件仿真（单张 RTX 4090、两个 4–7B 小模型），非线上真部署。 ### ② EpiKV · KV cache 驱逐 / 推理系统 · 评级：人上人（偏夯） - **Epiphany-Aware KV Cache Eviction Without the Attention Matrix** — arXiv 2606.26472 · Carnegie Mellon University - 亮点：现有 KV cache eviction 几乎都按 attention 权重排 token 重要性——信号噪声大，还逼模型物化 n×n attention 矩阵、用不了 FlashAttention。EpiKV 改用 epiphany score：token 前后 residual stream（隐藏状态）的 L2 变化量，直接从前向传播读出，不碰 attention 矩阵、FlashAttention 兼容、免训练。背后有可解释性支撑（中间层与偏上层变化方向相反的两个 band，取差值）。 - 数字：MATH-500、缓存压到 4096 时准确率 72%（H2O 67%），离无损天花板 75% 仅差约 3 点；比最快的 attention 基线快约 1.6×；FlashAttention 让可行上下文从 eager 8192 就 OOM 撑到 65,536 token；缓存极小（1024）时 H2O 崩到 5%，EpiKV 仍站得住。 - 诚实声明：单模型（DeepSeek-R1-Distill-LLaMA-8B）验证；AIME 仅 30 题，作者明确说属方向性证据；主打"近无损省显存/提吞吐"，非宣称精度大涨；部分吞吐数字为投影。 ### ③ CLSR · 多智能体 / token economy（探索性） · 评级：人上人 - **When LLMs Develop Languages: Symbolic Communication for Efficient Multi-Agent Reasoning** — arXiv 2606.29354 · 中国科学院计算技术研究所 + 国科大 - 亮点：自然语言 CoT 对机器不是信息密度最高的表达。CLSR 让多个 black-box LLM agent 自主发明、演化、共享一套紧凑符号语言（LSF：符号表+语法+使用规则），离线用 Pareto 准则（先对错、再省 token）一代代进化出一批，在线由一个 latent-free router 按 query 挑选/组合。等于"给机器造方言并让方言优胜劣汰"。 - 数字：保持精度基本不变下生成 token 降 3–6×（约省 3/4）。例：8B 模型 GPQA 从 73.2%/5380 token → 73.1%/1326 token；Qwen3-32B 在 MATH-500 从 845 → 206 token、精度纹丝不动。 - 诚实声明：离线语言进化很贵（8×RTX 4090 跑数天、需带标准答案的样例）；最亮眼的精度数字来自较费 token 的模式，默认 router 模式有时以少量精度换 token。（注：论文文件套用了会议模板，接收与否未独立核实，本节目不据此背书。） ## 📌 引用观察 - **When Is a Draft Accepted? A Theory of Acceptance in Speculative Decoding** — arXiv 2606.30265。给贪心解码 / 放松接受准则 / 树状候选这些实际系统常用、但过去理论没覆盖好的设定，补了一个"草稿何时被接受"的理论刻画。 ## 制作元信息 - 文稿：双人对谈（Jeff 主讲系统两篇 + Ada 主讲多智能体一篇并负责质询）。 - 音频：本地 Qwen3-TTS 合成，约 12:09。 - 主持：Jeff（系统）· Ada（算法）。 - 口径：论文数字均据原文，每篇附诚实声明；arXiv 编号不口播、仅留链接。 ]]> Thu, 02 Jul 2026 00:30:00 GMT mlsys-feed-2026-07-02 12:09 false 本期从过去几天（06-25→06-30）的论文里合并打分挑出三篇，覆盖 token 经济、serving 系统、agent 上下文三块。 > 音频不口播 arXiv 编号，编号见下方链接。 ## 内容时间戳 - 00:00 开场 · 今日三篇导览 - 01:18 ① EntMTP：用 entropy 动态调 multi-token prediction 深度（推理提速 / token 经济） - 02:48 ② Festina：serverless LLM serving 的能耗优先联合调度（系统 / serving） - 06:25 ③ VISTA：让 agent 看见并自己管理 context（agent 上下文 / 记忆） - 09:29 收尾 · 三篇小结 ## 本期主讲 ### ① EntMTP · 推理提速 / token 经济 · 评级：夯 - **EntMTP: Accelerating LLM Inference with Entropy Guided Multi Token Prediction** — arXiv 2606.27550 - 亮点：现有带 MTP 头的模型把 speculative decoding 的深度写死，与自然语言变化的 entropy 不匹配。EntMTP 是一个 training-free 的 scheduler，按实时 local entropy 在一组 pareto-optimal 的 tree 拓扑间切换——低 entropy 多草拟、高 entropy 保守。 - 数字：相比 Hydra 稳定快约 1.15×，相比 Medusa 峰值 1.36×（Humaneval / ShareGPT / GSM8k / Litbench）。 ### ② Festina · serving 系统 / 能耗 · 评级：夯 - **Energy-Aware Scheduling for Serverless LLM Serving on Shared GPUs** — arXiv 2606.30391 - 亮点：serverless serving 让多模型共享 GPU，但也让能耗优化变难。Festina 是 power-aware 的 control plane，做 energy-first 决策，把 request placement、SM partitioning、GPU operating point 三层在 TTFT/TBT SLO 下联合调度（global 查表 + per-GPU phase-aware 本地调度 + SLO-aware migration 合并负载）。 - 数字：对比 4 个 SOTA serving 系统 + 1 个 DVFS，能耗最高降 56%，SLO 达成基本持平（2% 以内）。 ### ③ VISTA · agent 上下文 / 记忆 · 评级：夯（接近顶级） - **LLM Agents Are Latent Context Managers: Eliciting Self-Managed Context via a Proprioceptive Dashboard** — arXiv 2606.30005 - 亮点：长程 tool agent 的瓶颈是 context 顶到上限；论文指出模型对自己的 context 是 "proprioceptively blind"。VISTA 是 training-free、model-agnostic 的一层：把 working memory 表示成有类型、可寻址的 block，给一个显示每块 token 用量 / recency / access history 的 runtime dashboard，并把 block 归档成可完整恢复的 payload——假设是"管理能力本就 latent，缺的是接口"。 - 数字：LOCA-Bench / BrowseComp-Plus / GAIA 上跨百万→十万→一万 token 迁移；LOCA-Bench 上把 Gemini-3-Flash 从 22.7% 提到 50.7%，context 压力越大提升越多，且跨 backbone。ablation 确认 dashboard 本身才是关键。 ## 制作元信息 - 文稿：双人对谈（Jeff 主讲系统 + Ada 提问）。 - 音频：本地 Qwen3-TTS 合成，约 10:07。 - 主持：Jeff（系统）· Ada（算法）。 - 口径：论文数字均据原文；arXiv 编号不口播、仅留链接。 ]]> 本期从过去几天（06-25→06-30）的论文里合并打分挑出三篇，覆盖 token 经济、serving 系统、agent 上下文三块。 > 音频不口播 arXiv 编号，编号见下方链接。 ## 内容时间戳 - 00:00 开场 · 今日三篇导览 - 01:18 ① EntMTP：用 entropy 动态调 multi-token prediction 深度（推理提速 / token 经济） - 02:48 ② Festina：serverless LLM serving 的能耗优先联合调度（系统 / serving） - 06:25 ③ VISTA：让 agent 看见并自己管理 context（agent 上下文 / 记忆） - 09:29 收尾 · 三篇小结 ## 本期主讲 ### ① EntMTP · 推理提速 / token 经济 · 评级：夯 - **EntMTP: Accelerating LLM Inference with Entropy Guided Multi Token Prediction** — arXiv 2606.27550 - 亮点：现有带 MTP 头的模型把 speculative decoding 的深度写死，与自然语言变化的 entropy 不匹配。EntMTP 是一个 training-free 的 scheduler，按实时 local entropy 在一组 pareto-optimal 的 tree 拓扑间切换——低 entropy 多草拟、高 entropy 保守。 - 数字：相比 Hydra 稳定快约 1.15×，相比 Medusa 峰值 1.36×（Humaneval / ShareGPT / GSM8k / Litbench）。 ### ② Festina · serving 系统 / 能耗 · 评级：夯 - **Energy-Aware Scheduling for Serverless LLM Serving on Shared GPUs** — arXiv 2606.30391 - 亮点：serverless serving 让多模型共享 GPU，但也让能耗优化变难。Festina 是 power-aware 的 control plane，做 energy-first 决策，把 request placement、SM partitioning、GPU operating point 三层在 TTFT/TBT SLO 下联合调度（global 查表 + per-GPU phase-aware 本地调度 + SLO-aware migration 合并负载）。 - 数字：对比 4 个 SOTA serving 系统 + 1 个 DVFS，能耗最高降 56%，SLO 达成基本持平（2% 以内）。 ### ③ VISTA · agent 上下文 / 记忆 · 评级：夯（接近顶级） - **LLM Agents Are Latent Context Managers: Eliciting Self-Managed Context via a Proprioceptive Dashboard** — arXiv 2606.30005 - 亮点：长程 tool agent 的瓶颈是 context 顶到上限；论文指出模型对自己的 context 是 "proprioceptively blind"。VISTA 是 training-free、model-agnostic 的一层：把 working memory 表示成有类型、可寻址的 block，给一个显示每块 token 用量 / recency / access history 的 runtime dashboard，并把 block 归档成可完整恢复的 payload——假设是"管理能力本就 latent，缺的是接口"。 - 数字：LOCA-Bench / BrowseComp-Plus / GAIA 上跨百万→十万→一万 token 迁移；LOCA-Bench 上把 Gemini-3-Flash 从 22.7% 提到 50.7%，context 压力越大提升越多，且跨 backbone。ablation 确认 dashboard 本身才是关键。 ## 制作元信息 - 文稿：双人对谈（Jeff 主讲系统 + Ada 提问）。 - 音频：本地 Qwen3-TTS 合成，约 10:07。 - 主持：Jeff（系统）· Ada（算法）。 - 口径：论文数字均据原文；arXiv 编号不口播、仅留链接。 ]]> Wed, 01 Jul 2026 00:30:00 GMT mlsys-feed-2026-07-01 10:07 false Wed, 24 Jun 2026 00:30:00 GMT mlsys-feed-2026-06-24 14:44 false 基于 2026-06-22 晚间完成的 arXiv 论文召回与筛选；音频不朗读链接。 ## 内容时间戳 - 00:00 开场 · 0623 MLSYS 论文简报 - 00:26 ① Execution-State Capsules：图绑定执行态检查点与恢复（系统 / 低延迟设备端推理） - 04:09 ② ADaPT：面向高效大推理模型的 token 级解耦（算法 / 推理开销） - 07:12 ③ UltraQuant：长上下文 agent 的 4-bit KV 缓存（算法 + 系统，探索方向） - 11:00 收尾 · 三篇小结与阅读优先级 ## 本期主讲 ### ① Execution-State Capsules · 系统 · 评级：夯（Jeff champion） - **Execution-State Capsules: Graph-Bound Execution-State Checkpoint and Restore for Low-Latency, Small-Batch, On-Device Physical-AI Serving** — arXiv 2606.20537 - 亮点：系统方向最佳论文，提出一种图绑定的执行态检查点与恢复机制，面向低延迟、小批量、设备端的 Physical-AI serving。 ### ② ADaPT · 算法 · 评级：顶级（Ada champion） - **ADaPT: Token-Level Decoupling for Efficient Large Reasoning Models** — arXiv 2606.19919 - 亮点：直指大推理模型（如 o1 / DeepSeek-R1）的推理开销问题，做 token 级解耦以提效。 ### ③ UltraQuant · 算法 + 系统（探索） · 评级：夯（Jeff champion） - **UltraQuant: 4-bit KV Caching for Context-Heavy Agents** — arXiv 2606.20474 - 亮点：长上下文 agent 场景下的 4-bit KV cache，算法与系统结合得很好，是当前竞争激烈的方向。 ## 制作元信息 - 文稿：双人对谈（Jeff 系统 · Ada 算法）。 - 音频：本地 Qwen3-TTS（mlx-audio）合成，约 11:21。 - 主持：Jeff（voice `ryan`）· Ada（voice `vivian`）。 - 口径：arXiv 编号不口播、仅留链接。 ]]> 基于 2026-06-22 晚间完成的 arXiv 论文召回与筛选；音频不朗读链接。 ## 内容时间戳 - 00:00 开场 · 0623 MLSYS 论文简报 - 00:26 ① Execution-State Capsules：图绑定执行态检查点与恢复（系统 / 低延迟设备端推理） - 04:09 ② ADaPT：面向高效大推理模型的 token 级解耦（算法 / 推理开销） - 07:12 ③ UltraQuant：长上下文 agent 的 4-bit KV 缓存（算法 + 系统，探索方向） - 11:00 收尾 · 三篇小结与阅读优先级 ## 本期主讲 ### ① Execution-State Capsules · 系统 · 评级：夯（Jeff champion） - **Execution-State Capsules: Graph-Bound Execution-State Checkpoint and Restore for Low-Latency, Small-Batch, On-Device Physical-AI Serving** — arXiv 2606.20537 - 亮点：系统方向最佳论文，提出一种图绑定的执行态检查点与恢复机制，面向低延迟、小批量、设备端的 Physical-AI serving。 ### ② ADaPT · 算法 · 评级：顶级（Ada champion） - **ADaPT: Token-Level Decoupling for Efficient Large Reasoning Models** — arXiv 2606.19919 - 亮点：直指大推理模型（如 o1 / DeepSeek-R1）的推理开销问题，做 token 级解耦以提效。 ### ③ UltraQuant · 算法 + 系统（探索） · 评级：夯（Jeff champion） - **UltraQuant: 4-bit KV Caching for Context-Heavy Agents** — arXiv 2606.20474 - 亮点：长上下文 agent 场景下的 4-bit KV cache，算法与系统结合得很好，是当前竞争激烈的方向。 ## 制作元信息 - 文稿：双人对谈（Jeff 系统 · Ada 算法）。 - 音频：本地 Qwen3-TTS（mlx-audio）合成，约 11:21。 - 主持：Jeff（voice `ryan`）· Ada（voice `vivian`）。 - 口径：arXiv 编号不口播、仅留链接。 ]]> Tue, 23 Jun 2026 00:30:00 GMT mlsys-feed-2026-06-23 11:21 false Sat, 20 Jun 2026 00:30:00 GMT mlsys-feed-2026-06-20 15:05 false Fri, 19 Jun 2026 00:30:00 GMT mlsys-feed-2026-06-19 10:01 false Tue, 17 Jun 2026 00:30:00 GMT mlsys-feed-2026-06-17 13:31 false `/`` 把隐状态推理显式切出来，既让标准 on-policy RL（GRPO）在文本位置上可定义概率、又为机制分析提供离散锚点；MATH-500 上比同规模最强 Coconut 式基线高 25.7 个百分点，GRPO 后隐式推理调用率减半且准确率再 +12.6 个百分点。 - Link: https://arxiv.org/abs/2606.13106 - 08:09 Harness-1: Reinforcement Learning for Search Agents with State-Externalizing Harnesses - 机构：伊利诺伊大学厄巴纳-香槟分校、UC Berkeley - 夯到拉评价：人上人（Ada champion） - 亮点：把候选池管理、去重、状态摘要、证据整理等"机械记账"从策略剥离、卸到环境侧 harness，让 RL 只学"搜什么、留什么、何时停"的语义决策——关注点分离换样本效率。（注：本期卡片取自摘要，正文具体数字未核实，节目中未作事实陈述。） - Link: https://arxiv.org/abs/2606.02373 - 11:23 Wrap-up - 三篇共同主题：重新切分"策略该做什么、环境/接口该做什么"——KV 接口聚合、边界 token 显式化、状态记账外置。 - 快速提及：AdaSR（东方理工高等研究院（宁波）、上海交通大学），用层次化相对策略优化 HRPO 在流式/部分观测下动态分配推理算力、管理延迟。https://arxiv.org/abs/2606.14694 ## 制作元信息 - 论文召回：原始 JSONL 记录 141 篇；新论文 141 篇；带入 backlog 10 篇。 - 筛选链路：新候选 105 篇；backlog 候选 15 篇；粗排 120 篇；LLM 精评 40 篇；本期播客主讲 3 篇；快速提及 1 篇。 - LLM：aws.claude-opus-4.7；input 13401 tokens，output 4249 tokens，总计 17650 tokens。 - TTS：seed-tts-2.0；Jeff voice `zh_male_m191_uranus_bigtts`，Ada voice `zh_female_vv_uranus_bigtts`；38 turns，输入 4499 字符，计费文本 4340 words。 ]]> `/`` 把隐状态推理显式切出来，既让标准 on-policy RL（GRPO）在文本位置上可定义概率、又为机制分析提供离散锚点；MATH-500 上比同规模最强 Coconut 式基线高 25.7 个百分点，GRPO 后隐式推理调用率减半且准确率再 +12.6 个百分点。 - Link: https://arxiv.org/abs/2606.13106 - 08:09 Harness-1: Reinforcement Learning for Search Agents with State-Externalizing Harnesses - 机构：伊利诺伊大学厄巴纳-香槟分校、UC Berkeley - 夯到拉评价：人上人（Ada champion） - 亮点：把候选池管理、去重、状态摘要、证据整理等"机械记账"从策略剥离、卸到环境侧 harness，让 RL 只学"搜什么、留什么、何时停"的语义决策——关注点分离换样本效率。（注：本期卡片取自摘要，正文具体数字未核实，节目中未作事实陈述。） - Link: https://arxiv.org/abs/2606.02373 - 11:23 Wrap-up - 三篇共同主题：重新切分"策略该做什么、环境/接口该做什么"——KV 接口聚合、边界 token 显式化、状态记账外置。 - 快速提及：AdaSR（东方理工高等研究院（宁波）、上海交通大学），用层次化相对策略优化 HRPO 在流式/部分观测下动态分配推理算力、管理延迟。https://arxiv.org/abs/2606.14694 ## 制作元信息 - 论文召回：原始 JSONL 记录 141 篇；新论文 141 篇；带入 backlog 10 篇。 - 筛选链路：新候选 105 篇；backlog 候选 15 篇；粗排 120 篇；LLM 精评 40 篇；本期播客主讲 3 篇；快速提及 1 篇。 - LLM：aws.claude-opus-4.7；input 13401 tokens，output 4249 tokens，总计 17650 tokens。 - TTS：seed-tts-2.0；Jeff voice `zh_male_m191_uranus_bigtts`，Ada voice `zh_female_vv_uranus_bigtts`；38 turns，输入 4499 字符，计费文本 4340 words。 ]]> Tue, 16 Jun 2026 00:30:00 GMT mlsys-feed-2026-06-16 11:53 false Sat, 13 Jun 2026 00:30:00 GMT mlsys-feed-2026-06-13 11:06 false Fri, 12 Jun 2026 00:30:00 GMT mlsys-feed-2026-06-12 12:13 Thu, 11 Jun 2026 00:30:00 GMT mlsys-feed-2026-06-11 09:17 false Wed, 10 Jun 2026 00:30:00 GMT mlsys-feed-2026-06-10 09:11 false Tue, 09 Jun 2026 00:30:00 GMT mlsys-feed-2026-06-09 09:22 false Mon, 08 Jun 2026 00:30:00 GMT mlsys-feed-2026-06-08-cvpr-special 10:18 false Sat, 06 Jun 2026 00:30:00 GMT mlsys-feed-2026-06-06 10:50 false Fri, 05 Jun 2026 00:30:00 GMT mlsys-feed-2026-06-05 09:48 false Thu, 04 Jun 2026 00:30:00 GMT huajun-daily-arxiv-2026-06-04 08:40 false