◉OMNI.SOURCE
01 / RESEARCH REPORT

今日值得研读的
研究信号

跨来源去重、筛选与排序,把真正相关的进展编排成当天的阅读流。

FUTURE / AUDIO BRIEF

语音博客:未来实现

完整日报语音播报正在规划中,后续版本再加入。

PLANNED
优先阅读流选择一个 track 查看对应的论文、社区动态、博客和开源项目
Daily · 2026-08-15

AI 基础设施

面向分布式训练、推理服务、系统、编译器、内核与集群的 AI 基础设施。

01 / 论文

📄 论文

主题other

Hmrishav Bandyopadhyay, Xuanchi Ren, Zijian Huang, Jay Zhangjie Wu, Tianshi Cao, Ruilong Li et al.
low · 2026-08-13

为什么值得看 这项工作主要改进自回归视频模型的蒸馏与控制一致性,而不是训练集群、推理服务或运行时系统;对负责视频生成模型训练的人有参考价值,但对人工智能基础设施研究者的直接价值有限。

方法解读
01
问题

双向完整片段教师会使用学生生成目标时无法获得的未来帧和控制信息。

02
方法

方法使用不访问未来信息的因果教师,并依据学生实际生成的缓存前缀评分目标,再扰动训练早期不可靠的前缀。

03
差异

教师初始化、学生蒸馏和推理都采用同一因果信息边界,而不是仅在学生阶段施加因果约束。

04
证据

实验覆盖短视频和长视频基准,并报告自回归方法中的领先综合表现以及更强的时变摄像机控制遵循度。

摘要

交互式自回归视频生成需要低延迟展开和精确的在线控制,但现有分布匹配蒸馏流程常用能够查看完整片段的双向教师来监督因果学生,导致监督依赖生成时不可用的未来帧和控制信息。本文提出上下文匹配蒸馏,以因果教师、前缀评分和前缀扰动使教师训练、学生蒸馏与推理共享一致的信息边界,并声称在短视频和长视频基准上取得自回归方法中的领先综合表现,同时明显提高对时变摄像机控制的遵循度。

潜力 33新颖度workload开源度洞见呈现机构信号
10 位作者2 所机构9 条合作线
Haokai Zhang, Yuhang Ding, Yunshu Zhou, Xinze Du, Shengtao Zhang, Zhiyue Zhao et al.
low · 2026-08-13

为什么值得看 这项工作对人工智能基础设施的直接关联较弱,核心贡献是让冻结的视觉语言模型通过运行时经验记忆提升空间推理,而不是改进训练、推理服务或系统资源管理。若研究者关注无需参数更新的智能体部署,它提供了一种将验证过的经验持久化并在推理时检索复用的设计思路。

方法解读
01
问题

冻结的视觉语言模型需要在不微调且不依赖外部空间工具的条件下提升空间推理。

02
方法

系统在可验证空间环境中收集预测和奖励,通过验证器引导的反思提炼经验,并用迁移可靠性分数管理后续检索。

03
差异

它把运行时验证经验作为可复用记忆注入推理,而不是更新模型参数或调用深度估计等空间工具。

04
证据

在五个空间基准和四个基础视觉语言模型上,该方法在每个模型组中取得最高宏平均,并在二十次评测的大多数中取得最佳准确率。

摘要

空间智能正成为具身智能体、机器人规划和多模态助手的基础。本文研究一种互补且尚未充分探索的路径:冻结的视觉语言模型智能体能否在不依赖外部空间专家工具的情况下,通过无需参数更新的自我演化提升空间推理能力,并提出空间记忆智能体,将经过验证的空间经验转化为可迁移经验、依据后续检索结果校准迁移可靠性分数,并在部署时通过语义过滤和相似度与可靠性联合排序检索记忆。该方法在五个空间基准和四个基础视觉语言模型上进行评估,在每个基础模型组中都取得最高宏平均,并在二十次评测中的多数评测中取得最佳准确率。

潜力 31新颖度workload开源度洞见呈现机构信号
8 位作者0 所机构7 条合作线
Yuyang Yin, Zixiang Li, Longxuan Deng, Hongkai Li, Shifang Zhao, Junnan Liu et al.
low · 2026-08-12

为什么值得看 这项工作主要面向影视、游戏和建筑预可视化,而不是训练、推理服务或集群基础设施。对基础设施研究者的直接价值有限,但它展示了如何用持久的结构化三维状态替代每次编辑都重新生成整场内容,这一状态管理思路可能对可编辑生成系统有参考意义。

方法解读
01
问题

现有图像或视频生成方法缺少能够支持多次编辑并保留场景记忆的显式世界状态。

02
方法

系统先通过具有先验引导和冲突感知的双视图初始化构建三维状态,再将用户意图转化为结构化状态转移,并用渲染反馈细化镜头轨迹。

03
差异

它不再为每次修改重新生成完整场景,而是围绕可编辑的场景元素、属性和镜头配置持续维护共享世界。

04
证据

实验声称该方法可生成用于视频创作和类游戏原型的高质量三维世界,但摘要未给出具体指标或基线提升。

摘要

预可视化位于创意与制作之间,但现有生成方法通常依赖简单提示词一次性控制场景、动作、镜头和时空变化,难以精确控制和迭代编辑。该方法以可编辑的三维世界作为持久工作状态,通过状态构建、状态演化和状态访问组织场景结构、变化过程与镜头配置,并在需要更高保真度时使用现成的视频模型增强视觉质量;实验表明,它能够生成用于视频创作和类游戏原型的高质量三维世界。

潜力 28新颖度workload开源度洞见呈现机构信号
12 位作者0 所机构11 条合作线
Kuan Xing, Ye Wang, Changyi Gan, Yuheng Li, Thao Nguyen, Yi Chang et al.
low · 2026-08-07

为什么值得看 这项工作主要解决艺术家风格图像生成中的意图解析与风格控制,不是训练、推理服务、编译器或集群基础设施。它仅在生成后端规划和迭代反馈方面与系统研究有间接联系,对人工智能基础设施研究者的直接价值有限。

方法解读
01
问题

艺术家姓名容易触发固定主题、调色板或时代特征,导致场景意图和艺术家风格控制失真。

02
方法

方法把艺术意图编码为包含场景锚点、保留或变换决策、风格假设、艺术家证据和避开捷径约束的控制状态,并据此生成和迭代修正图像。

03
差异

它将艺术家级知识与局部图像块参考结合起来,并为不同生成后端编译生成计划,而不是只依赖提示词或检索结果。

04
证据

艺术意图基准涵盖两位艺术家及多类评测,论文声称在开放权重和闭源生成器上优于多种基线。

摘要

艺术家条件图像生成不能只是在提示词中追加艺术家姓名,因为模型常通过反复出现的主题、通用色彩或被过度代表的时代特征来响应艺术家名称,而不是保留用户想要的场景。研究提出阿特利耶,一种具有捷径感知能力的控制状态规划方法,将不完整的艺术意图转化为显式控制状态,并结合艺术家知识、局部图像块参考、后端感知的生成计划以及全局和局部真实性反馈进行迭代优化;同时构建艺术意图基准,覆盖作品重绘、时期与风格控制生成、历史上未见过的主题、捷径审计和人工偏好评估。结果表明,在开放权重和闭源生成器上,该方法相较提示词工程、检索增强和通用智能体基线,提升了艺术家层面的风格保真度,更好地保持源图像结构,并明显减少了捷径替代。

潜力 26新颖度workload开源度洞见呈现机构信号
7 位作者3 所机构20 条合作线

方向推理系统 / 内存与解码优化主题KV cache / long context memory

分类方向推理系统 / 内存与解码优化主题KV cache / long context memory
Yuxuan Zhang, Haozhong Xiong, Yubo Huang, Jiayi Song, Jinpeng Yu, Haofan Wang et al.
high · 2026-08-13

为什么值得看 这项工作把长时视频生成中的上下文保留转化为有界缓存问题:姿态检索的历史块、固定锚点和滚动窗口避免随时长增长而保存完整序列,并结合序列并行与算子融合,在两张高端图形处理器上达到每秒十九点六三帧。对推理系统研究者而言,它提供了一个可借鉴的长上下文流式推理设计;论文称三分钟生成中质量和身份保持近乎稳定,而既有方法会明显退化或需要离线数小时。

方法解读
01
问题

扩散式人体动画难以同时满足实时响应、长时稳定和可控内存使用。

02
方法

系统先用参考锚定教师强制适配训练块因果生成器,再用块级自强制蒸馏将采样降至三步,并采用姿态检索汇聚注意力管理缓存。

03
差异

缓存由固定首块、姿态相关历史块和三槽滚动窗口组成,而不是保留整个生成序列。

04
证据

论文报告两张英伟达高端图形处理器上达到每秒十九点六三帧,并在三分钟基准中保持近乎恒定的感知质量和身份。

摘要

姿态驱动的人体动画根据单张参考图像和连续驱动姿态生成目标人物视频,但扩散模型通常需要数分钟到数小时,难以支持实时交互。本文提出一种基于一百四十亿参数视频扩散变换器的流式动画系统,通过两阶段训练将双向模型改造成块因果自回归生成器,并将采样压缩至三步;其姿态检索汇聚注意力使用固定汇聚点、动态汇聚点和三槽滚动窗口构成有界键值缓存,在不保存完整序列的情况下恢复相关外观上下文,使内存和每块延迟不随时长增长。结合序列并行与算子融合,系统在两张英伟达高端图形处理器上达到每秒十九点六三帧;三分钟测试显示,从最初三十秒到最后一分钟,感知质量和身份基本保持稳定。

潜力 59新颖度workload开源度洞见呈现机构信号
9 位作者2 所机构15 条合作线
分类方向推理系统 / 内存与解码优化主题KV cache / long context memory
Yuanyang Yin, Gongxuan Wang, Yifan Zhan, Chuanhao Li, Kaipeng Zhang, Feng Zhao
high · 2026-08-13

为什么值得看 这项工作把持续世界状态移出去噪器上下文和键值缓存,改用按相机索引、按视角检索的外部状态库,从系统角度缓解会话变长带来的内存与计算增长;在单张高端数据中心显卡上,三步生成每个一点评五秒片段耗时二点一一秒,说明外部记忆与快速采样可以同时服务长时生成和交互延迟。

方法解读
01
问题

长会话中的历史记忆会扩大去噪器上下文或键值缓存成本,而少步生成难以维持长时一致性。

02
方法

系统使用相机索引的外部世界状态库、结合分块分组与远距帧检索的稀疏注意力教师,以及通过自强制展开训练的三步学生。

03
差异

教师不再只是固定生成器,而是通过线性增长的全局状态和分块条件化提供长时监督与中途提示控制。

04
证据

论文报告三十秒分布匹配目标能改善长期漂移,三步模型无需无分类器引导,并在指定视频基准上取得所述结果。

摘要

交互式世界模型需要持久记忆、快速响应和长时生成,但将历史保存在去噪器上下文或键值缓存中会使成本不断增长,而少步生成的能力又受教师模型限制。该方法通过外部化持久世界状态、为长时监督重新设计教师模型,并用三步学生模型继承长期一致性和事件控制能力;在单张高端数据中心显卡上,以三百八十四乘六百四十分辨率生成每个一点五秒片段耗时二点一一秒,并声称在世界模型基准上取得领先表现,同时在另外两个视频基准上保持竞争力。

潜力 40新颖度workload开源度洞见呈现机构信号
6 位作者3 所机构5 条合作线
论文 / 重点关注
分类方向推理系统 / 内存与解码优化主题KV cache / long context memory
Bo Liu, Qiang Liu
medium · 2026-08-05

为什么值得看 它把固定大小的循环记忆带入滑动窗口注意力,同时保留训练阶段的并行性:推理时只需运行解码器并注入循环记忆,不必保存或访问完整历史。对于受显存限制的长上下文训练和推理系统,参数共享还可在保留大部分收益的同时减少参数存储。

方法解读
01
问题

滑动窗口注意力限制历史信息,而完整注意力会带来随序列长度增长的记忆开销。

02
方法

预填充模型用完整历史产生记忆目标,解码模型用局部注意力和循环键值注入生成固定大小记忆,并以记忆一致性损失进行训练。

03
差异

训练阶段使用更强的预填充模型提供监督,推理阶段则移除该模型而只保留解码模型。

04
证据

论文报告其在验证损失和下游预训练基准上超过滑动窗口及潜在循环变换器基线,并报告参数共享仍能保留大部分收益。

摘要

本文介绍一种带固定大小记忆的循环式变换器架构,将滑动窗口注意力推广为可在训练时并行执行的形式。该架构由预填充模型和解码模型组成:预填充模型利用完整历史生成记忆目标,解码模型仅使用滑动窗口注意力和循环键值注入来生成下一步预测所需的记忆;训练时通过记忆一致性损失对齐两者,使推理时可以只运行解码模型。实验表明,该方法在验证损失和下游预训练基准上优于滑动窗口基线及潜在循环变换器基线,而在两个模型间共享参数可以减少参数存储并保留大部分收益。

潜力 30新颖度workload开源度洞见呈现机构信号
2 位作者1 所机构1 条合作线

方向推理系统 / Serving 引擎主题agent serving systems

分类方向推理系统 / Serving 引擎主题agent serving systems
Cheng Qian, Wenting Zhao, Liangwei Yang, Heng Wang, Jielin Qiu, Heng Ji et al.
medium · 2026-08-12

为什么值得看 这项工作把部分能力从模型参数迁移到推理时的代码、路由和输出约束中,为服务编排团队提供了不重训目标模型的增强路径;但证据仅来自四个心智理论基准,尚未说明延迟、成本或生产服务影响。

方法解读
01
问题

传统能力迁移依赖训练时更新目标模型参数,而本文考察测试时能否完成强模型到弱模型的能力迁移。

02
方法

构建模型使用百分之五的数据作为验证集,经过多轮迭代生成并改进辅助工具,再用最终工具评测完整测试集。

03
差异

辅助工具把不稳定的模型推理转移到确定性代码中,并加入基准特定路由和严格答案格式控制,而不是增加目标模型的思考或采样。

04
证据

四个心智理论基准上的实验显示,目标模型平均性能从零点四九提升至零点九一,并且较弱目标模型收益最大。

摘要

以往的蒸馏通常通过更新小模型参数来迁移大模型能力。本文研究更强的构建模型能否在测试时生成推理辅助工具,在不更新参数的情况下帮助较弱模型完成任务;在四个心智理论基准上,目标模型平均性能从零点四九提升到零点九一,增益主要来自确定性代码、基准特定路由和严格的答案格式约束。研究还发现,构建模型的推理投入越多,工具质量越高,较弱的目标模型获得的收益最大。

潜力 52新颖度workload开源度洞见呈现机构信号
9 位作者1 所机构8 条合作线
分类方向推理系统 / Serving 引擎主题agent serving systems
Chenhao Dang, Siyuan Xiong, Conghui He, Weijia Li
low · 2026-08-11

为什么值得看 这项工作对智能体服务基础设施的价值有限但明确:它尝试用技能约束降低小模型执行复杂任务时对高价闭源模型的依赖,并让消费级显卡上的小模型获得更稳定的可复用行为。它主要改进的是技能生成与智能体行为控制,而不是推理服务、调度或运行时系统。

方法解读
01
问题

小型语言模型难以自动获得适合自身能力和执行环境的有效智能体技能。

02
方法

框架让强模型担任行动者与评论者,把小模型智能体系统作为环境,并用自然语言传递全部强化学习信号。

03
差异

它不是直接训练小模型,而是为特定执行器生成可复用的自然语言技能。

04
证据

五个基准上的结果显示,九十亿参数模型相对四种方法提升四点三至二十点四个百分点,四十亿参数模型提升一点八至十三点三个百分点。

摘要

智能体技能以标准化格式封装程序性知识和领域专长,可在智能体框架中持续约束语言模型的行为,但为小模型自动生成有效且适配执行器的技能仍然困难。本文提出技能者,一种自然语言驱动的强化学习框架,以强模型担任行动者和评论者,将小模型智能体系统作为环境,并完全通过自然语言传递强化学习信号;在五个相关基准上使用九十亿参数和四十亿参数模型的实验显示,该方法优于三种开源方法和一种闭源方法,在单技能任务上达到与强闭源模型相当的表现。

潜力 43新颖度workload开源度洞见呈现机构信号
4 位作者3 所机构3 条合作线
分类方向推理系统 / Serving 引擎主题agent serving systems
Xingyu Tan, Xiaoyang Wang, Qing Liu, Xiwei Xu, Xin Yuan, Liming Zhu et al.
high · 2026-08-06

为什么值得看 它把代理技能库的压缩单位从整段文本改为带契约的可执行图,使服务端能够在有限上下文预算下只加载依赖闭合的最小技能片段,并按需展开;这对技能规模从数百增长到十万、且需要持续接入新技能的代理推理系统尤其有用。

方法解读
01
问题

现有技能库按整包检索、按文本压缩并在检索后才转为执行图,难以复用技能内部的程序单元并保持可执行性。

02
方法

方法在章节级图上识别满足契约的重复模式,将其替换为保留端口和边界签名的可逆宏,并在推理时按需展开。

03
差异

它同时保留依赖闭包、验证器可达性和源级展开,并用执行证据重新压缩新接入或风险较高的宏。

04
证据

技术和具身代理基准上的实验报告最高十二点二分的基线优势、三点四六压缩比、百分之九十九点二依赖保持率和百分之九十八点七验证器可达率。

摘要

大语言模型代理越来越依赖在推理时加载的可复用技能包,但技能库扩大后,如何在有限上下文预算下提供最小且足够的可执行上下文成为主要难题。本文提出技能压缩方法,在章节级执行图上压缩保留契约的程序结构,将重复且满足契约的模式改写为可逆宏,同时保持边界签名、依赖闭包、验证器可达性和源级展开能力;实验显示,该方法相较最强基线最高提升十二点二分,压缩比达到三点四六,依赖保持率为百分之九十九点二,验证器可达率为百分之九十八点七,并能在二百到十万项技能的库中保持稳定检索。

潜力 36新颖度workload开源度洞见呈现机构信号
7 位作者0 所机构20 条合作线

方向训练系统 / 并行与分布式训练主题large-scale pretraining systems

分类方向训练系统 / 并行与分布式训练主题large-scale pretraining systems
Lei Bai, Jiaqi Cao, Chiyu Chen, Guanzhou Chen, Kai Chen, Guangran Cheng et al.
medium · 2026-08-13

为什么值得看 这篇工作对需要支撑科学智能体训练的平台工程师有参考价值:它把多任务强化学习、智能体轨迹采样、在线推测解码和离策略校正放进同一训练流水线,并明确关注长时任务中的采样与训练稳定性。不过,摘要没有给出硬件利用率、吞吐、成本或集群规模,因此它更像训练系统设计线索,而不是完整的基础设施评测。

方法解读
01
问题

模型需要同时支持科学多模态理解、推理、生成、工具交互和长时任务。

02
方法

方法从科学多模态预训练检查点出发,依次进行监督微调、多任务强化学习、智能体强化学习和在线策略蒸馏。

03
差异

系统将时间序列建模扩展到数值预测,并通过独立的记忆解码器在冻结主干的情况下进行科学领域适配。

04
证据

评测显示主模型在多个科学、多模态、智能体和通用基准上具有竞争力,记忆解码器将生物学指令任务平均分从百分之五十六点九二提高到百分之六十点三二。

摘要

科学发现需要能够处理异构科学证据、调用科学工具与环境,并在长时任务中持续推进的人工智能系统。作者介绍了科学智能体基础模型系列,通过科学多模态预训练,以及结合监督微调、多任务强化学习、黑盒与白盒智能体强化学习、在线策略蒸馏的统一后训练流程来实现这一目标;该流程还采用部分轨迹采样与离策略校正、自适应长度正则化、在线推测解码、多任务优化和轨迹感知经验组装等技术,以提升采样与训练的稳定性和效率。

潜力 55新颖度workload开源度洞见呈现机构信号
12 位作者0 所机构11 条合作线
论文 / 补充信号
分类方向训练系统 / 并行与分布式训练主题large-scale pretraining systems
Xi Wang, Ziyang Cai, Zheng Zhan, Harry Dong, Ying Fan, Gustavo de Rosa et al.
low · 2026-08-09

为什么值得看 这项改动对推理基础设施的直接负担较小:它保留标准变换器和键值缓存,只增加每词元的隐状态反馈,因此声称不会带来明显解码开销。若结果可复现,服务系统可以在不改动缓存机制的情况下支持更短的推理轨迹;但论文重点仍是模型结构与训练目标,而不是服务吞吐、延迟或集群效率。

方法解读
01
问题

标准自回归变换器只把采样词元反馈到下一步,丢弃顶层隐状态中的非语言化计算。

02
方法

模型用门控线性单元融合上一时刻顶层隐状态和采样词元嵌入,并把结果作为下一步输入。

03
差异

训练后期引入潜在反馈,并混合少量更深反馈遍次,以保留教师强制的并行训练。

04
证据

作者在十亿参数模型和四千亿词元上报告验证损失、少样本评测、数学代码生成及指令微调性能提升。

摘要

自回归变换器沿生成词元和模型深度两个方向计算,但每次解码只有采样词元返回堆栈底部,顶层隐状态被丢弃,导致解码步骤之间的垂直反馈通道狭窄。论文引入全带宽变换器,在每一步将上一时刻的顶层隐状态与采样词元嵌入通过门控线性单元融合后反馈为下一步输入,并用分阶段多遍训练目标保持教师强制并行;在训练十亿参数模型和四千亿词元后,作者报告其改善验证损失、少样本语言模型评测、数学与代码生成及指令微调表现,同时以近乎不变的每词元解码开销达到或接近多训练约百分之五十词元的标准变换器效果。

潜力 37新颖度workload开源度洞见呈现机构信号
8 位作者3 所机构28 条合作线

方向推理系统 / Serving 引擎主题batching / routing / latency

分类方向推理系统 / Serving 引擎主题batching / routing / latency
Tao Feng, Fangxu Yu, Haozhen Zhang, Zhongjie Dai, Liangqi Yuan, Zijie Lei et al.
high · 2026-08-07

为什么值得看 这项工作把大语言模型路由从各自实现的实验代码统一成可开发、评测和部署的基础设施,并同时衡量回答质量与推理成本;对需要在多个模型之间做成本控制、个性化选择或多轮路由的服务团队尤其有用。

方法解读
01
问题

现有路由器在问题形式和实现上差异很大,难以公平比较、扩展和复用。

02
方法

论文用五个组件统一描述路由决策,并自动生成路由监督、联合评测质量与推理成本。

03
差异

系统同时覆盖单轮、多轮、个性化以及通用、记忆增强、视觉和时间序列路由任务。

04
证据

基准实验报告学习型路由器相对固定模型基线提升百分之十四点六,并显示轻量化和用户条件路由的效果。

摘要

没有任何单一大语言模型能在所有查询和预算约束下都达到最优,因此模型路由对降低部署成本十分重要。论文将路由统一表述为由上下文编码器、模型编码器、评分函数、决策规则和学习信号组成的序贯决策过程,覆盖单轮、多轮和个性化路由;同时构建自动化监督生成与联合评测流程、涵盖多类任务的路由基准,以及包含十六种以上代表性路由器的开源模块化基础设施。实验证明,学习型路由器相对最强固定模型基线的性能提升为百分之十四点六,轻量路由器在严格成本约束下更具竞争力,基于用户条件的路由能持续改善个性化效果。

潜力 65新颖度workload开源度洞见呈现机构信号
12 位作者5 所机构30 条合作线

方向推理系统 / Serving 引擎主题LLM serving / inference engines

论文 / 高优先级
分类方向推理系统 / Serving 引擎主题LLM serving / inference engines
Lijie Yang, Hongyin Luo, Jiawei Zhao, Tri Dao, Ravi Netravali
high · 2026-08-11

为什么值得看 这项工作直接改变推理服务在固定硬件预算下分配测试时计算的方式:它不再独立采样大量完整轨迹,而是把显存和计算持续集中到更有希望的推理前缀上。对于运行大型推理模型、受显存和吞吐限制的服务系统,作者声称该方法在减少令牌消耗的同时提升准确率和轨迹完成吞吐量。

方法解读
01
问题

并行采样会让推理轨迹彼此独立并造成严重内存瓶颈,而减法式剪枝会使硬件利用不足且不能充分改变输出分布。

02
方法

甘比特在部分推理轨迹上周期性剪枝,并从高质量前缀继续分支,同时用隐藏状态评分器选择候选轨迹。

03
差异

它把束搜索粒度从令牌提升到思维片段,并在剪枝与扩展之间持续维持硬件利用。

04
证据

论文报告其在多个模型和基准上严格优于现有基线,并同时给出准确率、吞吐量和令牌消耗收益。

摘要

测试时计算扩展是大型推理模型性能提升的主要驱动力,但现有方法效率极低,因此关键问题从投入多少计算转向如何分配计算。论文将测试时推理形式化为部分轨迹上的受限计算分配问题,并提出甘比特推理算法,以思维级束搜索定期剪除无希望的轨迹、从高质量前缀立即分支,并通过探测隐藏状态的轻量级评分器集中计算资源。多模型和多基准评测显示,在相同硬件约束下,该方法相较剪枝基线在数学竞赛基准二十四上最高提升百分之六点七的绝对准确率,在美国数学邀请赛二十五上提升百分之三点三,轨迹完成吞吐量超过两倍,并相较标准并行采样最多减少百分之六十八点五的令牌消耗。

潜力 60新颖度workload开源度洞见呈现机构信号
5 位作者0 所机构10 条合作线

方向推理系统 / 内存与解码优化主题quantization / compression

论文 / 高优先级
分类方向推理系统 / 内存与解码优化主题quantization / compression
Zhen Liu, Wenli Huang, Wei Song, Yuhan Liu, Zhiqin Yang, Jingwen Fu
high · 2026-08-07

为什么值得看 对多模态推理服务而言,这提供了一条替代固定剪枝规则的自动策略设计路径:在保留超过百分之九十九完整视觉令牌性能的同时,去除百分之九十四点四的视觉令牌,将计算量降低九点九倍、预填充时延降低六点四倍,适合关注多模态模型成本和时延的系统研究者。

方法解读
01
问题

视觉令牌剪枝的目标、预算和模型结构不断变化,使固定启发式规则和人工试错难以扩展。

02
方法

框架使用包含预算控制、令牌评分、选择约束和令牌重组的一百三十一个操作单元的领域专用语言,由大语言模型搜索剪枝策略。

03
差异

它将每个搜索状态表示为强基策略的残差修改,以缩小搜索空间并聚焦于影响性能最大的策略组件。

04
证据

实验覆盖十四个多模态基准和三个多模态模型骨干,并报告了高压缩率下的性能、计算量和预填充时延结果。

摘要

视觉令牌剪枝能够显著降低多模态大语言模型的推理成本,但现有方法主要依赖固定的手工启发式规则和昂贵的专家试错。本文提出一种无需训练的自动剪枝框架,通过包含一百三十一个可复用操作单元的令牌剪枝领域专用语言,并以强基策略的残差修改表示搜索状态,引导大语言模型设计视觉令牌剪枝策略;在十四个多模态基准和三个模型骨干上的实验表明,即使移除百分之九十四点四的视觉令牌,也能保留超过百分之九十九的完整令牌性能,同时将计算量降低九点九倍、预填充时延降低六点四倍。

潜力 34新颖度workload开源度洞见呈现机构信号
6 位作者6 所机构15 条合作线
02 / 实验室动态

📝 实验室动态

主题other

实验室动态 / 补充信号
low · 2026-07-27

为什么值得看 这篇研究关注人工智能如何改变工作任务和职业边界,而不是分布式训练、推理服务、编译器或集群基础设施;对人工智能基础设施研究者的直接价值很低。

来源信号RSS/博客源
潜力 38实质相关度权威度新鲜度
实验室动态 / 补充信号
low · 2026-07-14

为什么值得看 这篇文章讨论企业如何管理智能体时代的人工智能投入,重点是按每美元产生的有效工作衡量价值、提升效率并扩大高价值工作流;它对人工智能基础设施研究者只提供投资与运营背景,不涉及训练、推理服务或系统实现。

来源信号RSS/博客源
潜力 34实质相关度权威度新鲜度
实验室动态 / 补充信号
low · 2026-07-14

为什么值得看 这篇产品使用说明面向销售流程,而非分布式训练、推理服务、系统、编译器、内核或集群基础设施研究者,因此对本方向几乎没有直接价值。

来源信号RSS/博客源
潜力 29实质相关度权威度新鲜度

方向推理系统 / Serving 引擎主题agent serving systems

实验室动态 / 补充信号
分类方向推理系统 / Serving 引擎主题agent serving systems
low · 2026-07-22

为什么值得看 这项产品面向企业部署可信的语音与聊天智能体,可能帮助负责智能体服务的研究者了解面向客户和内部工作流的部署场景;但描述未提供服务架构、调度、延迟或可靠性技术细节。

来源信号RSS/博客源
潜力 57实质相关度权威度新鲜度