Flide:给「决策型」小模型做的精确推理引擎,比 vLLM 和 SGLang 最快 9.5 倍
改进了什么:智能体里越来越多用小模型做分类式快速决策,现有生成型推理引擎要么重复算前缀、要么概率失真。靠什么:把一次请求的分支树压进单个扁平 token 流,用 ForkAttention 在注意力层和 Gated DeltaNet 层上精确分叉,保证每个分支和单独前向计算结果完全一致。
https://arxiv.org/abs/2610.42148Reposted. Will be removed on request. All rights belong to the original author.
More from this batch
The AI 'credit card' is getting costlier as CoreWeave bond yield tops 16%
CoreWeave's steep yields reflect stress in the AI debt markets as investors worry about a data center slowdown. What comes next.
谷歌 Logan Kilpatrick 在 Fable 5.2 发布几小时后只发了一个词「Gemini」,被普遍解读为新模型本周要来
这条只有一个词的帖子已有 26 万多次浏览、3400 多个赞,宝玉等人都在转发调侃;Gemini 4 Carbon 刚被 Fable 5.2 挤下榜首,谷歌大概率很快回应。
Zora:用「检索」代替草稿模型做 VLA 推测解码,机器人动作生成纯软件提速 3.4 倍、配专用硬件 7.6 倍
改进了什么:自回归 VLA 模型在机器人端侧算力上延迟太高。靠什么:利用机器人动作的规律,从历史动作里检索出草稿,不用额外训练草稿模型;再用运动学约束决定接受哪些动作,并让批量验证共享 KV 缓存。效果:在 LIBERO 上 4 个 VLA 模型精度基本不变。
SoMem:让智能体用普通文档自己整理长期记忆,三个记忆基准都超过最强基线 2 到 3 个百分点
改进了什么:智能体记忆以往靠预设字段和固定规则组织,跟不上任务变化。靠什么:记忆存成互相链接的文档,由智能体自己决定总结什么、怎么归类、何时修订,每条总结都链回原始对话当证据;查询时智能体自己选读哪些文档。整理好的记忆还能跨模型复用,代码已开源,做企业知识助手可以参考。
SpecMem:把用户用过的工具调用存成「活」的草稿库,智能体工具调用最多提速 1.74 倍
改进了什么:工具调用要逐 token 解码,延迟随调用增多而上升。靠什么:用推测解码,从每个用户过去验证过的调用里检索草稿,并在部署中持续写回、按 LRU 淘汰;对有副作用的不可逆调用先暂缓,等验证通过再执行。按用户隔离的存储还堵住了跨用户泄露的通道。
OneTrans-GSR:用一个自回归 Transformer 端到端生成推荐曝光列表,线上 GMV/u 提升 2.63%、延迟降 13%
改进了什么:电商推荐的重排和混排一直靠人工规则和小模型拼接。靠什么:把两个阶段合成一个解码器策略,训练时用奖励模型给整张列表打分做强化学习,解码时显式执行业务约束;离线实验显示算力越多列表质量越好,HF 当日 33 票。
Sage-Taiyi:带「元认知」的科研智能体,在 AI 科学家选题基准上 54.0 分,超过 AI Scientist-v2 的 47.9
改进了什么:AI 科学家要决定下一步研究什么、怎么研究。靠什么:显式监控自己对证据、假设和未解问题的理解,再据此调整研究目标、挑选可复用的推理方法。效果:和专家合作做实验,把一个钴催化羰基化反应的产率从痕量提到 84%。
SIRIS 基准:大模型能看出模拟器的误差会不会改变设计结论吗?13 个前沿模型都会出错
用 LLM 推理服务的设计题测试:模型能指出模拟器的局限,不代表能做对选择,最强的模型有时也会放弃本来正确的推荐;加一轮自我审查能纠正一些错误,但也会引入新错误。用智能体做系统研究和容量规划时值得警惕。
Otter AI can now follow conversations across 30+ languages
Otter AI just added support for 27 languages and revealed an upcoming feature that can follow along if speakers switch between languages.
金融单据识别不能只看字符错误率:一套按风险约束的评估和「选择性自动化」框架
主张把识别结果当成「能追溯到原图区域的金融事实」来评估,对金额、编号、正负号、期间这类关键字段设不可补偿的验收门槛,再把不确定的单据按风险和人工审核产能路由给人。纯方法论文章,没有新模型,但做票据和报表自动化的团队可以直接借鉴验收标准。
ooosplat:一键把视频和图片变成 3D 高斯泼溅(Gaussian Splat)的本地桌面应用
2,425 星,今日新增 121 星,Rust 编写,许可证未确认。全部在本地运行,不用上传云端,适合做数字孪生、展厅和商品 3D 化的快速原型。
英伟达Jim Fan: 大模型 会指挥,机器人为什么还需要自己的模型?
从英伟达机器人自主取样、上显微镜的实验讲起,解释为什么大模型只能做「指挥」,真正动手还需要专门的机器人动作模型。