Ai2 开源 ToyBlocks:首个「FoundationWorld」——桌面积木臂仿真,自动生成演示,研究长程推理与 sim-to-real
ToyBlocks:可控的机器人学习与评测世界
发布于 2026-11-06 — Kyle Wiggers
机器人越来越会叠衣服、分拣零件,但演示往往很窄,说不清模型学到了什么、为何失败。科研需要像培养皿一样可控的环境:改训练数据或模型设计、重复实验、追溯失败原因。
Ai2 提出 FoundationWorlds:把面向特定场景的可控仿真,与自动生成任务/演示、以及度量机器人行为的指标绑在一起。第一作是 ToyBlocks——桌面上机械臂与积木的开源仿真。设定刻意简单,但仍需推理积木如何相互作用,并完成推、翻、堆。
ToyBlocks 可自动生成演示,不必耗时遥操作;研究者能改变训练配比,再在留出任务上评测。
怎么工作
建立在 MolmoAct 2、MolmoBot、MolmoSpaces 等工作上,满足四点:逼真物理与外观、大规模自动生成任务与演示、兼具推理与灵巧、覆盖该域内尽可能多的任务。积木面有图案与字母,可做搜索、分类、排列;域随机化(尺寸、桌高、物理参数)测泛化。
短程技能用 Isaac Lab 里的 RL 与运动规划生成,可利用仿真特权信息。任务与运动规划器(TAMP)自动编排技能;单卡并行执行计划可达约 24 倍实时。
研究用途
可用于测 VLA 空间泛化、高层 VLM 规划、经 MCP 工具调用的智能体系统(含 Claude Opus 5.5),以及动作条件世界模型。真实机器人上,仅在 ToyBlocks 仿真训练的 ManiFlow 与 Molmo 2+ManiFlow 可零样本迁到 Franka FR3:原子技能成功率仿真/真实约 80.0% / 81.1%,层级系统约 55.5% / 50.0%。
开源内容
发布仿真资产、程序化生成器、自动演示(首批 85,336 条长程演示,约 1,600 小时 / 1.44 亿帧)、两个示范模型、训练与评测代码;数周内计划更大剂量数据集。
https://huggingface.co/blog/allenai/toyblocks转载,侵删。版权归原作者,如有侵权请来信,收到后删除。
同一批次的其他文章
Ramp:企业 AI 用量还在涨,但支出几乎不动——头部 1% 人均花费从夏季峰值回落,降价与控成本正在改写模型公司的收入曲线
Ramp 称 8–9 月 token 支出仅增 1.5%(7 月曾环比 +42%),用量上升说明需求还在,但价格战、企业路由到更便宜模型(含决策模型 Jev)以及预算管控,让「用量涨、账单不涨」。文章把它放在 Anthropic IPO 窗口前:Bloomberg 转述估值预期已…
Anthropic 1.5 万亿美元 IPO 遇阻:投资者嫌贵、等 10 月收入,中期选举后的数据中心公投又砸了科技股
路透称路演能否下周启动存疑;有人从最高约 2 万亿预期回落到觉得 1.5 万亿也贵,甚至有人只愿给约 1 万亿。理由包括仍亏损、烧钱扩基建、S-1 缺 10 月数字。多州限制数据中心的公投过关加剧抛售;若继续承压,最高估约千亿美元规模的发行可能延期,并牵连整个 AI 板块信心。
Frontier Radar #5:若 AGI 已近,为何大佬还在出走办「新实验室」?梳理 45 家 neolab 的六类技术赌注
专题把独立研究型 AI 公司称为 neolab,按「更好的学习方式 / 不只靠语言 / 独占真实数据 / 算力效率 / 自动化科研 / 不拼第一名也赚钱」六类赌注整理约 27 家详档加近 20 家简述,并点出英伟达几乎处处下注。适合做战略扫描:看清大厂产品化压力之外,资本在押哪条…
Stratechery Sharp Tech 上视频:美国选民如何投票「数据中心」、对大科技与 Google AI 回应意味着什么
Ben Thompson 把 Sharp Tech 首次做成视频,讨论中期选举里数据中心议题如何影响大科技叙事,以及 Google 对 AI 竞争的回应。偏宏观产业与资本开支政治风险,适合对照本周公投与抛售新闻。
亚马逊上线「短信版 Alexa 购物」:用自然语言短信搜、比、下单,还在屏蔽 Muse 爬站之后抢回入口
部分美国用户受邀开通后,可向「Amazon Alexa」发短信完成搜索、加购、下单,也可发照片找相似商品;会学习偏好并盯价。背景是 9 月屏蔽 Meta Muse 查询亚马逊站点,假日季前用自有文本智能体守住交易入口。许可为亚马逊消费产品(非自托管);集成对外部 Agent 仍关…
Visa 发布 Agentic Commerce Benchmark:22 个模型购物通过率仅 57.2%,一半失败单仍「买了」
要求通过对话挖全隐藏需求,合适才买、不合适应拒买。最好模型尝试通过率 82.2%,最差 28.9%;三次全过仅 34.2%;54% 失败运行仍以购买结束。Visa 称 72% 美国人用过 AI 助手,但只有 23% 信任 AI 代付。对要上线代购/代付智能体的企业,这是可对照的行…
Google Antigravity v2.29:远程智能体(云端继续跑)+ Gemini Live 语音,面向 AI Pro/Ultra 放量
远程智能体让对话在 Google 管理的云环境跑,合上电脑或换设备也能继续;也可在 antigravity.google.com/remote 打开。另有语音模式、重做的 Automations(定时/常开/暂停)、原生 Jupyter 查看器。托管在 Google 账户体系内,…
小红书「蜜薯」Personal Agent 先走智能眼镜:和 Rokid 联手,把社区经验接到「此时此地」
REDtech 明确用 Personal Agent / Personal OS 表述;Rokid 眼镜上可边看边问店铺与菜单,强调「渐进式感知」。与大厂独立 App 不同,小红书先验证实时多模态、主动服务与长期记忆,再用社区笔记做决策依据。对企业:内容平台如何把 UGC 变成可…
中国移动开源智能体引擎「九天·聚智 JoinAI-Agent」:多智能体协同,零代码扩展 MCP 与 A2A
官方介绍为移动在智能体引擎领域的首个开源项目,支持以零代码方式扩展 MCP 工具与 A2A 智能体,降低个性化智能体应用门槛。适合关注运营商/国内开源 Agent 运行时与协议兼容(MCP/A2A)的团队;具体许可证与部署形态请看原文与仓库。
Physicl 获 1000 万美元种子轮:把电商级高保真 3D 管线,做成机器人/世界模型的合成数据 Studio
创始人来自 nfinite;产品含约 1 万环境、10 万资产,侧重困难边界案例的后训练数据。客户 SpAItial 用其提高从 2D 生成 3D 仿真的保真度。商业 SaaS/数据工具向,非模型权重开源;对做 sim-to-real 与合成数据闭环的团队可关注。
Nace.AI 开源 Drex 决策模型族:输入状态 + 题型,一次前向给出各选项概率,不对文本「生成」
改进什么:很多路由/风控/分类只要校准概率,不必生成长文。怎么做:Drex Max(27B 多模态)、Drex v2.0(35B MoE/约 3B 激活)等,兼容 TypeSafe 风格 `/v1/systemone`,可本地 Python/llama.cpp/Ollama。许可…
Underdog 展示仅 32MB 的端侧 TTS 模型 Woof:浏览器离线朗读,另有 Bark 转写与 27B 本地模型
改进什么:云语音助手贵且不私有。怎么做:约 3100 万参数、31.7MB 的开源 TTS,配合网页小游戏演示;此前还有约 167MB 端侧 ASR Bark。定位美国产、开放、可私人部署的端侧语音栈,并排队本地 Muse/Instinct 替代应用。适合边缘助手与私有语音流水线…