EN
◀ 返回收集
东北大学 / 美团 / 小牛

ToFu(豆腐):白盒、token 高效的科研 Agent Harness;SWE-bench 称最多省约 43.6% token

发布 2026-11-07 收集于 2026-11-07 12:00 AI 资讯 #ai#tech
全文

ToFu(豆腐):白盒、token高效的Agent Harness

近期,东北大学自然语言处理实验室、美团、小牛翻译团队联合提出了ToFu,一个面向科研工作者AI智能体。ToFu既是科研人的好帮手,又是agent harness研究的白盒对象与重要基线。

Daily paper: https://huggingface.co/papers/2607.11423

📄Arxiv: https://arxiv.org/abs/2607.11423

📦Project: https://github.com/NiuTrans/ToFu

一、什么是ToFu?

ToFu是一个面向科研工作者的AI智能体。ToFu作为研究助手,将搜索、编程、多Agent协作、浏览器搜索与控制、图片生成、论文阅读、定时任务、记忆系统统一整合在一个界面中。所有数据本地存储,保证数据安全。

  • ToFu不是IDE插件:告别终端交互的门槛,回归最直接的网页交互界面。

  • ToFu不仅能“说”更能“做”:通过hardness编排与hook设计,ToFu的能力边界从对话模型的窗口扩展至你的整个设备(个人电脑或服务器)。ToFu可以自行操纵你的电脑/服务器:搜索浏览器、配置环境、编写代码、创建与编辑文件、向你汇报工作进度...

  • ToFu不是某个模型的专属客户端:用户可使用自己的API Key / Open AI订阅 / 本地部署模型,以调用任意模型提供商的服务。ToFu无订阅费、无credit额度、无隐藏使用上限。

  • ToFu不是任何开源项目的套壳:我们面向科研工作者从头设计了智能体交互工作流,并针对token效率进行特定优化。SWE-bench Verified基准上对比Claude Code 节约至多 43.6% token开销且获得 更好的表现 !

  • 模型支持:兼容所有OpenAI格式的API,内置一键配置模板:OpenAI、Anthropic、Gemini、DeepSeek、Qwen、MiniMax、GLM、豆包等。支持Ollama、vLLM等本地模型。

此外,ToFu更是一个Agent harness的白盒研究对象。对比Claude Code、Codex,ToFu的白盒特性允许用户观测agent执行过程的行为、分析存在的问题、并作出针对性优化。对比OpenCode等面向benchmark设计的demo级开源harness基线,ToFu的前端页面设计与人机交互体验达到可用水平,且围绕真实用户体验而不是benchmark得分进行优化。

ToFu只需要一行终端命令即可安装启动,通过智能体的系统级交互能力屏蔽安装细节:

curl -fsSL https://raw.githubusercontent.com/rangehow/ToFu/main/install.sh | bash

二、真实场景的软件工程能力

首先,我们介绍ToFu在 SWE-bench Verified 基准上与同类产品的表现对比,表1展示了ToFu harness在所有模型上取得最佳性能,且对比Claude Code存在token效率方面的优势。

注:SWE-bench Verified 是由OpenAI合作开发的人工验证基准测试数据集,专为评估LLM / Agent解决 真实世界软件工程能力 而设计,要求模型像软件工程师一样在一个大型、复杂的GitHub代码库中修复现有的issues。

表1: ToFu / Claude Code /OpenCode ✖️ Claude opus 4.6 / GLM 5.1 / DeepSeek-v4-pro

其次,ToFu针对多语言场景进行了优化。为了激发LLMs的最佳表现并增强语言地道性,ToFu模仿多语言LLMs的行为,在与用户交互时使用与用户一致的语言,而harness内部交互使用英语作为推理编排语言。

图1: 多语言增强表现

我们展示了MAPS: SWE-bench数据集上,使用多语言增强前后的表现对比。图1表明在测试的10个语种上,多语言增强在绝大多数语种有效。具体来说,西班牙语、德语、日语、葡萄牙语、印地语、韩语、意大利语上harness内部使用英语的设计都显著有效,阿拉伯语、俄语翻译为英语效果几乎持平,希伯来语翻译为英语反而稍有下降。ToFu允许用户根据实际体验自由选择是否启用多语言增强模式。

三、科研应用场景的能力演示

最后,以科研工作者的日常为例,我们将演示ToFu重塑日常工作流程的潜力:(1)调研报告 (2)论文阅读(3)复现基线(4)Overleaf撰写技术文档

3.1 调研报告

调研报告对于科研工作者进入一个新的领域亦或整理相关工作相当重要。演示一将对比ToFu(智能体方案)及其他对话模型方案,包括DeepSeek网页版、Claude网页版。我们使用相同的问题:

示例问题1: 现在开源的PDF2PDF翻译系统和论文都是怎么做的,我要非常详尽的调研。

  • ToFu生成的调研报告:

tofu结果全览

# 🔬 全面调查:PDF到PDF翻译系统## 目录1. [架构分类](#1-taxonomy)2. [主要开源项目(详细分析)](#2-projects)3. [学术论文与研究](#3-research)4. [核心技术管道分解](#4-pipeline)5. [关键技术挑战与解决方案](#5-challenges)6. [对比分析](#6-comparison)---## 1. 架构分类当前所有PDF到PDF翻译系统可分为**三大基本架构家族**:### 架构A:**直接PDF操作**(解析 → 翻译 → 重新渲染)> 原生解析PDF结构 → 检测布局 → 原地翻译文本 → 重新渲染为PDF-**代表项目:** PDFMathTranslate、BabelDOC-**核心优势:** 以最高保真度保留原始布局-**技术栈:** pdfminer.six / PyMuPDF用于解析,YOLO用于布局检测,LLM/MT用于翻译,PyMuPDF用于重新渲染### 架构B:**中间表示**(PDF → LaTeX/Markdown → 翻译 → 重新编译)-**代表项目:** MathTranslate、基于Nougat的管道-**核心优势:** 完美公式处理(原生LaTeX)-**技术栈:** arXiv LaTeX源或Mathpix OCR → 基于正则的提取 → 翻译文本标记 → 通过LaTeX重新编译### 架构C:**OCR + 布局恢复**(图像 → OCR → 翻译 → 重建)-**代表项目:** translation_layoutrecovery、fuba/pdf-translator、Amazon Textract管道- **核心优势:** 适用于扫描/图像PDF- **技术栈:** PaddleOCR/EasyOCR → MaskRCNN/LayoutLM用于区域检测 → NMT → HTML/PDF渲染---## 2. 主要开源项目(详细分析)### 2.1 ⭐ PDFMathTranslate(25k+ GitHub星标,222k+下载量)**论文:** EMNLP 2025系统演示(Ouyang等人)**仓库:** `Byaidu/PDFMathTranslate` → 现为`PDFMathTranslate/PDFMathTranslate`#### 管道架构:```输入PDF(字节流)    │    ▼┌─────────────────────────────┐│  1. 布局检测                  ││  DocLayout-YOLO (ONNX)      ││  - 基于YOLOv10的检测器        ││  - 类别:文本、标题、          ││    图表、表格、公式、          ││    页眉、页脚、说明            ││  - 使用ONNX实现跨平台          │└──────────┬──────────────────┘           │           ▼┌─────────────────────────────┐│  2. 文本提取               ││  pdfminer.six               ││  - 字符级位置               ││  - 字体元数据               ││  - 阅读顺序                 │└──────────┬──────────────────┘           │           ▼┌─────────────────────────────┐│  3. 分割与过滤             ││  - 分离可翻译文本           ││    与公式/图表              ││  - 基于正则的例外           ││    (-f标志)                 │└──────────┬──────────────────┘           │           ▼┌─────────────────────────────┐│  4. 翻译中间件             ││  支持23+服务:              ││  - LLM:GPT-4、DeepSeek、  ││    Gemini、Ollama、Qwen     ││  - MT:Google、Bing、DeepL  ││  - 自定义提示、CoT、        ││    少样本、角色扮演         ││  - 异步 + 缓存 +            ││    速率限制                 │└──────────┬──────────────────┘           │           ▼┌─────────────────────────────┐│  5. 重新渲染               ││  PyMuPDF (fitz)             ││  - 白色矩形覆盖             ││    原始文本                 ││  - 在相同坐标位置           ││    放置翻译文本             ││  - 字体子集化(Go Noto     ││    Universal)支持CJK等     ││  - PDF/A格式转换           │└──────────┬──────────────────┘           │           ▼   输出:mono.pdf + dual.pdf(双语)```#### 关键实现细节:- **流式处理设计:** `translate_stream()`将PDF作为字节流处理,最小化磁盘I/O-**字体处理:** 下载`Go Noto Universal`字体;使用子集嵌入以最小化文件大小-**缓存机制:** 按`(源文本, 模型, 温度, 提示)`键控的翻译缓存,避免重复API调用-**双语输出:** 生成单语版和并排双语版PDF-**速度:** 约1.47秒/页(优于IMT的1.50秒,Doc2X的1.86秒)#### 翻译引擎架构(v2.0 / PDFMathTranslate-next):-**BaseTranslator**抽象类,包含`do_translate()`和`do_llm_translate()`-**工厂模式**:通过动态模块导入实例化引擎-**转换模式**:OpenAI兼容服务(DeepSeek、Gemini、Zhipu、Grok、Groq)将其设置转换为`OpenAISettings`并复用`OpenAITranslator`-**速率限制:** 通过`QPSRateLimiter`实现QPS节流,可按引擎配置-**健康检查:** 启动时翻译"Hello"以验证凭据-**重试机制:** 使用tenacity库,最多100次重试,指数退避(1-15秒)-**术语提取:** 独立翻译器实例用于自动术语表提取---### 2.2 ⭐ BabelDOC(8.1k星标,funstory-ai开发)**下一代PDF翻译库**,设计为可嵌入的后端。#### 核心架构创新:```PDF输入    │    ▼┌─────────────────────────┐│  解析阶段              ││  - pdfminer.six用于     ││    字符提取            ││  - DocLayout-YOLO用于   ││    布局分析            ││  - 支持RPC远程         ││    布局服务            ││  - 解析数据的中间      ││    表示(IR)            │└─────────┬───────────────┘          │          ▼┌─────────────────────────┐│  段落发现              ││  - 跨页面段落检测       ││  - 跨列语义一致性       ││  - 短行分割,可配置     ││    阈值                ││  - LayoutReader用于     ││    阅读顺序            │└─────────┬───────────────┘          │          ▼┌─────────────────────────┐│  翻译阶段              ││  - OpenAI兼容接口       ││  - 富文本翻译           ││  - 术语表支持           ││    (基于CSV术语)      ││  - 自动术语提取         ││  - JSON模式选项         ││  - 自定义系统提示       │└─────────┬───────────────┘          │          ▼┌─────────────────────────┐│  渲染阶段              ││  - PyMuPDF用于输出      ││  - PDF清理             ││  - 水印处理            ││  - 表单/曲线渲染        ││  - 动态缩放            ││  - 字体选择:          ││    衬线/无衬线/        ││    脚本自动检测        │└─────────┬───────────────┘          │          ▼  mono.pdf + dual.pdf(并排或交替)```#### 独特功能:-**基于插件的管道** — 模块化阶段:解析器、OCR、渲染器-**中间表示(IR)** — 可渲染为多种输出格式的解析文档结构-**扫描PDF检测** — 自动检测重度扫描文档(>80%扫描页)并启用OCR解决方案-**OCR解决方案** 用于扫描PDF:白色矩形覆盖 + 强制黑色文本-**公式检测** — 可配置字体/字符模式识别公式文本-**分割翻译** — `--max-pages-per-part`处理大型文档,自动合并-**离线资源** — 为隔离环境生成/恢复资源包-**术语表系统** — 基于CSV的术语词典,支持目标语言过滤---### 2.3 MathTranslate(1.4k星标)**基于LaTeX的方法** — 根本不同的架构。```arXiv 论文编号    │    ▼下载 LaTeX 源文件    │    ▼解析 LaTeX,识别:  - 文本 token (可翻译)  - 数学表达式 ($...$, \begin{equation}...)  - LaTeX 命令 (\section{}, \textbf{}, 等)    │    ▼仅翻译文本 token(数学表达式逐字保留)    │    ▼重构 LaTeX 源文件    │    ▼通过 LaTeX 引擎编译为 PDF```**优点:** 完美的公式保留 (公式从未被触动)。**局限:** 需要 LaTeX 源文件 (仅限 arXiv 论文或 Mathpix 转换的文档)。---### 2.4 translation_layoutrecovery (113 星)采用 OCR + 布局恢复方法的**全栈 Web 应用**。#### 架构:- **前端:** NextJS + TailwindCSS- **后端:** Django REST Framework + PostgreSQL + Firebase Storage- **AI 核心:**  - **OCR:** EasyOCR 用于文本提取  - **布局恢复:** MaskRCNN (在 PubLayNet 数据集上训练)  - **翻译:** envit5-translation (越南语),opus-mt-en-jap (日语)  - **拼写校正:** JGEC 用于日语**处理流程:** PDF → 页面渲染 → MaskRCNN 检测区域 (文本、标题、图、表、列表) → EasyOCR 按区域提取文本 → NMT 翻译 → 重构 PDF,将翻译后的文本放置在原始边界框中。---### 2.5 kukas/document-translation (9 星)使用词对齐的**保留标记方法**。```格式化文档 (Word, PDF, HTML)    │    ▼Okapi 框架提取 XLIFF 翻译单元  - 文本与内联标记标签分离  - 示例: "He is a <b>friend</b>" → "He is a friend" + 标签位置    │    ▼机器翻译 (LINDAT 服务)    │    ▼词对齐模型  - 将源词映射到目标词  - 确定在何处重新插入格式化标签    │    ▼将标记标签重新插入翻译文本中  - "Er ist mein Freund" + alignment → "Er ist mein <b>Freund</b>"    │    ▼输出格式化文档```**独特见解:** 使用**词对齐模型**来重新插入内联格式 — 这是源自 Moses MT 社区的一项技术。对于 PDF,具体做法是先将 PDF 转换为 HTML,然后翻译保留了标签的 HTML。---### 2.6 fuba/pdf-translator (已归档,本地 LLM 方法)**处理流程:**```PDF → 文本提取 (PyMuPDF) + OCR (PaddleOCR)  → 布局分析 (LayoutLM/DiT, 带回退机制)  → 专业术语挖掘 (spaCy + 维基百科 API)  → LLM 翻译 (通过 Ollama / OpenAI 使用 Gemma 3)  → 后期处理 (术语标注为 "訳語(原語)")  → HTML/Markdown 输出 (Jinja2 模板)```**值得注意:** 通过查询维基百科自动提取专业术语,以及首次出现的标注模式。---## 3. 学术论文与研究### 3.1 PDFMathTranslate 论文 (EMNLP 2025)**欧阳、储、辛、马** — "PDFMathTranslate: 保留布局的科学文档翻译"**主要贡献:**1. 首次将保留布局的 PDF 翻译正式化为一个独特问题2. 三组件架构:精确解析器 + 灵活中间件 + 高效流式处理3. 社区-商业可持续性模型 (通过赞助奖励贡献者)4. 基准测试:1.47 秒/页,支持 56 种语言,23+ 种翻译服务### 3.2 DocLayout-YOLO (arXiv 2410.12628)**赵、康、王、何** — PDFMathTranslate 使用的核心布局检测模型。**架构:**- 基于 YOLOv10,采用**全局到局部自适应感知**- 在 **DocStructBench** 上训练 — 涵盖多种文档类型的多样化合成数据- 检测 10 个类别:文本、标题、图、图注、表、表注、页眉、页脚、参考文献、公式- 提供 PyTorch 和 ONNX 两种格式- 关键创新:多尺度特征融合,用于处理文档中不同大小的元素### 3.3 Nougat (ICLR 2024)**Blecher, Cucurull, Scialom, Stojnic** — "面向学术文档的神经光学理解"- 端到端视觉 Transformer,可将 PDF 页面图像直接转换为 Markdown/LaTeX- 编码器-解码器架构 (Swin Transformer 编码器 + mBART 解码器)- 在来自 arXiv 的成对 (PDF 图像, LaTeX 源文件) 数据上进行训练- 可作为翻译流程的替代 PDF 解析前端### 3.4 Surya (由 datalab.to 开发)开源文档 OCR
原文信息
标题
ToFu(豆腐):白盒、token 高效的科研 Agent Harness;SWE-bench 称最多省约 43.6% token
作者
—
来源
东北大学 / 美团 / 小牛
发布
2026-11-07
收集于
2026-11-07 12:00 · 2026-11-07-12-ai.json
链接
https://arxiv.org/abs/2607.11423
打开原文 ↗

转载,侵删。版权归原作者,如有侵权请来信,收到后删除。

同一批次的其他文章

12:00批次 · 2026-11-0712 篇
>

Crusoe 把陷入麻烦的怀俄明数据中心项目卖给谷歌;谷歌宣布约 170 亿美元建设园区

丹佛数据中心商 Crusoe(近期估值约 309 亿美元)确认将怀俄明东南未完工园区售予谷歌;谷歌此前对成本与工期不满。规划曾瞄约 10GW;对价未披露,谷歌称将投约 170 亿美元建设。阿马里洛项目仍与 Crusoe 合作。凸显独立运营商交付巨型 AI 算力园区的难度。

TechCrunch
>

BioBasicsBench:100 道日常湿实验任务,评 Agent 读原始数据、抓错误、敢说「证据不够」

与 Ligo 合作:凝胶/菌落/显微/测序等原始证据,覆盖蛋白、成像、定量、核酸、克隆五类;专家 rubric 三重审。xhigh 下 GPT-6 Astra 均分约 66.7% 可用分,GPT-5.6 Sol 约 43.8%。强调把日常实验做对,对科研加速与生物安保都有含义。

OpenAI
>

OpenAI×Frontier Model Forum:给「绕过防护是否可能造成严重网络伤害」定级框架

官方帖:与 FMF 成员机构一起发布框架,帮助判断绕过 AI 防护是否可能促成严重网络危害,并优先加强防护。属安全评测方法论,非新模型发布;可与 Vals CyberOffense 等攻防评测对照。

OpenAI / X
>

vork:给 Agent 用的无头 3D/VFX 引擎——场景写成代码、渲染、看图、再改(约 2500 token API)

Rust+Slang,Vulkan/Metal;内核只留几何/光线查询等,其余由 Agent 边写边改。可改写光物理、线框森林、百万鸟群、实拍合成、GPU 流体。预览期源码可用免费;可按秒租云 GPU。对人机特效工具链是另一条「Agent-native」路径。

Voyager
>

Claude Duet 手机端可监控与审批 Claude Code 会话(本地与云端)

多条社区与日报称:Claude Duet App 已能查看 Claude Code 会话状态、审批改动、发送更新,覆盖本地与云会话。对「人在回路」远程盯编码 Agent 有直接产品含义;以 Anthropic 客户端实际能力为准。

社区 / X 趋势
>

Linus Torvalds 批强制披露「是否用了 AI」:结果比工具更重要

X 趋势话题:Torvalds 在编码相关讨论中称强制 AI 使用披露「utterly stupid」,强调看结果而非工具。属社区言论摘要,细节以原帖/邮件列表为准;对企业合规「AI 生成标记」政策是反面对照。

X 趋势 / 内核社区
>

建设者把重心放在 Agent Harness(工具/记忆/子代理/校验),而非「完美模型」

趋势摘要:多位建设者强调用 harness 组合让 Agent 能稳定跑数小时任务。可与本期 Harness-S 论文、ECC 等仓库对照;属舆论主题而非单一产品发布。

X 趋势
>

Harness-S:兄弟 Harness 救援失败任务,把能力迁回原 Harness 下的单一策略

改进什么:Harness 演化具局部性/互补性/非平稳性,难合成「万能外壳」。怎么做:方向性演化建兄弟池;仅在基座全败时路由 Top-k 救援;画像随策略重锚定。AppWorld/SWE-Gym/DBBench 回到 H0 仍显著优于纯策略训练。小红书等机构参与。

arXiv / HF
>

VFlash:按视觉原语整块并行解码——轨迹/框更快更准,MolmoSpaces 条件化约 70.2%

改进什么:自回归 VLM 逐 token 解坐标,细节越多越慢。怎么做:Flash Primitive Decoding 一次生成整块结构合法原语(文本仍投机验证)。轨迹误差下降;3D 点运动粗测约 25×;计划条件化 WAM 四套任务均分 70.2% vs 62.6%。

arXiv / NVIDIA 等
>

Decoupled Predictive Decision Making:共享条件预测器服务多 Agent 决策

改进什么:多 Agent 各自学预测易冗余、难共享。怎么做:解耦出共享条件预测器,决策头按需使用。HF↑114,适合对照多智能体世界模型/规划栈。

HF Papers
>

SPECMEM:用跨会话活记忆加速工具调用的投机解码草稿

改进什么:工具调用仍自回归解码,延迟高;现有系统无跨会话草稿库或建完不更新。怎么做:按用户重复行为维护可更新的草稿记忆,服务投机解码。面向部署侧工具 Agent 延迟。

arXiv
>

Tools Need Not Speak in Text:工具结果用隐式上下文压缩,少占对话 token

改进什么:工具返回全进文本上下文又贵又吵。怎么做:对工具观测做隐式压缩再注入 Agent。适合长工具链企业 Agent 控成本。

HF Papers