Jerry Liu（LlamaIndex）长文：每个任务都有自己的帕累托前沿——企业该「拥有自己的智能」

每个任务在成本、准确率和延迟上都有一条帕累托前沿。我认为 AI 领域很大一部分机会，在于帮助企业在它们真正关心的任务上抵达这条前沿。

与此同时，每个任务都有一个目标价格和所需的准确率水平，在这个点上，所创造的经济价值能让利润结构变得有吸引力。一条客服回复、一次合同审查、解析一页财报，它们的经济账完全不同。合适的运行点取决于做对这件事的价值、做错的代价，以及结果需要多快返回。

像 Codex 这样的应用里的前沿模型，只要给一个「简单」的提示词，加上连接好的 MCP 服务器和文件系统访问权限，就会在许多任务上持续提供越来越高的准确率。它们持续吸收海量领域知识——我预计在训练数据方面投入的大量工作的推动下，它们在推理和大上下文检索上还会继续进步。

然而，针对某个具体任务，通常仍然存在巨大的空间去继续提高准确率、降低成本、缩短延迟。

抵达合适的运行点

第一步是为你想达成的目标定义正确的评估标准（rubric）。定义目标的方式有很多：用自然语言描述、由 LLM 充当评审来打分，用确定性指标，或者两者结合。评估标准应当刻画出让输出真正有用的那些东西：保留表格结构、遵守退款政策，或者按你自己的标准标出合同条款。

你还需要衡量每个成功任务的总成本，包括重试和人工复核。一个更便宜的模型如果每隔一次输出就需要有人返工，很快就会变得很贵。

之后，你可以用多种方式优化一个任务：

预先把相关上下文加载给模型和智能体，而不是让它通过 MCP 去检索。如果你已经知道任务需要哪些政策、文档或账户信息，就能省掉大量不必要的探索和工具调用。当上下文聚焦且可复用时，这能大幅降低延迟和成本；而把所有东西一股脑塞进提示词也有它自己的代价。

把任务固有的人类偏好编码进去，让智能体更好地满足手头的评估标准。例子包括法务团队偏好的兜底条款、分析师的估值方法，或者下游系统期望的精确数据结构。这样人们就不用在使用 Codex 这类通用智能体时，反复花时间解释同样的偏好、亲手纠正同样的输出。

模型路由与 harness 优化。 这可以是简单任务用一组更便宜的模型、困难情况用更强的模型；也可以是把一次智能体运行「编译」成半确定性的工作流：一旦你知道哪些步骤稳定可行，就不需要智能体每次都重新摸索一遍。灵活的推理只留给真正需要它的环节。

后训练，或者更一般地说任何形式的训练。 这让你把想要的行为编码进模型本身，从而用更小、更便宜的模型在特定任务上获得更高准确率。机会在于以低一个数量级的推理成本达到你需要的准确率，即便前沿模型在能力上逐渐追上来。是否划算，取决于任务量、训练信号的质量以及维护模型的成本。

这些方法可以层层叠加。前沿模型可以帮你发现工作流，成功的运行可以变成训练样本，而你的评估标准可以告诉你哪些步骤可以交给更便宜的模型接手。

这就是我所理解的「拥有你自己的智能」——拥有任务定义、上下文与偏好，以及随时间持续提升表现的反馈闭环。你可以先从一个通用智能体起步，在了解系统在哪里失败的过程中逐步积累这些资产。每一次人工纠正，都可能成为一条评估用例、一项工作流改进或一个训练样本。

把成果打包

我看到很多公司在追逐这个机会，有的直接提供优化好的成果，有的提供工具帮助用户自己实现。

像 Sierra、Harvey 和 Rogo 这样的垂直 AI 公司专注于客服、法律和金融。这种「预打包」方式的价值在于，用户无需用通用智能体自己拼装和运维所有东西，就能获得特定领域的工作流和上下文。

像 Applied Compute 和 Trajectory 这样的基础设施公司，则提供工具让用户基于自己的任务和生产数据训练、改进模型。

在 LlamaIndex，我们把自己定位为一家专注于文档解析帕累托前沿的专用模型公司。任务很具体，但失败模式五花八门：保持阅读顺序、重建表格、理解图表，以及处理那些和你测试样例完全不像的版式。真正有用的输出，是下游智能体和工作流可以真正信任的表示。

随着前沿模型进步，我们可以用它们去攻克更难的文档，并改进围绕它们的系统。下一批失败会变成下一批评测和训练样本，而那些我们已经知道怎么解决的部分，应当持续变得更便宜、更快。