TypeSafe AI 发布 Jev 模型，声称速度比 GPT-6 Astra 快 194 倍

TypeSafe AI 上周推出了 Jev，这是其首个 System One 模型，旨在用于编程应用中的一句话评估和决策。该模型由前 OpenAI 工程师 Diogo Almeida 创建，他曾与他人共同编写 ChatGPT 的核心训练技术。TypeSafe AI 声称，与 GPT-6 Astra 等前沿 AI 模型相比，Jev 的运行速度最高可快 194 倍，成本最高可低 445 倍。该公司将这些性能提升归因于其校准决策强化学习（RLCD）训练方法和并行问题处理架构。System One 模型与对话式 LLM 不同，其生成的是结构化答案而非散文，目标是代码集成而不是与人类聊天。

TypeSafe AI 声称速度比 GPT-6 Astra 快 194 倍

TypeSafe AI 表示，与 GPT-6 Astra 相比，Jev 的处理速度最高可快 194 倍，成本最高可低 445 倍。该公司称 Jev 的每美元智能“高得离谱”。TypeSafe AI 指出了造成这些性能指标的两个主要原因。首先，System One 模型采用校准决策强化学习（RLCD）进行训练，并以生成结构化答案而非散文为目标。其次，同一请求中的各个问题可以并行处理，这与 LLM 持续生成文本的方式相反。

Jev 通过 RLCD 训练并行处理问题

Jev 的运行方式是接收一个状态——某个特定情况及其相关数据——并通过其 API 评估代码提供的具体一句话。每个请求都会提供一个状态，并且不存在全局知识数据库或持久化记忆。例如，一家公司可以向 Jev 展示客户的信用卡交易列表、一些基本的客户账户信息以及客户最后写下的内容，然后提出问题：“客户是否在请求退款？”答案将是“是”或“否”，并附带置信度评分。如果置信度高于 85%，代码就可以继续询问客户偏好的退款方式，选项包括“退款”“商店积分”或“不明确”。随后，Jev 会为每个退款选项提供概率分布。

System One 模型以 JSON 格式输出并附带置信度评分

Jev 的输出（以及可选的输入）采用预定义的数据格式，本质上是纯 JSON。与 LLM 交互不同，其中没有多余的词语或冗长的思考过程，也不必要求模型保持简洁。无需使用全局上下文提示词或持久化记忆。除了提供状态和问题之外，输入解析、日期处理或数据库读取等操作仍由开发者在自己的代码中完成。Jev 不需要也不希望获得引出问题的完整上下文——提供多余信息实际上会降低准确率，而且其上下文窗口上限为 64,000 个 token。由于机器人始终会生成置信度百分比，因此它不会像人们熟悉的聊天机器人那样产生幻觉，即凭空编造陈述和数据。

TypeSafe AI 提供客户退款工作流示例

TypeSafe AI 预计，Jev 最常见的用例将是围绕已发布的问题封装逻辑工作流。由于可以获得置信度因子，因此很容易将其集成到工作流的决策步骤中，例如：“如果我们相当确定用户请求了退款，他们更喜欢商店积分，而且我们发现他们在 9 月左右购买了更多 PC 设备，那么就向他们提供购买 RTX 5090 时可享受 20% 折扣的优惠。”文档还提供了意图路由或引用检查等其他使用示例。TypeSafe AI 明确表示，开放式任务更适合交给 LLM，甚至可以将其集成到同时涉及 Jev 的代码中。一个例子是监控系统：Jev 使用提供的信息评估是否存在严重的系统问题；如果存在，则引入 LLM 检查日志、寻找原因并生成报告。Jev 没有接受客户数据训练，也不会在所提供的状态和自身训练数据之外进行推断。

常见问题

TypeSafe AI 的 Jev 模型是什么？

Jev 是 TypeSafe AI 上周推出的首个 System One 模型，旨在用于编程应用中的一句话评估和决策。该模型由前 OpenAI 工程师 Diogo Almeida 创建，输出带有置信度评分的结构化 JSON 答案，而不是对话式散文。

Jev 在速度和成本方面与 GPT-6 Astra 相比如何？

TypeSafe AI 声称，与 GPT-6 Astra 相比，Jev 的运行速度最高可快 194 倍，成本最高可低 445 倍。该公司将这些性能提升归因于校准决策强化学习（RLCD）训练和并行问题处理架构。

Jev 的上下文窗口限制是多少？

Jev 的上下文窗口上限为 64,000 个 token。提供多余信息实际上会降低准确率，因为该模型旨在根据所提供的状态评估具体的一句话，而不是处理大量上下文。