2026 年 9 月 15 日,一家叫 TypeSafe AI 的公司发布了一个叫 Jev 的模型。两天后它在 Hacker News 上拿了 1930 分、509 条评论——这个热度在 AI 模型发布里不算低。
但 Jev 有点反直觉:它不能生成文本。
一个不能生成文本的 AI 模型,凭什么火?
Jev 是什么
Jev 是 TypeSafe AI 的第一个公开模型,属于他们所谓的”System One Model”类别。命名灵感来自 Kahneman 的《思考,快与慢》——System 1 是快速直觉判断,System 2 是慢速深度推理。Jev 做的是 System 1 的事:快速结构化决策。
具体来说,Jev 的输入是一段文本(他们叫 state)加一组问题,输出是每个选项的概率分布。不是逐 token 生成,是一次 pass 出所有结果。
举个例子:你给它一段客服对话作为 state,然后问”这个工单应该分给哪个部门”,选项是”退款””销售””技术支持”。Jev 一次返回三个选项各的概率。就这么简单。
但这个”简单”的设计选择,带来了一连串有意思的后果。
和 LLM 的根本区别
TypeSafe 的创始人 Diogo Almeida 是 OpenAI 出身,参与过 ChatGPT 背后的研究。他对 LLM 的判断是:LLM 擅长聊天,但不擅长被软件直接调用。原因很直接——
LLM 输出的是字符串。字符串很灵活,但软件需要的是结构化数据。你要把 LLM 的输出 parse 成可用的东西,就得处理幻觉、格式错误、类型错误、拒绝回答等各种情况。在 Agent 里这可能只是不方便,在需要延迟保证的生产系统里,这是不可接受的。
Jev 选择了另一条路:放弃字符串生成,直接输出类型安全的结构化值。选项和结构提前定义好,模型只返回概率。因为不生成文本,所以不可能幻觉——不会编造一个不存在的选项,不会输出格式错误的东西。
这个设计选择的代价很明确:Jev 不能写文章、不能写代码、不能做任何需要生成文本的事。它只能在你给定的选项里做选择。
换来的是:
- 速度:70ms-500ms 端到端响应,比前沿 LLM 快 40-200 倍(TypeSafe 自测数据,存在自评偏差)
- 成本:输入 $0.042/百万 token,输出免费(因为不生成 token)
- 类型安全:schema 匹配是数学保证的,不是概率性的
- 校准概率:每个输出都附带置信度,而且高置信度确实对应高准确率
技术架构
核心机制:Option-Attention + 一次前向传播
以下基于逆向工程项目 jevlike(GitHub 上 166 分)的描述和 TypeSafe 的公开信息推断,不代表 Jev 的实际实现:
- 每个选项变成一个 query 向量
- query 对 context token 分配注意力权重,生成每个选项对应的 context 向量
- 共享的点积把每个 option-context 对变成一个分数
- softmax 跨选项归一化,得到概率分布
整个过程不需要自回归生成,一次前向传播就出结果。jevlike 的实验显示,在 8 个选项的场景下,这种方式比小型本地 decoder 模型生成 400 token 快约 100 倍(不是和前沿 LLM 的对比)。
训练方法:RLCD
TypeSafe 用了一种叫 RLCD(Reinforcement Learning for Calibrated Decisions)的训练方法。这个术语是 TypeSafe 自创的,公开信息有限,具体细节和效果待独立验证。但从概念上可以和已有的训练方法对比:
- LLM 用 RLHF(人类偏好强化学习)——优化”人觉得回答好不好”
- LLM 用 RLVR(可验证奖励强化学习)——优化”答案能不能被程序验证”
- Jev 用 RLCD——优化”决策的概率是否校准”
校准的意思是:模型说 90% 确信的时候,实际正确率确实在 90% 左右。这对自动化决策至关重要——如果你的系统知道什么时候该信模型、什么时候该走人工,就能设定合理的置信度阈值。
采样:并行而非串行
LLM 是串行采样——一个 token 接一个 token,每个依赖前面的。Jev 是并行采样——所有选项的概率一次算出来。这是速度优势的核心来源,也是”放弃字符串生成”的直接收益。
实际表现和限制
TypeSafe 发布时给了几个 demo 和评测结果,同时也坦诚列出了模型的问题。
能做的事
Jev 适合的场景是”软件里的智能 if 语句”——分类、路由、打分、提取、分支判断。这些场景的共同特点是:选项是有限的、封闭的,决策可以被软件直接使用。
几个有意思的 demo:
Doom 游戏控制:把游戏状态作为 state,让 Jev 在 7 个操作按钮里选。每秒 10 次查询,成本约 $7/小时。不是最强 AI 游戏-bot,但展示了实时决策能力。
维基百科竞速:从一个词条出发,只通过点击链接到达目标词条。每一步可能面对成百上千个链接选项。Jev 在步数上表现不错,得益于高基数选择下的无幻觉优势。
游戏关卡实时生成:Sprite Fusion 做了个跑酷游戏 demo,用 Jev 实时决定地形参数(宽度、间隙、高度、类型)。5 次 API 调用,延迟 319-375ms,总成本 $0.00286。
社区奇思妙想:有人把 Jev 逆向变成了一个(很烂的)聊天机器人——jevchat。原理是每一步问 Jev”下一个字符是什么”,从字母表里选。结果很好笑,但也从侧面验证了模型的核心能力。
做不了的事
TypeSafe 在文档里列出了 Jev 1.13 的已知问题,这个坦诚程度值得点赞:
- 不能做数学——Jev 不是计算器,计数也不可靠。数值运算留给代码。
- 不能比较日期——日期被当作文本读取,不是有序量。提取日期组件后用代码比较。
- 字面理解——Jev 回答你写的问题,不回答你”想问”的问题。歧义需要拆成多个字面问题。
- 间接推理弱——属性的属性、多层 hop 的推理准确率下降。
- 大 state 里的无关信息会干扰——state 越大、无关内容越多,准确率越低。
- 不能生成文本——需要生成能力时用 LLM。
- 中文等非英语语言准确率较低——主要训练语言是英语。
和 LLM 的关系
Jev 不是要替代 LLM。TypeSafe 自己说得很清楚:Jev 适合做”AI-Powered Workflows / smart if-statements”,而 LLM 适合做”human-in-the-loop tasks”。
理想的分工是:
- LLM 负责理解用户意图、生成自然语言回复、处理需要创造性的任务
- Jev 负责在 workflow 里做快速结构化决策——分类、路由、打分、判断
一个客服系统的例子:用户消息进来,LLM 提取关键信息并生成回复草稿,Jev 在中间做一系列决策——这个工单分给谁、优先级是什么、是否需要升级、退款金额是否在政策范围内。每个决策都是封闭选项 + 概率输出,直接被代码消费。
这种分工的核心洞察是:不是所有 AI 决策都需要生成文本。很多时候你需要的只是一个”在给定选项里做选择并给出置信度”的函数。
命名的含义
Jev 得名于 William Stanley Jevons——19 世纪的经济学家。Jevons 悖论说的是:蒸汽引擎效率提高后,煤的消耗不降反增,因为效率提升让更多的应用变得划算。
TypeSafe 的预期类似:当智能决策的成本下降两个数量级,需求不会减少,而是会爆炸式增长。以前不值得用 AI 做的决策——每个 API 请求的路由、每个用户的个性化分支、每个游戏帧的操作选择——现在都划算了。
$0.042/百万输入 token + 免费输出 + 70ms 响应(early access 定价,后续可能调整),这个定价确实把很多以前用不起 AI 的场景打开了。
社区反应
Hacker News 上的讨论相当热烈,509 条评论里几个主要观点:
支持方认为这是 AI 走向自动化的正确方向。LLM 太灵活也太不可控,工业界需要的是能在 pipeline 里可靠调用的决策组件。有人把它比作”AI 的 stored procedure”——不是万能的,但在特定场景下比通用方案好得多。
质疑方指出这本质上就是一个分类器,zero-shot 分类器并不新鲜。TypeSafe 的创新在于把分类器做到了前沿智能水平 + 极快速度 + 校准概率的组合,但”不能生成”这个限制在很多人看来是太大的牺牲。
实践派更务实——有人已经在尝试用它做实时游戏控制、内容审核、路由决策。jevlike 的逆向工程项目和 jevchat 的”把 Jev 变聊天机器人”项目都说明社区对这种新范式有探索热情。
对工程实践的启示
不管你用不用 Jev,TypeSafe 的思路有几个值得借鉴的点:
1. 不是所有 AI 调用都需要生成文本。 很多 Agent workflow 里的”LLM 调用”其实是在做分类或选择,用生成模型做这件事是大材小用且不可靠。如果选项是封闭的,用专门的决策模型更合适。
2. 校准概率比”自信的回答”更有用。 LLM 倾向于过度自信,即使 prompted for confidence 也不稳定。如果你的系统能拿到校准过的概率,就能做阈值控制——高置信度自动处理,低置信度转人工。这是自动化的前提。
3. 类型安全不是可选项。 在生产系统里,一个幻觉的 tool call 可能只是不方便,但一个类型错误埋在调用链深处是灾难。Jev 的 schema 保证是数学层面的——不是”99.9% 不会出错”,而是”不可能出错”。
4. 速度改变用途。 70ms 和 3 秒的区别不是”快了 43 倍”,而是”能用”和”不能用”的区别。3 秒的延迟做不了实时控制,70ms 可以。成本同理——$7/小时的 Doom bot 可能不算便宜,但对比用 GPT 跑同样任务的成本,差了两个数量级。
写在最后
Jev 代表了一种值得关注的方向:不是把模型做得更通用,而是把模型做得更专用。在所有人都卷更大、更通用的 LLM 的时候,TypeSafe 选择做一个”只会做选择”的模型,然后在这个特定维度上把速度、成本、可靠性推到极致。
这是不是 AI 应用的未来?可能只是一部分。LLM 不会消失,Jev 也不会替代它。但越来越多的场景会意识到:你需要的不是一个什么都能聊的助手,而是一个能在给定选项里快速、可靠、诚实地做选择的决策组件。
Jevons 悖论会不会在 AI 领域重演?当智能决策成本下降两个数量级,需求是否真的会爆炸?这取决于有多少”不值得用 AI”的决策场景,在成本门槛降低后变成”划算”的。从 Doom 游戏控制到实时关卡生成,早期 demo 已经在暗示答案。
参考资料
- Introducing System One Models & Jev - TypeSafe AI
- TypeSafe AI 文档
- Jev 1.13 Known Jaggedness
- jevlike - 逆向工程 Jev 的开源项目
- jevchat - 把 Jev 变成聊天机器人
- Generating levels in real time with the Jev model - Sprite Fusion
- Hacker News 讨论 (1930 分)
- Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.