Jev AI 结构化抽取:先把候选找出来,再让模型挑,最后用级联校验

更新于 适用版本 Jev 1.14

结构化抽取是大家最爱丢给聊天模型干的活,也正好是聊天模型最不擅长的活。你让它回一个日期、一笔金额、一个收件邮箱,它一定会回你一个——包括没人写过的年份、被打乱顺序的数字、从上下文猜出来的币种。Jev 官方给了三种抽取形态,思路各不相同,但共用一条规矩:判断交给模型,值留在代码里。

下面按 TypeSafe 三份已发布的食谱走一遍:pre-parsed value extraction、date extraction、SDE cascade,置信度、阈值和成本全部照抄原文。

出处说明: 本文所有 confidence、概率、阈值、示例输出与成本数字,均取自上述三份食谱页面(都跑在 jev-1.14.0 上)以及 Models、Choice、Advanced: structure、How to build with TypeSafe,读取时间 2026-11-10。官方页面里做过打码的值(+141****0177)这里照样打码。凡是我自己算出来的,都会标注「推算」。

三种形态一览

形态模型负责你的代码负责对应食谱
从已找好的片段里挑判断哪一段原文扮演要找的角色逐字拷贝这段,再解析成带类型的值Pre-parsed value extraction
读零件用 Choice 回答「文本说了什么」补空缺、做日历算术、做校验Date extraction
先校验再升级每条必须满足的规则配一个 Noul超过阈值就升级,否则保留便宜答案SDE cascade

三种形态底下压着同一条原则,官方的构建指南把它列为全篇最重要的概念:宽问题把一个答案背后的好几个判断藏在一起,原子问题把它们拆出来,你才能逐个检视、调参、在代码里组合。「把这张发票的数据抽出来」是宽问题。「这四个找出来的金额里,哪一个是客户必须付的总额」是原子问题,而且它答完就能拿原文对。

形态一:从代码已经找好的片段里挑

pre-parsed 食谱从一小段文本里取三个值:寄件人希望把收据寄到哪个邮箱、一个电话号码、一张发票的总额。三个值的做法完全一样,三步:

  1. 正则找出候选。这一步按「宁可多抓」来调——真值必须全抓到,哪怕顺带抓进一堆错的。
  2. Jev 判断问题问的是哪一个候选,顺手读出下游要用的属性:币种、国家、这笔金额是收款还是退款。
  3. 代码把选中的那条字符串原样拷走、规范化。

关键在候选就是 Choice 问题的选项。这就是「模型造不出值」的机制:答案只能是某一段候选的拷贝,或者那个显式的 none 逃生口。食谱里 pick 这个辅助函数,选项表就是候选表加一个逃生项:

criteria = {c: None for c in candidates} | {
    "none": "None of these is the requested value."
}
answer = ts.system_one(
    state=document,
    questions={"pick": Choice(instructions=question, criteria=criteria)},
    model="jev-1.14.0",
).answers["pick"]
return {"choice": answer.choice, "confidence": answer.confidence}

邮箱:正文压过邮件头

示例邮件里有四个地址,正文明确说这一单别用 To: 里的账务别名,改用私人地址。同一个 state 上问两个问题:收据寄到哪个地址、这封信从哪个地址发出。实测答案:

两条都是正则命中片段的拷贝。除了代码里做的小写化,没有任何一步是「重新生成」出来的。

电话:两个答案喂给一个库

文本里有三个号码,都没带国家码。这是两件互相独立的事,所以食谱问两个问题:哪一个是直拨手机,这个办公室在哪个国家——后一个是对固定标签集(US、GB、DE、FR、CA、AU)的 Choice。然后 phonenumbers 把选中的号码串和选中的国家拼成 E.164。实测:手机 (415) 555-0177 confidence 1.00,国家 US 1.00,格式化结果 +141****0177(官方页面已打码)。

注意这里的分工:「main desk」「billing fax」「my direct cell」哪个对应哪个,是模型的活;拼出一个国际格式电话号,是 phonenumbers 的活。谁都不越界。

金额:挑出来、定币种、再定正负

发票上有四个金额。食谱挑出「应付总额」和「本月已抵扣的礼遇额度」,对固定标签集判币种,再对每一个挑中的金额问一个 Noul:这一笔是给客户的退款/抵扣,而不是收款吗?实测结果:

问题选中片段解析结果标记P(credit)
应付总额$1,315.501315.50 USDcharge0.03
礼遇额度$50.0050.00 USDcredit0.98

这两个 Noul 的答案,决定了代码解析出来的 Decimal 带正号还是负号。这是一个真判断——在正则眼里,退款行和收款行长得一模一样。

食谱还自己标出了解析假设的坑:它假设逗号是千分位、点号是小数点,这对 $1,315.50 成立,对 €1.315,50 恰好相反。官方给的解法不是加一堆 if,而是在同一个请求里再问一个 Noul——「这份文档是否用逗号作小数点?」——按答案分支。

动手前该知道的两个限制

形态二:只读零件,算术留给代码

日期是「直接问模型要日期」最容易无声出错的地方。date extraction 食谱把它倒过来:Jev 只回答「文本说了什么」这一类 Choice 问题,Python 把零件组装成 date。

七个问题一次发完。mode 说明这个日期是怎么写的——absolute(写明月份的日历日期)、relative(今天、明天、后天,或者某个星期几)、none(文档没写这个日期)。剩下六个读零件:month、day、year、day_anchor、weekday、week_offset,代码只读 mode 指定要读的那几个。

两个细节让它真正可用:

补年份的规则写得很死:先取当前年份,只有当这个日期已经过去一个多月时,才顺延到明年。而「下周四」的歧义由一个写明的约定解决,不交给模型:裸星期几 = 今天或之后的第一个;next = 下一个自然周;current = 本周。

官方公布的那张评分表

四段短文档里找六个日期,全部对照钉死的 TODAY = 2026-07-30(星期四),REVIEW_BELOW = 0.60:

问题期望实际Confidence标记
协议生效日2025-01-012025-01-010.87
协议到期日2027-12-312027-12-310.97
表格退回截止日2026-08-142026-08-141.00
启动会日期nonenone0.66复核 —— 文档没写这个日期
问卷关闭日2026-07-302026-07-300.98
设计评审日2026-08-062026-08-060.87

五条自动通过,一条转人工。最有意思的是第四行:表格里确实有日期,只是不是这一个。mode 回了 none,日期为空——而且它的 0.66 其实过了 0.60 的门槛,仍然被标记,因为「文档没写的日期」永远走人工。

这一点比准确率数字更值钱。一个在文档没说的时候老实返回空的抽取器,比一个返回「看起来很像」的日期、让你自己去审的抽取器值钱得多。

形态三:让 Jev 校验,只在报警时升级

SDE cascade 食谱对付的是「抽取交给便宜的生成模型」这种情况。大推理模型给出的结构化数据更准,但慢且贵;小模型便宜,但会错。级联就是先跑便宜的,只有当某条检查亮红时才付强模型的钱。

官方版本的三层是:第 0 层 gpt-6-luna,第 1 层 gpt-6.1-sol 配 reasoning_effort="high",校验层 jev-1.14.0。校验器看不到正确答案——它只看任务原文和便宜模型给出的记录——它回答的是**「答案必须满足的每条规则,各配一个 Noul」**,每个都这样框定:true 表示这条规则被破坏。

规则它问的问题
busy_conflict答案里的会议时间是否和任何一位参与者的忙碌时段重叠?
outside_hours是否落在任务允许的工作时间或工作日之外?
breaks_preference是否破坏了任务里写明的偏好,比如某人不想在某天开会?
not_earliest任务要求最早的可行时间,而答案之外是否存在更早的可行时间?
wrong_length答案里的会议长度是否与要求不符?
no_single_time答案是否没有给出恰好一天、一个开始时间和一个结束时间?

schema 校验根本不够

示例任务里便宜模型给出的答案是 {"day":"Monday","start_time":"10:30","end_time":"11:30"}。它完全通过 schema 校验——但它是错的:周一 10:30–11:30 同时压过了 Joan 和 Shirley 各 11:00 的会。JSON Schema 校验器看不见这个,而这正是这套食谱要抓的那类错误。

同一个答案,官方记录的 Noul 返回值:

规则P(broken)
busy_conflict0.97<== 报警
not_earliest0.25
wrong_length0.17
breaks_preference0.09
no_single_time0.07
outside_hours0.04

只有一条亮,其余都很安静——这才是单一阈值 0.7 能用的前提。食谱里两条设计说明值得抄下来:升级判定取最大值而不是平均,所以一条高置信的红旗就够了,不会被平均掉;把问题拆成六条窄问题,报警时能指名是哪条规则破了,而一个「这个答案对不对」的总分说不出哪里错了。

升级之后确实生效:强模型给出的时间是周一 14:00–15:00,三个人都空闲。

一千条任务上的级联

一个例子说明循环怎么转,公开发布的那次批量跑才说明它到底划不划算。任务是 NATURAL PLAN 的 1,000 条日历排会题;答案判定为「有效」的条件是 schema 合法、并且给出的是该任务的某个可行时间。数字取自 jev-1.14.0,记录日期 2026-11-05:

方案每千条平均成本有效答案占比
只用 gpt-6-luna0.15692.6%
只用 gpt-6.1-sol-high1.89098.1%
级联,阈值 0.58(升级 2.7%)0.26194.9%
级联,阈值 0.29(升级 13.3%)0.49096.5%
级联,阈值 0.18(升级 53.6%)1.30798.1%
级联,阈值 0.16(升级 64.1%)1.50098.3%

两个数字解释了级联为什么有空间:便宜模型在 1,000 条里错了 74 条,而这 74 条里有 72 条是 schema 合法的。只有语义规则问题才抓得住它们。Jev 那层校验每千条 $0.04,大约是两个层级成本差的四十分之一。升级比例超过 64% 之后,继续加钱买不到东西了。

上线前该算的那笔账

Jev 按输入 token 计价,$42/Btok 即 $0.042/Mtok,输出 token 免费(Models)。拿级联公布的校验成本倒推:

成本与延迟那篇里的结论在这里一字不改地成立:账单大头通常是文档本身,所以一个请求带多个问题,胜过多个请求各带一个问题。

三种形态怎么选

三种形态守的是同一条纪律,也是置信度与兜底那篇一直在讲的:模型给答案,代码做决定,每个阈值都是一个放在同一处、能被人 review 的具名常量。结构化抽取是这条纪律回报最明显的地方——因为这里做错的失败模式,是「用户看得见的、文档里从来没出现过的那个值」。

常见问题

Jev 会不会抽出文档里根本没有的数值? 不会,这正是官方那几份食谱的出发点。pre-parsed 抽取里,正则先把所有可能是这个值的原文片段找出来,这些片段就是 Choice 的选项,所以答案必然是原文的逐字拷贝。模型判断哪一段扮演角色,字符串归代码管。候选里没有合适的时候,模型答显式的 none,而不是造一个值出来。

为什么要问日期的零件,而不是直接问是哪天? 因为日历计算是确定性的,而读懂文本不是。七个 Choice 捕捉文本说了什么,Python 负责组装。代码补上没说的年份、按写明的约定判定「下周四」、拒绝 2 月 30 日这种不可能的组合。Jev 全程不算算术。

一个 Choice 最多多少个选项? 255 个。超过就分两级——先选段落,再在段落里选片段。另外别忘了候选产生这一端的成本:邮箱、电话、金额有正则,姓名没有,需要名册或命名实体识别器。

便宜的那一层该不该开 structured outputs? SDE cascade 食谱故意不开。structured outputs 会强制 JSON 合法,把「偶尔那条破 schema 的答案」藏起来;食谱的做法是在 prompt 里附 schema、原样解析、失败就升级——升级是安全的那一侧。实测里 74 条错答案有 72 条本来就是 schema 合法的,真正干活的是语义规则问题。

级联比一直用好模型省多少? 每千条 $0.261 换 94.9%,对 $1.890 换 98.1%;$1.307 可以追平 98.1%。Jev 的校验是每千条 $0.04。级联划算的前提是:便宜模型大多数时候是对的,而它错的时候会踩到某条检查能看见的规则。

这套东西 Jev 1.13 能用吗? 能。这里用到的 Choice、Score、Noul 在 1.13 和 1.14 上都有,只有 Box 需要 1.14。官方食谱钉的是 jev-1.14.0,也就是 2026 年 10 月 14 日发布的那个版本,想让数字对得上就在这个模型上复现。

常见问题

+ Jev 会不会抽出文档里根本没有的数值?

不会,这正是官方那几份抽取食谱的出发点。pre-parsed value extraction 食谱里,正则先把所有「可能是这个值」的原文片段找出来,这些片段直接成为 Choice 问题的选项,所以答案必然是文档里已存在的某一段原文的逐字拷贝。模型只负责判断「哪一段扮演这个角色」,字符串归代码管。候选里没有合适的,模型会答那个显式的 none 逃生选项,而不是自己造一个。

+ 为什么让 Jev 读日期的各个零件,而不是直接问它这个日期是哪天?

因为日历计算是确定性的,而「读懂文本说了什么」不是。date extraction 食谱一次发七个 Choice:这个日期是绝对日期、相对日期还是没有;若是绝对日期,月、日、年分别是哪个;若是相对日期,锚点是今天、明天、后天还是某个星期几,是本周还是下周。拿到零件之后,由 Python 组装成 date。代码负责补上文本没说出来的年份、按写明的约定判定「下周四」到底是哪天、并拒绝 2 月 30 日这种不可能的组合。Jev 全程不做算术。

+ 级联(先便宜模型、再按需升级)比直接一直用好模型省多少?

官方在 1,000 条日历排会任务上的实测:直接用强模型(gpt-6.1-sol,reasoning_effort=high)每千条 $1.890,正确率 98.1%。只把 Jev 报警最狠的 2.7% 升级上去,每千条 $0.261 达到 94.9%;升级 13.3% 时 $0.490 达到 96.5%;升级 53.6% 时 $1.307 追平强模型的 98.1%。Jev 自己那层校验的成本是每千条 $0.04。

+ 一个 Jev Choice 问题最多能带多少个选项?

255 个,这是官方写明的硬上限。pre-parsed extraction 食谱把它列为「按片段选值」的两个现实限制之一:候选超过 255 个就得分两级走——先选段落,再在段落里选片段。另一个限制在候选产生这一端:邮箱、电话、金额都有正则能覆盖,姓名没有,所以姓名候选要么来自你手上已有的名册,要么来自一个把候选提给你的命名实体识别器。

+ 级联里的便宜模型该不该开 structured outputs,强制它输出合法 JSON?

SDE cascade 食谱故意不开,理由写得很直白:structured outputs 会强制 JSON 合法,从而把「偶尔那条破了 schema 的答案」藏起来。它的做法是在 prompt 末尾附上 JSON Schema、要求模型只回一个 JSON 对象,然后原样 json.loads,不用正则去回复里钓鱼;解析失败或校验不过就升级——升级是安全的那一侧。实测里便宜模型 74 条错答案中有 72 条是 schema 合法的,真正抓出问题的是那六条语义规则问题。

继续阅读