Jev AI 结构化抽取:先把候选找出来,再让模型挑,最后用级联校验
结构化抽取是大家最爱丢给聊天模型干的活,也正好是聊天模型最不擅长的活。你让它回一个日期、一笔金额、一个收件邮箱,它一定会回你一个——包括没人写过的年份、被打乱顺序的数字、从上下文猜出来的币种。Jev 官方给了三种抽取形态,思路各不相同,但共用一条规矩:判断交给模型,值留在代码里。
下面按 TypeSafe 三份已发布的食谱走一遍:pre-parsed value extraction、date extraction、SDE cascade,置信度、阈值和成本全部照抄原文。
出处说明: 本文所有 confidence、概率、阈值、示例输出与成本数字,均取自上述三份食谱页面(都跑在
jev-1.14.0上)以及 Models、Choice、Advanced: structure、How to build with TypeSafe,读取时间 2026-11-10。官方页面里做过打码的值(+141****0177)这里照样打码。凡是我自己算出来的,都会标注「推算」。
三种形态一览
| 形态 | 模型负责 | 你的代码负责 | 对应食谱 |
|---|---|---|---|
| 从已找好的片段里挑 | 判断哪一段原文扮演要找的角色 | 逐字拷贝这段,再解析成带类型的值 | Pre-parsed value extraction |
| 读零件 | 用 Choice 回答「文本说了什么」 | 补空缺、做日历算术、做校验 | Date extraction |
| 先校验再升级 | 每条必须满足的规则配一个 Noul | 超过阈值就升级,否则保留便宜答案 | SDE cascade |
三种形态底下压着同一条原则,官方的构建指南把它列为全篇最重要的概念:宽问题把一个答案背后的好几个判断藏在一起,原子问题把它们拆出来,你才能逐个检视、调参、在代码里组合。「把这张发票的数据抽出来」是宽问题。「这四个找出来的金额里,哪一个是客户必须付的总额」是原子问题,而且它答完就能拿原文对。
形态一:从代码已经找好的片段里挑
pre-parsed 食谱从一小段文本里取三个值:寄件人希望把收据寄到哪个邮箱、一个电话号码、一张发票的总额。三个值的做法完全一样,三步:
- 正则找出候选。这一步按「宁可多抓」来调——真值必须全抓到,哪怕顺带抓进一堆错的。
- Jev 判断问题问的是哪一个候选,顺手读出下游要用的属性:币种、国家、这笔金额是收款还是退款。
- 代码把选中的那条字符串原样拷走、规范化。
关键在候选就是 Choice 问题的选项。这就是「模型造不出值」的机制:答案只能是某一段候选的拷贝,或者那个显式的 none 逃生口。食谱里 pick 这个辅助函数,选项表就是候选表加一个逃生项:
criteria = {c: None for c in candidates} | {
"none": "None of these is the requested value."
}
answer = ts.system_one(
state=document,
questions={"pick": Choice(instructions=question, criteria=criteria)},
model="jev-1.14.0",
).answers["pick"]
return {"choice": answer.choice, "confidence": answer.confidence}
邮箱:正文压过邮件头
示例邮件里有四个地址,正文明确说这一单别用 To: 里的账务别名,改用私人地址。同一个 state 上问两个问题:收据寄到哪个地址、这封信从哪个地址发出。实测答案:
- 收据 →
jane.personal@example.net,confidence 0.97 - 发件人 →
jane.doe@example.com,confidence 1.00
两条都是正则命中片段的拷贝。除了代码里做的小写化,没有任何一步是「重新生成」出来的。
电话:两个答案喂给一个库
文本里有三个号码,都没带国家码。这是两件互相独立的事,所以食谱问两个问题:哪一个是直拨手机,这个办公室在哪个国家——后一个是对固定标签集(US、GB、DE、FR、CA、AU)的 Choice。然后 phonenumbers 把选中的号码串和选中的国家拼成 E.164。实测:手机 (415) 555-0177 confidence 1.00,国家 US 1.00,格式化结果 +141****0177(官方页面已打码)。
注意这里的分工:「main desk」「billing fax」「my direct cell」哪个对应哪个,是模型的活;拼出一个国际格式电话号,是 phonenumbers 的活。谁都不越界。
金额:挑出来、定币种、再定正负
发票上有四个金额。食谱挑出「应付总额」和「本月已抵扣的礼遇额度」,对固定标签集判币种,再对每一个挑中的金额问一个 Noul:这一笔是给客户的退款/抵扣,而不是收款吗?实测结果:
| 问题 | 选中片段 | 解析结果 | 标记 | P(credit) |
|---|---|---|---|---|
| 应付总额 | $1,315.50 | 1315.50 USD | charge | 0.03 |
| 礼遇额度 | $50.00 | 50.00 USD | credit | 0.98 |
这两个 Noul 的答案,决定了代码解析出来的 Decimal 带正号还是负号。这是一个真判断——在正则眼里,退款行和收款行长得一模一样。
食谱还自己标出了解析假设的坑:它假设逗号是千分位、点号是小数点,这对 $1,315.50 成立,对 €1.315,50 恰好相反。官方给的解法不是加一堆 if,而是在同一个请求里再问一个 Noul——「这份文档是否用逗号作小数点?」——按答案分支。
动手前该知道的两个限制
- 一个
Choice最多 255 个选项。 候选超过这个数,就分两级:先选段落,再在段落里选片段。TypeSafe 的 line-by-line search 食谱就是第一级的完整示例——给每一行打上 ID,让 Choice 指到匹配的那几行。 - 真正费工的是找候选。 邮箱、电话、金额都有正则能覆盖这个空间;姓名没有,所以姓名的候选要么来自你手上已有的名册,要么来自命名实体识别器、或者一个负责提候选的 LLM。Jev 的角色从选项表存在之后才开始。
形态二:只读零件,算术留给代码
日期是「直接问模型要日期」最容易无声出错的地方。date extraction 食谱把它倒过来:Jev 只回答「文本说了什么」这一类 Choice 问题,Python 把零件组装成 date。
七个问题一次发完。mode 说明这个日期是怎么写的——absolute(写明月份的日历日期)、relative(今天、明天、后天,或者某个星期几)、none(文档没写这个日期)。剩下六个读零件:month、day、year、day_anchor、weekday、week_offset,代码只读 mode 指定要读的那几个。
两个细节让它真正可用:
- 年份问题留了两个逃生口。
none表示文本没写年份、由代码补;out_of_range表示写了年份但落在给定的 1900–2050 之外,代码标记出来而不是猜一个。食谱还给了一个务实简化:如果嫌 151 个选项太长,可以先把文本里像年份的数字抠出来,只把这些给模型。 - 一个日期的 confidence 是它所用到零件里最低的那个。 月份读得虚,整个日期就去人工复核——这个方向是保守的。
补年份的规则写得很死:先取当前年份,只有当这个日期已经过去一个多月时,才顺延到明年。而「下周四」的歧义由一个写明的约定解决,不交给模型:裸星期几 = 今天或之后的第一个;next = 下一个自然周;current = 本周。
官方公布的那张评分表
四段短文档里找六个日期,全部对照钉死的 TODAY = 2026-07-30(星期四),REVIEW_BELOW = 0.60:
| 问题 | 期望 | 实际 | Confidence | 标记 |
|---|---|---|---|---|
| 协议生效日 | 2025-01-01 | 2025-01-01 | 0.87 | |
| 协议到期日 | 2027-12-31 | 2027-12-31 | 0.97 | |
| 表格退回截止日 | 2026-08-14 | 2026-08-14 | 1.00 | |
| 启动会日期 | none | none | 0.66 | 复核 —— 文档没写这个日期 |
| 问卷关闭日 | 2026-07-30 | 2026-07-30 | 0.98 | |
| 设计评审日 | 2026-08-06 | 2026-08-06 | 0.87 |
五条自动通过,一条转人工。最有意思的是第四行:表格里确实有日期,只是不是这一个。mode 回了 none,日期为空——而且它的 0.66 其实过了 0.60 的门槛,仍然被标记,因为「文档没写的日期」永远走人工。
这一点比准确率数字更值钱。一个在文档没说的时候老实返回空的抽取器,比一个返回「看起来很像」的日期、让你自己去审的抽取器值钱得多。
形态三:让 Jev 校验,只在报警时升级
SDE cascade 食谱对付的是「抽取交给便宜的生成模型」这种情况。大推理模型给出的结构化数据更准,但慢且贵;小模型便宜,但会错。级联就是先跑便宜的,只有当某条检查亮红时才付强模型的钱。
官方版本的三层是:第 0 层 gpt-6-luna,第 1 层 gpt-6.1-sol 配 reasoning_effort="high",校验层 jev-1.14.0。校验器看不到正确答案——它只看任务原文和便宜模型给出的记录——它回答的是**「答案必须满足的每条规则,各配一个 Noul」**,每个都这样框定:true 表示这条规则被破坏。
| 规则 | 它问的问题 |
|---|---|
busy_conflict | 答案里的会议时间是否和任何一位参与者的忙碌时段重叠? |
outside_hours | 是否落在任务允许的工作时间或工作日之外? |
breaks_preference | 是否破坏了任务里写明的偏好,比如某人不想在某天开会? |
not_earliest | 任务要求最早的可行时间,而答案之外是否存在更早的可行时间? |
wrong_length | 答案里的会议长度是否与要求不符? |
no_single_time | 答案是否没有给出恰好一天、一个开始时间和一个结束时间? |
schema 校验根本不够
示例任务里便宜模型给出的答案是 {"day":"Monday","start_time":"10:30","end_time":"11:30"}。它完全通过 schema 校验——但它是错的:周一 10:30–11:30 同时压过了 Joan 和 Shirley 各 11:00 的会。JSON Schema 校验器看不见这个,而这正是这套食谱要抓的那类错误。
同一个答案,官方记录的 Noul 返回值:
| 规则 | P(broken) | |
|---|---|---|
busy_conflict | 0.97 | <== 报警 |
not_earliest | 0.25 | |
wrong_length | 0.17 | |
breaks_preference | 0.09 | |
no_single_time | 0.07 | |
outside_hours | 0.04 |
只有一条亮,其余都很安静——这才是单一阈值 0.7 能用的前提。食谱里两条设计说明值得抄下来:升级判定取最大值而不是平均,所以一条高置信的红旗就够了,不会被平均掉;把问题拆成六条窄问题,报警时能指名是哪条规则破了,而一个「这个答案对不对」的总分说不出哪里错了。
升级之后确实生效:强模型给出的时间是周一 14:00–15:00,三个人都空闲。
一千条任务上的级联
一个例子说明循环怎么转,公开发布的那次批量跑才说明它到底划不划算。任务是 NATURAL PLAN 的 1,000 条日历排会题;答案判定为「有效」的条件是 schema 合法、并且给出的是该任务的某个可行时间。数字取自 jev-1.14.0,记录日期 2026-11-05:
| 方案 | 每千条平均成本 | 有效答案占比 |
|---|---|---|
只用 gpt-6-luna | 0.156 | 92.6% |
只用 gpt-6.1-sol-high | 1.890 | 98.1% |
| 级联,阈值 0.58(升级 2.7%) | 0.261 | 94.9% |
| 级联,阈值 0.29(升级 13.3%) | 0.490 | 96.5% |
| 级联,阈值 0.18(升级 53.6%) | 1.307 | 98.1% |
| 级联,阈值 0.16(升级 64.1%) | 1.500 | 98.3% |
两个数字解释了级联为什么有空间:便宜模型在 1,000 条里错了 74 条,而这 74 条里有 72 条是 schema 合法的。只有语义规则问题才抓得住它们。Jev 那层校验每千条 $0.04,大约是两个层级成本差的四十分之一。升级比例超过 64% 之后,继续加钱买不到东西了。
上线前该算的那笔账
Jev 按输入 token 计价,$42/Btok 即 $0.042/Mtok,输出 token 免费(Models)。拿级联公布的校验成本倒推:
- 推算: 每 1,000 次校验 $0.04 ÷ 1,000 = 每次 $0.00004;按 $0.042/Mtok 折回,平均每次校验请求约 950 个输入 token——六个 Noul 问题加上任务原文和候选答案。食谱公布的是钱不是 token 数,所以 950 是我在它的数字上做的算术。
- 同一单价下,1,000 次校验 $0.04,十万次 $3.99。校验不是级联的预算大头。
- 片段挑选的请求更小:一份文档加几个短选项,$0.000016 一次大约折 380 token(推算)。默认上下文是每请求 64k、每问题 32k;带
TypeSafe-Danger-Zone-Long-Context: true头两者都提到 262k,但官方明说长上下文更慢也更不准,所以要按需开、不要默认开。
成本与延迟那篇里的结论在这里一字不改地成立:账单大头通常是文档本身,所以一个请求带多个问题,胜过多个请求各带一个问题。
三种形态怎么选
- 值本来就逐字存在于文档里,而且你能程序化地找到候选 → 用片段挑选。正则或名册求召回,
Choice在片段里选,字符串归代码。这是最安全的形态,能选它就选它。 - 值必须由文本写明的零件推导出来 → 读零件,在代码里算。日期、时长、规范化后的标识符,凡是应该由确定性库负责算术的,都归这一类。
- 记录本来就是生成模型产出的 → 校验加升级。一条规则一个 Noul,概率取最大值,一个阈值,只有报警才上强的那一层。
- 候选都不合适 → 确保你的请求有办法说出这句话。要么用显式
none选项,要么用设计模式那篇里的伴随 Noul,另问一句「到底有没有选项适用」。官方的提醒是:none of the above选项在很多场景下效果不好,伴随 Noul 是更强的替代。 - 一个问题有多个部分 → 把它结构化。
instructions、Choice的选项描述、Score的档位描述、Noul的 criteria 都接受 JSON 对象和数组,这样一份字段 schema 或一行数据库记录可以带键名传进去,而不用序列化进字符串模板。
三种形态守的是同一条纪律,也是置信度与兜底那篇一直在讲的:模型给答案,代码做决定,每个阈值都是一个放在同一处、能被人 review 的具名常量。结构化抽取是这条纪律回报最明显的地方——因为这里做错的失败模式,是「用户看得见的、文档里从来没出现过的那个值」。
常见问题
Jev 会不会抽出文档里根本没有的数值?
不会,这正是官方那几份食谱的出发点。pre-parsed 抽取里,正则先把所有可能是这个值的原文片段找出来,这些片段就是 Choice 的选项,所以答案必然是原文的逐字拷贝。模型判断哪一段扮演角色,字符串归代码管。候选里没有合适的时候,模型答显式的 none,而不是造一个值出来。
为什么要问日期的零件,而不是直接问是哪天? 因为日历计算是确定性的,而读懂文本不是。七个 Choice 捕捉文本说了什么,Python 负责组装。代码补上没说的年份、按写明的约定判定「下周四」、拒绝 2 月 30 日这种不可能的组合。Jev 全程不算算术。
一个 Choice 最多多少个选项? 255 个。超过就分两级——先选段落,再在段落里选片段。另外别忘了候选产生这一端的成本:邮箱、电话、金额有正则,姓名没有,需要名册或命名实体识别器。
便宜的那一层该不该开 structured outputs? SDE cascade 食谱故意不开。structured outputs 会强制 JSON 合法,把「偶尔那条破 schema 的答案」藏起来;食谱的做法是在 prompt 里附 schema、原样解析、失败就升级——升级是安全的那一侧。实测里 74 条错答案有 72 条本来就是 schema 合法的,真正干活的是语义规则问题。
级联比一直用好模型省多少? 每千条 $0.261 换 94.9%,对 $1.890 换 98.1%;$1.307 可以追平 98.1%。Jev 的校验是每千条 $0.04。级联划算的前提是:便宜模型大多数时候是对的,而它错的时候会踩到某条检查能看见的规则。
这套东西 Jev 1.13 能用吗?
能。这里用到的 Choice、Score、Noul 在 1.13 和 1.14 上都有,只有 Box 需要 1.14。官方食谱钉的是 jev-1.14.0,也就是 2026 年 10 月 14 日发布的那个版本,想让数字对得上就在这个模型上复现。