用 Jev API 核查大模型答案有没有出处:三个 Noul 一次请求,算出一个风险值
检索管线里有一种错,靠改提示词永远改不掉:模型写出了一段检索到的段落根本不支持的话,而这段输出跟真正有出处的答案长得一模一样。紧挨着它还有第二种——段落明明写得很清楚,模型却回一句「材料里没有」,同样没有任何痕迹。
这篇讲的就是把这两种都抓住的做法,用的还是 Jev API。它是对官方 verify_llm_outputs cookbook 的中文构建说明:下面所有数字都来自官方公布的那一次运行,用 jev-1.14.0、2026-11-07 测的,被核查的答案由 gpt-6-luna 在同一天写出。这里没有「按理说应该能到多少」的估算。
两种错,长得都像答案
场景没什么特别的:你有问题,你检索出若干段落,然后要求大模型只用这些段落作答。
第一种错在链条上补了一步。从问题走到答案需要的事实缺了一块,模型没从文本里找,而是拿自己记忆里的东西填上了。返回来的那句话,和同批次其他答案读起来毫无区别。
第二种错是退得太早。段落里真有答案,模型却报告说没有——常见的原因是那个事实要跨两跳,藏在一段看着像背景介绍的段落里。
这两种在输出层面都不可见,而且都能成规模地发生。所以核查不能只是「换个提示词再问一遍」;它得问一种不同的问题——问段落,而不是问答案。
一次请求装下整场核查
每条答案的 state 只建一次,四个字段:
request—— 原始问题response_requirement—— 给作答模型的那条指令,让核查方知道它当时被要求做什么paragraphs—— 检索回来的段落,每段带自己的标题candidate_response—— 待查的答案
三个问题全部塞进这同一个请求。这么安排不是为了优雅,是为了成本和延迟:Jev 只把 state 摄入一次,然后并行地对它评每个问题,所以往请求里加问题不会让你要付钱的 state 翻倍。官方 models 页给的两条上下文限制是每请求 64k token、每问题 32k token,这就成了检索窗口开大时必须守住的那条线——state 加所有问题要装进前者,state 加任意单个问题要装进后者。
作答指令值得一字不改地存进 state,因为官方那组数字正是建立在这条指令上的:
Answer the question using only the paragraphs. Return only the shortest answer that fully answers the question. Do not explain your reasoning. If the paragraphs do not answer the question, say so.
最后那句「如果段落没回答这个问题,就照实说」才产出了下面第二个问题要检查的那些推辞。换一条禁止推辞的指令,你就把核查范围砍掉了一半:不支持来源的答案还能抓,而多余的推辞从此看不见。
三个 Noul,逐个写出来
Noul 是那种答案以概率返回的是非题原语。每个 Noul 由一条指令和两条 criteria 组成——判为真是什么意思、判为假是什么意思。核查好不好用,八成取决于这两句话写得准不准。
answerable —— 段落有没有把回答问题所需的每一件事实都说出来?真=从问题走到答案的每一步都能在段落里找到;假=至少有一句话在段落里没说。
declines —— 待查答案是不是在推辞、或者说信息缺失?真=它说自己答不了、或说段落里没写;假=它给出了答案。
supported —— 从问题出发,顺着段落一步步走,能不能走到这个答案?真=段落用明确写下的事实把问题和答案连了起来;假=连不起来。
三个放一起看,就明白为什么要拆开而不是问一个复合判断:answerable 描述的是来源,declines 描述的是作答方的行为,supported 描述的是两者之间的关系。一句「这个答案对不对」等于让模型同时解决这三件事,而且一旦分数低了,你说不清是段落没检索对,还是模型把好材料给推了。
三个概率合成一个风险值
规则很短:
declines大于等于 0.5,风险取answerable—— 该答却推辞,段落越答得出,这次推辞就越错- 否则风险取
1 - supported—— 答了却推不出来,段落离答案越远,这条答案越可疑
然后一个阈值,代码里叫 REVIEW_AT = 0.2:风险大于等于它的进人工复核,低于它的放行。
这个设计有两点值得说明,因为它们决定了这个数字在运营上到底意味着什么。
第一,风险值不是「答对的概率」,是「先看哪条的优先级」。一条风险 0.02 的答案恰好是错的,这不算 bug,这是「核查在读书而不是在掌握事实」必然要付的代价。
第二,作用在 declines 上的 0.5 是个开关,不是分数。分数刚好在 0.5 附近的答案等于被一枚硬币分了类;这是唯一一种情形下你会想两条分支都算、取更大的那个。官方那次运行没这么干,它老老实实按开关走。
四条答案的真实得分
cookbook 依次打印四条答案:一条答对了的、一条推辞对了的、一条段落支持不了的、一条段落明明答得出却被推辞的。以下是原文数字,未做改动:
| 问题 | gpt-6-luna 的回答 | answerable | declines | supported | 风险 | 结论 |
|---|---|---|---|---|---|---|
| Where did the painter of The Mud Bath study? | The Slade School of Art. | 0.97 | 0.02 | 0.98 | 0.02 | PASS |
| Where is Assomada located? | The paragraphs do not say where Assomada is located. | 0.07 | 0.99 | 0.97 | 0.07 | PASS |
| What was the population density of Tammy Leitner’s city of birth in 2009? | 182.5/km² | 0.12 | 0.04 | 0.08 | 0.92 | REVIEW |
| When did the father of Dahyabhai Patel die? | The paragraphs do not say when Dahyabhai Patel’s father died. | 0.86 | 0.81 | 0.09 | 0.86 | REVIEW |
前两条放行的理由正好相反,这才是这段示例的价值。Mud Bath 那条 supported 拿到 0.98——段落确实能推出它。Assomada 那条在推辞,而 answerable 只有 0.07,说明推辞得对。两条都对,一条靠答对,一条靠不答。
Tammy Leitner 那条是更有意思的失败样本。此人出生在 San Diego,但没有哪个段落给出 San Diego 在 2009 年的人口密度,于是 supported 掉到 0.08,风险 0.92。182.5/km² 这个数不是瞎写的,它是一个听起来合理的、来自来源之外的数字。能不能分清「合理」和「推得出来」,只有真去走段落的那种核查做得到。
Patel 那条是镜像。一个段落写明 Sardar Vallabhbhai Patel 是 Dahyabhai Patel 的父亲,另一个段落给了他去世的日期,问题答得出——模型还是推辞了。answerable 0.86 把这次推辞送进复核。这类错误恰恰是「答案对不对」式核查最常漏掉的,因为它从不单独看推辞。
对/错标注是怎么来的
不知道哪条答案实际是对的,就没法测核查。官方分两步做标注,而第二步的较真程度,正是这组数字值得引用的原因。
第一步:MuSiQue 每个问题都带参考答案。发一次 Jev 请求,用一个 matches_reference 的 Noul 把答案和参考答案比,不给它看段落,允许同一实体、同一数值、同一日期换种说法。分数到 0.5 以上就标为对,那次运行报的是 739 条。
第二步:剩下 261 条交给 gpt-6.1-sol,reasoning_effort 设为 high,输出走严格 JSON schema,标签只能取 right、wrong、unclear 之一,另附理由。这个模型能看到段落和参考答案,也会被告知:人写的参考答案本身可能对段落叙述有误。结果拆开是 146 对、115 错、0 存疑。
739 加 146 是 885,885/1000 就是全文到处引用的 88.5% 基线。之所以要多这道复检,是因为参考答案会以两种很具体的方式出错:MuSiQue 认为问题答得出,但段落跳了一步;或者问题本该是无解的,而另一个段落里偏偏留着答案。
数据集本身也该知道,因为核查的难度是它设定的。问题来自 MuSiQue(Trivedi 等,CC BY 4.0),每道题把两到四个关于维基百科的简单问题串成一道,所以后面的子问题要用到前面的答案。每题配 20 个段落,多数段落话题相近、对答题毫无用处。这里用的是 MuSiQue 开发集里固定随机抽出的 1,000 题,每题取其中一个版本——关键就在这半句:大约一半是那个「删掉了必需段落、于是这道题从剩下的材料里答不出来」的版本。运行时会直接打印:1,000 questions, 473 answerable from their paragraphs。
少了这个配比,一个只会唱衰的核查也能显得很准。所以要盯的正是这件事:遇到无解的题,好答案必须是推辞,而核查也得为正确的理由同意这是一次推辞。
在 1,000 条答案上的实测
下面是官方公布的表格,阈值都在。列的含义:用了多少条答案、其中对的比例、被拦下来的错答数量。
| 采用的答案 | 用了多少 | 其中对的比例 | 拦下多少条错答 |
|---|---|---|---|
| 全部答案 | 1,000 (100%) | 88.5% | 0 / 115 |
| 风险低于 0.2 | 727 (73%) | 95.7% | 84 / 115 |
| 风险低于 0.3 | 825 (82%) | 94.2% | 67 / 115 |
| 风险低于 0.5 | 917 (92%) | 91.9% | 41 / 115 |
| 风险低于 0.7 | 965 (96%) | 90.3% | 21 / 115 |
前两行读起来就是核心结论。全部照收,1,000 条、88.5%;按 0.2 只放行核查点头的,727 条、95.7%。也就是拿掉约四分之一的量,换来七个多点的准确率,同时把 115 条错答里的 84 条移出了「已回答」的流。
后三行是同一个交换在更松的设置下长什么样,也是阈值不该盲抄的原因。0.7 时你留 965 条、90.3%,只拦下 21 条错答——这是「复核很贵、错一条给用户代价很低」时该选的位置。0.3 时留 825 条、94.2%,拦下 67 条。停在哪一格是运营决定,不是模型决定。
分布形状解释了曲线为什么这样弯:对的答案挤在风险接近零那一端,错的答案摊在整个区间。想把大多数错答拦在门外,阈值就得压得足够低,而低到这个程度,必然也会把一些对的答案推进复核。
还有一个数字得说清楚,因为复核岗第二周就会体会到:0.2 阈值下拦下 273 条,其中 84 条是错的,另外 189 条其实没问题。复核队列里大半是确认工作。任何要上这套东西的计划,都得配一个真有人在的队列,或者给「已放行但仍存疑」的那批安排一个更便宜的第二动作。
它抓不住什么
官方「用在你自己的答案之前」那一节写得异常具体,也正好是这个模式能干什么、不能干什么的最好说明。
在 0.2 阈值下有 31 条错答被放行。其中 18 条是答非所问:问的是乐队里有谁,答回来的是「Leftover Salmon」;问的是 NFL 属于什么,答回来的还是「the NFL」。这些答案段落确实推得出来,supported 自然高,而核查的表现是自洽的——它量的是段落支不支持这个答案,不量问题有没有被读懂。这类错得另加一个问题,压低阈值没用。
剩下 13 条是段落明明答得出、却被推辞了,而 answerable 也低,0.10 到 0.19。这一组更值得警惕:段落之间那层连接,大模型没看出来,Jev 也没看出来。如果源文本把某一步藏得太深,核查会继承同样的难度,任何阈值都补不上。
还有两条结构性提醒,也该抄进你内部的说明里。其一,对/错标签由模型给出,复检标准一严一松,88.5% 这个基线就会变,而所有由此推出的精度数字会跟着变。其二,这三个核查问题是拿候选的两组别的问法比出来的——比较样本是这个数据集的前 100 题,所以在那 100 题上的成绩并不是对这套选择的公平检验。
接进管线怎么摆
跑起来有用的形态就是 check_answer() 的形态:建 state,一次调用问三个问题,算风险,把三个概率和结论一起返回——下游记四个数,别只记一个布尔值。
官方那次运行里有四个细节值得照搬:
- 两侧并发分开管。 cookbook 作答侧 8 个 worker,样本量下约 1,250 次 OpenAI 调用;Jev 侧 4 个 worker 跑 2,000 次调用,并且明写着再加并发就会撞上公开速率上限。速率限制是按供应商算的,不是按管线算的。
- 把模型调用缓存起来。 笔记本给两个调用方都套了以 prompt 或 state 为键的 JSON 缓存;缺
TYPESAFE_API_KEY时客户端退回占位值cache-only,于是没 key 的内核靠回放跑通。已经下载到盘的缓存文件永不被覆盖——想改成实跑,删掉它,而不是去编辑它。 - 指令留在 state 里。 有了
response_requirement,你日后才能审计一个历史分数。作答提示一改,旧的风险值就不可比了,而这个字段没存下来,你连为什么都说不清。 - 记三个概率,不只记风险。
answerable和supported分开漂移的原因不一样,这一对是你最便宜的诊断信号:一大片「answerable低、风险却低」的样本,通常说明检索太弱,而不是答案太强。
阈值要在自己的数据上定
cookbook 在这件事上给的建议很直接:换上你的问题、你的段落、你的参考答案,重跑一遍标注,然后从表里读出阈值。理由是上面那条曲线整体是 MuSiQue 那种「可答/不可答」配比的产物,配比一换,数字就动。
完全没有参考答案也有个便宜办法,够定出可用的设置:随机抽 200 条答案人工标一遍,算出它们的风险,把两个直方图画出来。你拿不到文中那组精度数字,但你会看到自己的对答案落在哪儿——阈值这个决定要的正是这个。之后把这批标注留着,那是日后发现「换模型把分布挪了」的唯一途径。
成本、量和你要发的东西
官方 models 页给的价是每十亿输入 token 42 美元,折合每百万 0.042 美元,输出 token 免费。计费单位是 state,这也是三个问题塞一个请求最经济的原因:问题、指令、段落、答案只付一次钱,不是三次。
每个请求还受两条上下文限制:每请求 64k、每问题 32k;发 TypeSafe-Danger-Zone-Long-Context: true 头可以两项都提到 262k,1.14 和 1.13 都支持。长上下文按同样的单价计费,官方文档里也写明它更慢、更不准,所以稳妥的默认是把检索窗口压在常规限制内,只在真遇到长文档时才开这个头。
那次测量报告的是 1,000 条答案 2,000 次 Jev 调用,也就是一条两次:一次核查、一次与参考答案比对用来打标。生产上你只需要前者,按一条一次规划即可。另外模型版本会动,价格要回官方 models 页现查,别拿一个季度前的报价当预算。
和站内其他页面的关系
这套核查是用原语搭的,所以前面那些指南不是背景阅读,是前置。 三个原语 讲了为什么 Noul 返回的是概率而不是布尔值;置信度与兜底 讲拿到概率之后怎么用——这里的风险公式就是那个模式的一个具体实例。给大模型应用做护栏 是它的姊妹核查:那一页在模型前后筛消息,这一页问的是答案能不能从文档推出来。请求模式 讲怎么把多个问题并进一次请求,跟这里做的是同一个动作。
检索那头,重排 决定哪些段落能进来,而这一页正是那个决定之后要做的事——看看作答模型到底用没用上它们。测量这套机器本身——参考答案打标、用第二个模型裁争议、从表里挑阈值——跟 RAG 分块与重排批处理案例 里的是同一套;区别在于这一页量的是出处,不是检索顺序。
如果瓶颈是复核人力而不是模型开销,客服分流 讲复核队列该往哪送,工单分流 则给出「每条进来的消息都要过一次分类」时的量级。
常见问题
这跟用大模型当裁判是一回事吗? 不是一回事,差别在证据的形状。裁判读答案、判断它看着好不好;这套核查读段落、判断段落能不能推出这个答案。官方结果就反映了这一点:对的答案分数低而集中,错的答案摊在整个区间——这是测量该有的样子,不是偏好。
能省掉打标那一步吗? 线上管线可以——你需要的是核查,不是测量。代价是你没法声称任何精度数字,也没法解释你那个阈值凭什么这么定。
风险正好 0.2 会怎样? 进复核。cookbook 的原话是重试、换更强的模型,或者找人看。核查本身不决定复核长什么样。
换语言要调风险公式吗? 官方没说过要,这篇也不猜。1.14 的多语言能力文档里写着有提升,但按语言分阈值这种事,得先在你自己的标注集上测出来再谈。
段落本身是错的但自洽呢? 那 supported 会很高,核查会放行。这是出处核查,不是事实核查:它验的是「答案能不能从你检索到的东西推出来」,检索质量差多少,它就继承多少。