Jev AI 无限选项集 Choice:怎样从 5000 条里选出一条(三轮筛选)

更新于 适用版本 Jev 1.14

Choice 问题的工作方式,是从你递给它的一组选项里挑一个。三五个团队、十来种分类、三十条产品线,都好用。但 5000 部电影、四万个 SKU、每周都在长的帮助中心,就不行了——不是 Jev 判断不了 5000 条,而是一个问题装不下那么多选项,一个请求也装不下那么多 token。

TypeSafe 在 Infinite cardinality choice 这份 cookbook 里把这条死路走通了,而且量得很实:100 个真实请求、四种策略在同一批数据上对比、还有一张按概率分档的正确率表,正好用来定阈值。下面按代码执行的顺序把三轮走一遍,每个数字都标明来自哪次运行,最后给出把这套结构搬进自己目录之前该算的账。

出处说明: 本文所有数字、阈值、常量、代码结构都来自 TypeSafe 官方文档 docs.typesafe.ai/cookbooks/infinite_cardinality_choice、docs.typesafe.ai/primitives/choice、docs.typesafe.ai/models,读取日期 2026-11-18。引用的概率是官方已发布运行结果里打印出来的值,不是本文重新跑一遍得到的。没有任何一处是编出来的示意。

你会先撞上的两道天花板

把 5000 条塞进一个 Choice,卡住的是两个不同的限制。

选项数量。 一个 Choice 问题最多接受 255 个选项(见 docs.typesafe.ai/primitives/choice)。选项短的时候,官方反而建议你把整份清单递过去,别只给一个候选子集,因为每个选项只花几个 token。而 cookbook 展示的是另一面:当每个选项本身就是一段长剧情简介时,实际上限会塌到 四十个左右。

上下文。 一个 Jev 请求要同时满足两个限制——单请求 64k token、单问题 32k token,models 页对 jev-1.14.0 和 jev-1.13.0 都是这个数。一条 600 词的剧情简介大约 700 token,四十条就接近 28k:还没撞上单请求上限,但已经不适合再往下塞了。

所以真正要回答的不是「怎么让 Jev 给 5000 个选项排序」,而是 怎么便宜地从 5000 缩到 20,然后只为这一次排序付钱。官方给的是三轮:每一轮读得更少、但读得更深。

这批数字量在什么数据上

脱离数据集谈正确率没有意义,所以先把 cookbook 的数据照抄一遍。

这些请求长什么样?就像一个人描述他记不清的片子。请求 388 讲的是一位母亲带着一儿一女被鬼折腾,最后发现那些「鬼」其实是时空旅行者,答案是 The Diabolical(2015)。

第一轮——每部电影一条 Noul,读短简介

第一轮刻意不用 Choice,而是 5000 条 Noul,一部片一条,每条都把片名和它的短简介写进命题里:

The film this person is trying to remember is {title} ({year}).
Its plot: {short plot}

这个措辞是有讲究的:问题让模型把「请求」和「简介文本」对照,而不是让它凭片名回忆一部电影。而凭片名回忆,恰恰是「话到嘴边说不出」这种请求专门击穿的环节。

因为单次调用最多 64k token,目录要切块:CHUNK = 300,每部约 150 token,一块稳稳落在上限之内。所有块一次性同时发出去,而不是串行排队——块与块之间没有依赖,于是用线程池按块数并发。官方运行打印的结果是:

5,000 answers from 17 calls sent together; the slowest took 0.4s

17 次调用,因为 5000 / 300 向上取整就是 17。目录继续变长,等待时间基本不会变——前提是你的速率限制允许同时发这么多请求,真正的瓶颈在这里,不在模型延迟。在 100 个请求上,海选自己的前八十名装住了 93 个正确答案。

海选准,但不够准,官方那个例子把原因说得很清楚:请求 388 里,海选的前五名是 Ghostbusters: Afterlife 0.64、The Curse of La Llorona 0.37、Thirteen Ghosts 0.33、Mama 0.31、Wicked Little Things 0.31,而正确答案 The Diabolical 只排在第六。它靠的是表面事实对上了:一个母亲、两个孩子、闹鬼的房子、缺钱。真正能认出这部片的细节——那些鬼其实是时空旅行者——出现在剧情简介一百词之后,海选根本没读到。

第二轮——用长简介重读前八十名

于是第二轮把海选的前 FIRST_CUT = 80 名重新问一遍,这次每部给六百词。问题变长,每块能装的片子就变少:LONG_CHUNK = 40,每部约 700 token,一块约 28k。块仍然同时发出。

在请求 388 上,就是这一步把 The Diabolical 推到第一:

the long plots' top five:
  0.60  The Diabolical (2015)  <- the film
  0.40  Ghostbusters: Afterlife (2021)
  0.30  The Others (2001)
  0.26  Thirteen Ghosts (2001)
  0.17  Knowing (2009)

放到 100 个请求上,重读之后的前二十名装住 88 个正确答案,而只用海选的前二十名是 82。第二轮花掉第一轮大约七十分之一的 token,换来六个点的召回——而且如下一节所示,它还改变了最后那条 Choice 能看到什么。

第三轮——用一条 Choice 在前二十里定夺

整个流程里只有一条 Choice,而且很小:CANDIDATES = 20 部,每个选项写「片名 + 长简介」,全部放在一个问题里互相比较。

Which film is this person trying to remember?
  the_diabolical: The Diabolical (2015): <600 词剧情简介>
  ghostbusters_afterlife: Ghostbusters: Afterlife (2021): <600 词剧情简介>
  ...

请求 388 的发布答案是:1.00 给 The Diabolical,另外十九部全是 0.00。Choice 之所以能做到这种决断力,是因为它在选项之间做了归一化。

这也是整条链路要跑完三轮、而不是停在候选阶段的原因。每条 Noul 都是各自独立判断一部片,所以两部都沾边的片可以同时拿到 0.4 以上——官方例子里就是 0.60 加 0.40,加起来超过 1,因为它们回答的其实是不同的问题。而对着同样二十部做一条 Choice,回答的是一个统一的问题:第一名比其余高出多少。因此它的最高概率可以直接读作「第一名是对的概率」,而这正是一个阈值需要的东西。

值不值得跑三轮:官方那组对比

同一批 100 个请求、同一条 Choice 问题,三种候选来源:

向量检索不重读跑满三轮
正确答案进入 Choice35%82%88%
正确答案排第一33%73%78%
正确答案进前三34%76%82%

「向量检索」那一列是多数人的第一反应:用 OpenAI 的 text-embedding-3-small 把每部片的短简介和请求分别向量化,取最接近的二十部,交给同一条 Choice。它把正确影片送进候选的比例是 35%,最终排第一的是 33%。

这张表要当链条看。Choice 只能在它拿到的那几部里排序,所以候选召回就是全链路的天花板:向量检索的 33% 其实是 35% 召回的天花板在起作用。让 Jev 拿短简介去对照请求,召回升到 82%,排第一升到 73%;再用长简介重读,补上最后六个点召回和五个点首位——表里最小的一次提升,也是花 token 最少的一次。

阈值加在哪里:加在 Choice 上,不是加在 Noul 上

一条能返回排序的检索,还得对每个请求决定:展示一条,还是展示一个列表。官方给的答案是卡 Choice 的最高概率,依据是这张分档表:

最高答案概率长简介 NoulChoice 问题
低于 0.549 个里对 30 个30 个里对 9 个
0.5 到 0.840 个里对 33 个22 个里对 21 个
0.8 到 0.9511 个里对 11 个18 个里对 18 个
0.95 以上0 个(无样本)30 个里对 30 个

两件事从表里直接看得出来。

Choice 能把请求干净地分开。 达到 0.8 或以上时,48 个请求里对了 48 个,于是页面只展示那一部;低于 0.8 时,前三名装住了剩下 52 个里的 34 个,于是页面展示一个短列表。低于 0.5 时 Choice 只在 30 个里对 9 个——那就是噪音,代码绝不能把它当答案递出去。

Noul 的概率做不到这个切分,哪怕它本身是校准过的。重读那轮的答案没有一条达到 0.95,只有 11 条到 0.8,而低于 0.5 的答案依然在 49 个里对了 30 个。没有任何一个区间能让 Noul 阈值把可靠和不可靠分开——这就是为什么这一页的规则是「卡 Choice 的最高概率」,而不是「卡手上任意一个数」。

四个常量怎么定

常量官方取值取这个值的理由
CHUNK(第一轮每块几条)300每条约 150 token,一块稳稳在 64k 之内
LONG_CHUNK(第二轮每块几条)40每条约 700 token,一块约 28k
FIRST_CUT(重读前几名)80重读之前,前八十已经装住 93/100
CANDIDATES(Choice 看几条)20重读之后,前二十装住 88/100
WORKERS(并行几个检索)4每个检索自身仍然一次发完全部块

只有前两个是官方上下文档位推出来的硬约束;后三个是调参,而 cookbook 自己的数字已经告诉你该往哪个方向推。往上调 FIRST_CUT,第二轮 token 线性增长,召回只是慢慢爬。往上调 CANDIDATES,token 几乎不涨,但很快会撞上长选项那「四十个左右」的舒适上限。

一次检索要花多少 token

官方定价是 $42 / Btok,也就是 $0.042 / Mtok,只对输入 token 收费,输出免费。按 cookbook 自己给出的每条 token 估算,一次 5000 部规模检索的账大概是这样:

这是拿官方 token 估算和标价做的算术,不是实测账单——cookbook 报的是准确率,不是成本。但结构上的结论不受具体数字影响:第一轮占掉全部开销的九成以上,所以真要省钱,应该缩目录或缩短简介,而不是砍掉第三轮。

把这套结构搬进自己的目录

cookbook 把接口说得很直白:「要检索你自己的目录,给每条一个短描述和一个长描述,重写 FILMS、proposition() 和 decision_question()。除此之外没有任何地方提到电影。」

这就是全部移植工作。你需要为每条准备两份描述:短的那份负责点名、并带上够粗筛用的表面细节;长的那份负责携带能区分的细节。这个「短/长」切分不是装饰——官方例子里认出影片的关键事实就在一百词之后,那正是第二轮存在的理由。

两个边界条件值得先说清:

还有一个在规模上会先咬人的约束:速率限制,而不是延迟。超过每秒 token 数或每秒请求数就返回 429 Too Many Requests,SDK 会按 retry-after 退避重试。第一轮是每次检索 17 个并行调用;四个检索并排跑就是 68 个并发调用——所以全目录扫一遍,本质上是速率限制问题,而不是模型问题。

常见问题

一个 Choice 最多放多少选项? 255 个(见 Choice 原始类型页),每个选项还要花几个 token。在 cookbook 自己的流程里,选项带长简介时实际上限约四十个。

为什么不能只靠向量检索出候选? 因为候选就是天花板。同样一条 Choice,喂向量检索选出的二十部,正确答案排第一只有 33%;跑满三轮是 78%。

「只给一个答案」的阈值该定在哪? 定在 Choice 的最高概率上,0.8——官方运行里 48 次全对。低于 0.8 就展示前三名,那里面装住了剩下 52 个请求中的 34 个。

这套流程需要 Jev 1.14 吗? 不需要。Noul 和 Choice 在 1.13、1.14 上都有,这套检索没有用 Box、没有用图片、也不需要长上下文 header。

信源

常见问题

+ 一个 Jev Choice 问题最多能放多少个选项?

255 个,写在官方 Choice 原始类型页上,而且每个选项都要花掉几个 token。这个上限是给短选项准备的:在无限选项集那份 cookbook 里,选项本身是一段剧情简介,实际上限就掉到四十个左右。超过这个量级,只能分轮筛选,塞不进一个问题里。

+ 为什么不能直接用向量检索(embeddings)出候选,再交给 Choice?

因为候选列表就是整条链路的天花板。同样是那条 Choice 问题、同样一百个请求:向量检索把正确影片送进前二十的比例是 35%,最后排第一的是 33%;三轮 Jev 检索送进 Choice 的比例是 88%,排第一的是 78%。Choice 只能在它拿到的那二十个里排序,前一步漏掉的,后面补不回来。

+ 「只给一个答案」还是「给一个列表」,阈值加在哪一个数字上?

加在 Choice 问题自己的最高概率上,不要加在 Noul 的概率上。实测里 Choice 最高概率达到 0.8 时,48 个请求全部正确,所以直接展示那一条;低于 0.8 时给出前三,剩下的 52 个请求里有 34 个的正确影片落在前三。重读那一轮的 Noul 概率做不到这个切分:没有一条达到 0.95,只有 11 条到 0.8,而低于 0.5 的那些依然在 49 个里对了 30 个。

+ 这套三轮检索在 Jev 1.13 上能用吗?

能。Noul 和 Choice 在 1.13 和 1.14 上都有,这套检索只用这两种问题——没有 Box、没有图片、也不需要长上下文的 header。三轮里没有任何一步依赖 1.14 才有的能力。

继续阅读