Jev AI 无限选项集 Choice:怎样从 5000 条里选出一条(三轮筛选)
Choice 问题的工作方式,是从你递给它的一组选项里挑一个。三五个团队、十来种分类、三十条产品线,都好用。但 5000 部电影、四万个 SKU、每周都在长的帮助中心,就不行了——不是 Jev 判断不了 5000 条,而是一个问题装不下那么多选项,一个请求也装不下那么多 token。
TypeSafe 在 Infinite cardinality choice 这份 cookbook 里把这条死路走通了,而且量得很实:100 个真实请求、四种策略在同一批数据上对比、还有一张按概率分档的正确率表,正好用来定阈值。下面按代码执行的顺序把三轮走一遍,每个数字都标明来自哪次运行,最后给出把这套结构搬进自己目录之前该算的账。
出处说明: 本文所有数字、阈值、常量、代码结构都来自 TypeSafe 官方文档
docs.typesafe.ai/cookbooks/infinite_cardinality_choice、docs.typesafe.ai/primitives/choice、docs.typesafe.ai/models,读取日期 2026-11-18。引用的概率是官方已发布运行结果里打印出来的值,不是本文重新跑一遍得到的。没有任何一处是编出来的示意。
你会先撞上的两道天花板
把 5000 条塞进一个 Choice,卡住的是两个不同的限制。
选项数量。 一个 Choice 问题最多接受 255 个选项(见 docs.typesafe.ai/primitives/choice)。选项短的时候,官方反而建议你把整份清单递过去,别只给一个候选子集,因为每个选项只花几个 token。而 cookbook 展示的是另一面:当每个选项本身就是一段长剧情简介时,实际上限会塌到 四十个左右。
上下文。 一个 Jev 请求要同时满足两个限制——单请求 64k token、单问题 32k token,models 页对 jev-1.14.0 和 jev-1.13.0 都是这个数。一条 600 词的剧情简介大约 700 token,四十条就接近 28k:还没撞上单请求上限,但已经不适合再往下塞了。
所以真正要回答的不是「怎么让 Jev 给 5000 个选项排序」,而是 怎么便宜地从 5000 缩到 20,然后只为这一次排序付钱。官方给的是三轮:每一轮读得更少、但读得更深。
这批数字量在什么数据上
脱离数据集谈正确率没有意义,所以先把 cookbook 的数据照抄一遍。
films.jsonl:5000 部电影,每部有片名、年份、以及维基百科剧情段的两个版本,抓取日期 2026-11-07。短的那份plot是开头一百来词,长的long_plot是开头六百来词。目录里装下了每个请求的正确答案;负责「被排除」的那些影片,是维基条目语言版本最多的片子。requests.jsonl:100 个请求,来自微软的 tip-of-the-tongue 数据集,原始出处是论坛iRememberThisMovie.com,每条都带着前来认领的影片。它们是从「影片在维基上有剧情段」的 709 条里随机抽的一百条。- 模型是
jev-1.14.0。Notebook「按发布状态即可运行、无需 API key」,因为它读的是已发布的缓存答案——所以这里出现的每个概率都是记录下来的真实返回值,而不是某天重跑出来的另一组。
这些请求长什么样?就像一个人描述他记不清的片子。请求 388 讲的是一位母亲带着一儿一女被鬼折腾,最后发现那些「鬼」其实是时空旅行者,答案是 The Diabolical(2015)。
第一轮——每部电影一条 Noul,读短简介
第一轮刻意不用 Choice,而是 5000 条 Noul,一部片一条,每条都把片名和它的短简介写进命题里:
The film this person is trying to remember is {title} ({year}).
Its plot: {short plot}
这个措辞是有讲究的:问题让模型把「请求」和「简介文本」对照,而不是让它凭片名回忆一部电影。而凭片名回忆,恰恰是「话到嘴边说不出」这种请求专门击穿的环节。
因为单次调用最多 64k token,目录要切块:CHUNK = 300,每部约 150 token,一块稳稳落在上限之内。所有块一次性同时发出去,而不是串行排队——块与块之间没有依赖,于是用线程池按块数并发。官方运行打印的结果是:
5,000 answers from 17 calls sent together; the slowest took 0.4s
17 次调用,因为 5000 / 300 向上取整就是 17。目录继续变长,等待时间基本不会变——前提是你的速率限制允许同时发这么多请求,真正的瓶颈在这里,不在模型延迟。在 100 个请求上,海选自己的前八十名装住了 93 个正确答案。
海选准,但不够准,官方那个例子把原因说得很清楚:请求 388 里,海选的前五名是 Ghostbusters: Afterlife 0.64、The Curse of La Llorona 0.37、Thirteen Ghosts 0.33、Mama 0.31、Wicked Little Things 0.31,而正确答案 The Diabolical 只排在第六。它靠的是表面事实对上了:一个母亲、两个孩子、闹鬼的房子、缺钱。真正能认出这部片的细节——那些鬼其实是时空旅行者——出现在剧情简介一百词之后,海选根本没读到。
第二轮——用长简介重读前八十名
于是第二轮把海选的前 FIRST_CUT = 80 名重新问一遍,这次每部给六百词。问题变长,每块能装的片子就变少:LONG_CHUNK = 40,每部约 700 token,一块约 28k。块仍然同时发出。
在请求 388 上,就是这一步把 The Diabolical 推到第一:
the long plots' top five:
0.60 The Diabolical (2015) <- the film
0.40 Ghostbusters: Afterlife (2021)
0.30 The Others (2001)
0.26 Thirteen Ghosts (2001)
0.17 Knowing (2009)
放到 100 个请求上,重读之后的前二十名装住 88 个正确答案,而只用海选的前二十名是 82。第二轮花掉第一轮大约七十分之一的 token,换来六个点的召回——而且如下一节所示,它还改变了最后那条 Choice 能看到什么。
第三轮——用一条 Choice 在前二十里定夺
整个流程里只有一条 Choice,而且很小:CANDIDATES = 20 部,每个选项写「片名 + 长简介」,全部放在一个问题里互相比较。
Which film is this person trying to remember?
the_diabolical: The Diabolical (2015): <600 词剧情简介>
ghostbusters_afterlife: Ghostbusters: Afterlife (2021): <600 词剧情简介>
...
请求 388 的发布答案是:1.00 给 The Diabolical,另外十九部全是 0.00。Choice 之所以能做到这种决断力,是因为它在选项之间做了归一化。
这也是整条链路要跑完三轮、而不是停在候选阶段的原因。每条 Noul 都是各自独立判断一部片,所以两部都沾边的片可以同时拿到 0.4 以上——官方例子里就是 0.60 加 0.40,加起来超过 1,因为它们回答的其实是不同的问题。而对着同样二十部做一条 Choice,回答的是一个统一的问题:第一名比其余高出多少。因此它的最高概率可以直接读作「第一名是对的概率」,而这正是一个阈值需要的东西。
值不值得跑三轮:官方那组对比
同一批 100 个请求、同一条 Choice 问题,三种候选来源:
| 向量检索 | 不重读 | 跑满三轮 | |
|---|---|---|---|
| 正确答案进入 Choice | 35% | 82% | 88% |
| 正确答案排第一 | 33% | 73% | 78% |
| 正确答案进前三 | 34% | 76% | 82% |
「向量检索」那一列是多数人的第一反应:用 OpenAI 的 text-embedding-3-small 把每部片的短简介和请求分别向量化,取最接近的二十部,交给同一条 Choice。它把正确影片送进候选的比例是 35%,最终排第一的是 33%。
这张表要当链条看。Choice 只能在它拿到的那几部里排序,所以候选召回就是全链路的天花板:向量检索的 33% 其实是 35% 召回的天花板在起作用。让 Jev 拿短简介去对照请求,召回升到 82%,排第一升到 73%;再用长简介重读,补上最后六个点召回和五个点首位——表里最小的一次提升,也是花 token 最少的一次。
阈值加在哪里:加在 Choice 上,不是加在 Noul 上
一条能返回排序的检索,还得对每个请求决定:展示一条,还是展示一个列表。官方给的答案是卡 Choice 的最高概率,依据是这张分档表:
| 最高答案概率 | 长简介 Noul | Choice 问题 |
|---|---|---|
| 低于 0.5 | 49 个里对 30 个 | 30 个里对 9 个 |
| 0.5 到 0.8 | 40 个里对 33 个 | 22 个里对 21 个 |
| 0.8 到 0.95 | 11 个里对 11 个 | 18 个里对 18 个 |
| 0.95 以上 | 0 个(无样本) | 30 个里对 30 个 |
两件事从表里直接看得出来。
Choice 能把请求干净地分开。 达到 0.8 或以上时,48 个请求里对了 48 个,于是页面只展示那一部;低于 0.8 时,前三名装住了剩下 52 个里的 34 个,于是页面展示一个短列表。低于 0.5 时 Choice 只在 30 个里对 9 个——那就是噪音,代码绝不能把它当答案递出去。
Noul 的概率做不到这个切分,哪怕它本身是校准过的。重读那轮的答案没有一条达到 0.95,只有 11 条到 0.8,而低于 0.5 的答案依然在 49 个里对了 30 个。没有任何一个区间能让 Noul 阈值把可靠和不可靠分开——这就是为什么这一页的规则是「卡 Choice 的最高概率」,而不是「卡手上任意一个数」。
四个常量怎么定
| 常量 | 官方取值 | 取这个值的理由 |
|---|---|---|
CHUNK(第一轮每块几条) | 300 | 每条约 150 token,一块稳稳在 64k 之内 |
LONG_CHUNK(第二轮每块几条) | 40 | 每条约 700 token,一块约 28k |
FIRST_CUT(重读前几名) | 80 | 重读之前,前八十已经装住 93/100 |
CANDIDATES(Choice 看几条) | 20 | 重读之后,前二十装住 88/100 |
WORKERS(并行几个检索) | 4 | 每个检索自身仍然一次发完全部块 |
只有前两个是官方上下文档位推出来的硬约束;后三个是调参,而 cookbook 自己的数字已经告诉你该往哪个方向推。往上调 FIRST_CUT,第二轮 token 线性增长,召回只是慢慢爬。往上调 CANDIDATES,token 几乎不涨,但很快会撞上长选项那「四十个左右」的舒适上限。
一次检索要花多少 token
官方定价是 $42 / Btok,也就是 $0.042 / Mtok,只对输入 token 收费,输出免费。按 cookbook 自己给出的每条 token 估算,一次 5000 部规模检索的账大概是这样:
- 第一轮:5000 条 × 约 150 token ≈ 751k token(含 17 次调用里重复的请求文本)≈ $0.032
- 第二轮:80 条 × 约 700 token ≈ 56k token ≈ $0.0024
- 第三轮:20 条 × 约 700 token ≈ 14k token ≈ $0.0006
- 合计约 822k token ≈ 每次 $0.035,也就是 100 次检索约 $3.45
这是拿官方 token 估算和标价做的算术,不是实测账单——cookbook 报的是准确率,不是成本。但结构上的结论不受具体数字影响:第一轮占掉全部开销的九成以上,所以真要省钱,应该缩目录或缩短简介,而不是砍掉第三轮。
把这套结构搬进自己的目录
cookbook 把接口说得很直白:「要检索你自己的目录,给每条一个短描述和一个长描述,重写 FILMS、proposition() 和 decision_question()。除此之外没有任何地方提到电影。」
这就是全部移植工作。你需要为每条准备两份描述:短的那份负责点名、并带上够粗筛用的表面细节;长的那份负责携带能区分的细节。这个「短/长」切分不是装饰——官方例子里认出影片的关键事实就在一百词之后,那正是第二轮存在的理由。
两个边界条件值得先说清:
- 如果答案有可能根本不在你的目录里,三轮检索照样会给你一个排序结果。cookbook 的目录保证了答案必在其中——每个请求的影片都在这 5000 部里——所以它没加「以上都不是」选项。一旦你无法保证这一点,官方给的补救是一个独立的 Noul 先问「到底有没有合适的」,读它再看 Choice;而用兜底的
other选项反而更差,它会跟真实选项抢概率。这条失败路径的实测数字见我们的 Jev 请求模式指南。 - 如果目录本来就小,别折腾三轮。 短选项在 255 个以内时,一条 Choice 就是官方推荐形状,官方还建议把整份清单递过去。选项上限从来不是问题时,分轮不会为你买到任何东西。
还有一个在规模上会先咬人的约束:速率限制,而不是延迟。超过每秒 token 数或每秒请求数就返回 429 Too Many Requests,SDK 会按 retry-after 退避重试。第一轮是每次检索 17 个并行调用;四个检索并排跑就是 68 个并发调用——所以全目录扫一遍,本质上是速率限制问题,而不是模型问题。
常见问题
一个 Choice 最多放多少选项? 255 个(见 Choice 原始类型页),每个选项还要花几个 token。在 cookbook 自己的流程里,选项带长简介时实际上限约四十个。
为什么不能只靠向量检索出候选? 因为候选就是天花板。同样一条 Choice,喂向量检索选出的二十部,正确答案排第一只有 33%;跑满三轮是 78%。
「只给一个答案」的阈值该定在哪? 定在 Choice 的最高概率上,0.8——官方运行里 48 次全对。低于 0.8 就展示前三名,那里面装住了剩下 52 个请求中的 34 个。
这套流程需要 Jev 1.14 吗? 不需要。Noul 和 Choice 在 1.13、1.14 上都有,这套检索没有用 Box、没有用图片、也不需要长上下文 header。
信源
docs.typesafe.ai/cookbooks/infinite_cardinality_choice— 数据集说明、三轮做法、全部对比表与分档表;数据集抓取于 2026-11-07,本文读取于 2026-11-18。docs.typesafe.ai/primitives/choice— 255 个选项上限,以及短选项时应递全量清单的建议。docs.typesafe.ai/models—$42/Btok($0.042/Mtok)、输出免费、jev-1.14.0与jev-1.13.0均为单请求 64k / 单问题 32k、429 行为。docs.typesafe.ai/patterns/companion-noul— 选项集可能不含答案时的官方补救做法。