SalesRLAgent——一年前就有人把 Jev 那条路走完了

作者：Nandakishor M（DeepMost Innovations；2025 年 3 月首发 arXiv，模型、数据集、pypi 包全开源）

一年前有没有人做出来过 Jev？

r/LocalLLaMA 上一条帖子拿到 1566 赞：作者说自己 2025 年 3 月就把那条路走了一遍——论文、模型、数据集、pypi 包全部开源——然后一年后一家前沿实验室带着同一个想法出现，没有技术论文、没有开放权重、没有公开数据集，被当成突破。他说了句大实话：「然后一年后……这是开源圈的一般情况。」

这条帖子触到了一个真问题：Jev 那条路线（非自回归、极快、带概率、输出结构化）到底算不算新？我们把他开源的资料读完了。结论比支持者想的更微妙，但对他有利的部分是真的。

一、他做了什么

论文一（arXiv 2503.23303，2025 年 3 月 30 日）：SalesRLAgent。

问题设定很明确：销售对话的转化概率预测。现有做法是 LLM 加基础 RAG，能回答问题，但既不能实时给出转化概率，也不能逐轮追踪对话走向，而且没有「知道自己不知道」的能力。

他把这件事重新定义成序贯决策问题：状态是每一轮的对话，动作是转化概率估计，奖励是预测准确性。

做法分三层：

数据：用 GPT-4o 合成，精心设计 15 个行业的对话模板，程序化变动长度、风格、异议类型。最终 120 万条合成对话，长度 3 到 27 轮（中位数 8），正负样本大致均衡（负例 56%，反映真实的销售分布）。作者明确说他试过发现 GPT-4o 的输出质量足够训练出有效模型，不需要真实销售数据。

表示：Azure OpenAI 嵌入（3072 维），加上领域特征工程。状态向量由五部分拼成：按新近度和重要性加权的对话历史嵌入、逐轮特征（说话时长、提问密度、情绪）、客户参与信号（响应时间、消息长度、是否提问）、销售技巧识别（SPIN selling、价值销售等）、异议与兴趣检测。

模型：状态编码网络 + 策略网络（输出转化概率）+ 价值网络 + 元学习置信度模块。训练过程是：先监督学习做策略初始化，再强化学习，加课程学习（从简单对话开始）、对抗性反例、集成技术。奖励函数是精心构造的。整套训练在普通 CPU 上跑了约 6 小时。

结果：转化预测准确率 96.7%，LLM 基线是 62%；推理 85 毫秒，GPT-4 是 3450 毫秒。真实部署后，销售代表使用实时指导时转化率提升 43.2%。

论文二（arXiv 2510.01237，2025 年 9 月）：Confidence-Aware Routing。这篇思路不同但在同一个方向上——生成前就评估模型不确定性，用三个信号合成统一置信度（内部表示与参考嵌入的语义对齐、跨层收敛分析、学习到的置信度估计），然后路由到四条路径：高置信度本地生成、中置信度走 RAG、低置信度交给更大模型、极低置信度转人工。结果是幻觉检测从 0.42 提到 0.74，计算成本比事后修正方案低 40%。

顺带说一句：他论文二里的「按置信度分流到不同处理路径」，和 TypeSafe 官方文档里推荐的 confidence-gated routing 是同一个模式。两个人从不同方向走到了同一个设计上。

二、和 Jev 到底像不像

评论区里有一条 45 赞的判定，说得比作者自己的说法更准确（我自己读源码和论文后也是这个结论）：

「你的 SalesRLAgent 本质上是一个序贯 PPO 策略。它的观测是一个嵌入加销售指标、轮次信息和概率历史，动作空间是单一的连续转化概率。Jev 更通用：一个状态可以被若干个各自独立的类型化问题查询，并且能并行输出分类选项、分数和布尔的分布。」

把这句话拆开就是差异清单：

相同的地方：都用强化学习做优化机制而不是监督微调；都不生成字符串而是直接输出概率；都定位在「软件能直接消费的决策」；都在做垂直场景。

不同的地方：

· 表示方式：他冻结嵌入（bge-m3 或 Azure 3072 维）再训一个策略头；Jev 是端到的专用 transformer（33B，视觉编码器直接用 Qwen3-VL-32B 第 50 层），表示和决策一起训

· 动作空间：他输出一个 0 到 1 的标量；Jev 一次接受任意多个问题，每个问题可以是 Choice（从选项里选）、Score（在档位上取位置）、Noul（是/否），并且每个都返回完整的概率分布，基数上限 255

· 类型安全：Jev 的「不会产生类型错误」是约束解码的结构性保证；他没有 schema 和基数这层机械装置，本质是一个回归头

· 校准：Jev 的核心卖点是 RLCD——面向校准决策的强化学习；他用的是 PPO 加元学习置信度，有校准意识但不是同一个训练目标

所以准确的说法是：方向他确实先走了，而且是开放地走的；但 Jev 那一层的具体贡献——并行采样的专用架构、类型化的多问题动作空间、约束解码带来的类型安全——他没有做。「我做的就是 Jev 架构」这句夸大了，「我一年前就在这个方向上做出成果并全部开源」这句是真的。

三、回到你说的那个问题：怎么训一个类 Jev 的模型

这是这条帖子最有价值的地方——他把一次真实尝试的每个环节都摊开了，正好可以反推 Jev 那类模型需要什么。按依赖顺序列：

第一步，先决定你要哪种「快」。他的快来自「不在生成上花时间」——状态进，标量出，一次前向，85 毫秒。Jev 的快也来自这一点，但多一层：它把「写 JSON」换成「所有字段并行打分」，所以字段越多优势越大（我们实测过它的开源同类实现：28 字段快 5 到 6 倍，5 个字段只有 3.3 倍，因为省的是输出 token 这笔账）。你要先量一下自己的瓶颈是「推理太慢」还是「输出太长」。

第二步，动作空间怎么定，这一步决定架构。他是单连续值 → 用一个策略头就够，冻结嵌入加 MLP 是最省的做法。如果你想做的是「从一个有 255 个选项的清单里选一个」加「它有多确定」加「要不要转人工」，单标量就装不下了，你需要每个字段一条独立的候选分布，也就是 Jev 那个并行打分器。这是两条不同的工程路线，不是同一个东西的两个参数。

第三步，数据。他给了两个可复制的做法：

· 合成数据可以用：120 万条 GPT-4o 生成的销售对话就能训出超过 LLM 基线的专用模型。关键不是数量，是模板设计（15 个行业）加程序化变动（长度、风格、异议类型）。

· 状态表示要手工设计：他的五段式（加权历史嵌入、逐轮特征、参与信号、技巧识别、异议检测）是领域特征工程，不是喂原始文本。这部分是投入产出比最高的地方。

· 可验证奖励：他的奖励是「预测准确度」——这是天然可验证的。Jev 走得更远：它把每个检查项都写成确定性代码对照参考答案（公式字符串匹配、表格 TEDS、结构有效性、单元测试通过率），然后乘起来做 GRPO 奖励，而且多数项带地板值以免一个失败项清空整页梯度，唯独「重复」项不给地板——因为退化循环正是最容易把内容分刷上去的失败模式。如果你要训的是有参考答案的任务，这套「密集可验证奖励」的设计比 PPO 加标量奖励更值得抄。

第四步，校准要单独设计，别指望它会自己出现。他专门做了元学习置信度模块（从训练集相似度、集成一致性、模式识别、新元素检测四个来源估置信），理由很实在：早期部署时他发现模型在少见对话模式上会「自信地给出错误预测」。这和我们的实测结论一致——我们测过同类「校准概率」机制的开源实现，开箱时平均置信 0.82 而实际准确率 0.70，最自信的那批（≥0.95）只有 72.7% 正确。校准是个独立的工程问题。

第五步，训练顺序：监督预热 → 强化学习 → 课程（先简单）→ 对抗反例 → 集成。他 120 万条数据在 CPU 上 6 小时跑完，说明这类「嵌入加策略头」的模型门槛比想象中低得多——这条路真正贵的是数据工程和奖励设计，不是算力。

四、两件值得看清的事

第一，这条路的真正门槛不在模型大小。他的模型能在 CPU 上六小时训完，性能超过 LLM 基线 34.7 个百分点。这说明「专用决策模型在窄任务上打败通用 LLM」是成立的，而且成本可控。想做同类东西的人，钱应该花在任务定义、状态表示和奖励设计上。

第二，他本人正在补上 Jev 那层。他在评论里说训练仍在进行、会把训练 notebook、微调和 HF Space 在这两天推上去。评论区里最实用的一条建议是：搭一个基准，拿你的方案和 Jev 正面比，然后借它的热度变现——如果能打平，那本身就是个好故事。这条建议我们很认同，因为我们自己的 30 条金标评测集就是为做这件事准备的。

五、这件事真正让人不舒服的地方在哪

不是「有人抄袭」，而是可见度的分配机制。

他的工作有论文、有模型、有数据集、有包，都在网上，然后一年里没什么人看。同一件事由一家前沿实验室以「不需要论文、不开权重」的方式说出来，就成了突破。评论区最高赞那句「但你有说这是下一个大东西吗？新手错误」——说的是实话，也是这件事最不对的地方：它说明决定一项工作是否被看见的，不是它开源了没有，而是它有没有人为它制造叙事。

顺带一句 351 赞的评论值得记下来：因为他的论文公开在先，那个通用想法没法再被有效专利化了。不管有没有人注意过他的工作，这件事本身是一份贡献。

链接

Reddit 帖子：https://www.reddit.com/r/LocalLLaMA/comments/1wijo3e/i_literally_built_the_jev_architecture_one_year/

论文一（SalesRLAgent，2025-03）：https://arxiv.org/abs/2503.23303

论文二（置信度路由，2025-09）：https://arxiv.org/abs/2510.01237

模型：https://huggingface.co/DeepMostInnovations/sales-conversion-model-reinf-learning

数据集：https://huggingface.co/datasets/DeepMostInnovations/saas-sales-conversations

TypeSafe 官方文档（confidence-gated routing）：https://docs.typesafe.ai/patterns/confidence-routing

#强化学习 #校准 #本地推理