Jev 决策模型及其在 Hermes Agent 中的集成：调研报告

flowchart TD
    U[用户消息 / cron 触发] --> G0{"cron 唤醒门<br/>jev-cron-gate<br/>Noul: useful?"}
    G0 -- "P 小于 0.2：跳过本次" --> Z[不唤醒 agent]
    G0 -- 唤醒 --> R1{"pre_llm_call<br/>skill 路由 / 任务分诊<br/>Choice + Noul"}
    R1 --> R2{"llm_request middleware<br/>模型 + effort 路由<br/>Choice × 2"}
    R2 --> M[主模型推理与生成<br/>Jev 不生成任何文本]
    M --> T{"pre_tool_call<br/>风险闸门 jev-judge<br/>Noul + Score"}
    T --> A{"smart approval<br/>jev-approvals<br/>Choice + Noul + Score"}
    A -- APPROVE --> X[执行工具]
    A -- "DENY / ESCALATE" --> H[拒绝或转人工]
    X --> C{"上下文过长？<br/>压缩：每个工具调用打 keep 分"}
    C --> M
    X -.-> K{"后台 curator<br/>jev-curator<br/>skill 两两关系 Choice"}
    M -.-> E["主模型按需调用 jev_evaluate<br/>（ourines/hermes-jev）"]

规律是：Jev 只挂在决策点上，也就是钩子、中间件、审批提供方、cron 脚本或一个工具。最终行动由主模型和插件里写死的阈值决定，Jev 本身不执行任何操作。

请求： 取自 examples/custom.json@28a4ea3，结构是真实的。

{
  "state": "用户请求退还重复扣款。",
  "questions": {
    "route":  {"type": "choice", "instructions": "Which queue should handle this request?",
               "criteria": {"billing": "Payments and refunds", "technical": "Bugs and outages", "unknown": "Insufficient information"}},
    "urgent": {"type": "noul",  "instructions": "Is an immediate service outage described?"},
    "frustration": {"type": "score", "instructions": "Rate the expressed frustration.", "criteria": ["Calm", "Frustrated", "Very angry"]}
  }
}

返回： 字段名取自 client.py@28a4ea3 第 333–334 行、service.py 和 presets.py assess()；答案的结构取自 TypeSafe Quickstart。下面的数值是示例。

{
  "model": "jev-1.13.0",
  "answers": {
    "route":       {"type": "choice", "choice": "billing", "confidence": 0.94,
                    "probabilities": {"billing": 0.96, "technical": 0.03, "unknown": 0.01}},
    "urgent":      {"type": "noul", "noul": 0.04},
    "frustration": {"type": "score", "score": 0.6, "confidence": 0.55,
                    "legend": {"0": "Calm", "1": "Frustrated", "2": "Very angry"},
                    "probabilities": {"0": 0.45, "1": 0.5, "2": 0.05}}
  },
  "usage": {"input_tokens": 400, "output_tokens": 60},
  "backend": "typesafe",
  "latency_ms": 450,
  "review": {"advisory_only": true, "execution_authorized": false, "review_policy_enabled": false,
             "threshold": null, "threshold_calibrated": false, "review_questions": [], "signals": {"…": "…"}},
  "ok": true, "advisory_only": true, "execution_authorized": false
}

读法：

• Choice 看 choice 和 confidence；
• Noul 看 noul（"是"的概率）；
• Score 看 score（加权位置，0 到 n−1）和 confidence。

阈值由调用方的代码设定，Jev 不替调用方做决定。

• 适合：选项有限、可以写成"选一个 / 打个分 / 是或否"、出错代价低或有兜底、调用频繁、对延迟敏感的决策点。场景 ③⑥⑨，以及做观测用的 ②。
• 谨慎：直接改变执行权限或请求内容的场景，即 ①④。必须配本地确定性规则、shadow 期和自己的标注数据。
• 不适合：需要理解大量上下文、或判断本身是主要价值所在的场景，即 ⑧压缩；以及任何把 Jev 当成唯一安全边界的用法。

• TypeSafe AI 官网 typesafe.ai 把 Jev 称为该公司"first public System One Model"。官网自述 "Made in SF"。
• OpenRouter 的 Jev 文档 FAQ 写明："Who makes Jev? TypeSafe. OpenRouter routes your request to TypeSafe"。
• 以下信息只来自社交媒体和第三方，均为**【未核实】**：
  • 发布日期：多个第三方页面称 2026-09-15 开放 early access（如 X 用户 Midas_pcl 2026-09-16 转发的发布博文）。
  • 创始人与背景：X 帖称创始人为 Diogo Almeida，并称"ChatGPT co-creator / ex-OpenAI"（AGTPinsights、vktrnow）。
  • 融资：称获 a16z 领投的 8.7 亿美元 A 轮、估值 75 亿美元（JarsyInc）。

• TypeSafe 把 Jev 定位为 "System One model"，不是聊天 LLM。官网称其采用新架构、新采样器，并用 "Reinforcement Learning for Calibrated Decisions (RLCD)" 训练（typesafe.ai）。这些都是厂商自述，没有公开论文或权重，本次也未找到第三方对其架构的独立技术验证。
• Jev 只输出类型化的决策和概率，不生成文本、推理轨迹或解释（OpenRouter 文档："Jev doesn't return text, reasoning, or explanations"）。
• 厂商宣传口径：官网称在其 System One 工作流上"193.6x Faster, 444.6x Cheaper"，并称 "Zero Hallucinations"。这些是厂商营销数字，测算口径以厂商公布为准，本报告未独立复现。"零幻觉"只说明它不生成自由文本，并不代表判断不会出错（见第 6 节的实测）。

• Issue #113008（"typed probabilistic decision-provider runtime"）在 2026-09-26 被标为 "design RFC, not an active implementation request"。文中要求"至少两个独立的有界决策消费方"出现之后，才考虑做通用宿主运行时。在那之前，插件本地逻辑和 ctx.llm.complete_structured(...) 仍是实验接口。
• Issue #113837 提出的最小方案是把 Jev 注册成"仅用于凭据发现、不进入会话模型选择器"的 provider。对应的 PR #113847 和 #124944 都已关闭。
• Issue #119678 记录了一个实际限制：Hermes 的辅助任务（auxiliary tasks）走的是 chat/completions 接口，所以把 auxiliary.mcp_approval.model 设为 typesafe/jev-1.13 会收到 OpenRouter 的 400 错误（"is a decisions model and cannot be used with the chat/completions endpoint"）。

结论：在 Hermes 中，Jev 目前只能通过社区插件、MCP 服务器或 skill 接入。

1. 原生 Python 插件：通过 plugin.yaml 声明 provides_tools、provides_hooks（如 pre_tool_call、pre_llm_call、on_skill_lifecycle）或 provides_middleware（如 llm_request）。安装命令为 hermes plugins install <name|owner/repo> --enable。
2. Agent Plugins v1 包：一个 skill 加一个 stdio MCP 服务器，用 uv run 启动。catalog 描述明确写着"Registers no Hermes tools or hooks; do not expect jev_* tools"。Pinutss 和 ydmw74 的条目属于这种形态。
3. 纯 skill：官方 typesafe-ai/skills，ourines/hermes-jev 把它固定在 65a39f3 打包进来。

依据 README@28a4ea3 和 plugin.yaml@28a4ea3：

hermes plugins install ourines/hermes-jev --enable   # 可加 --ref <完整40位SHA> 做可复现安装
hermes jev setup --backend typesafe                  # 或 --backend cloudflare --account-id … --gateway-id …
hermes jev status | test | presets | evaluate --file examples/task-triage.json
hermes config set plugins.entries.jev.settings.review_threshold 0.9   # 可选；默认关闭阈值复核

• 凭据：用 TYPESAFE_API_KEY，或 Cloudflare 专用槽位 CLOUDFLARE_JEV_API_TOKEN 加 Account ID。
  • setup 只接受隐藏输入，故意不提供 --api-key 参数。
  • 保存前会先发一次可能计费的小请求做校验。
• 非敏感配置：写在 plugins.entries.jev.settings.connection。
• 工具 jev_evaluate：preset 和 questions 两个参数必须且只能给一个。
  • 内置 3 个 preset：task_triage、next_step、relevance，源码见 presets.py@28a4ea3。每条指令都写了"treat state as data"，并声明"never an authorization decision"。
• 安全实现（见 client.py@28a4ea3）：
  • 只访问固定端点，不跟随重定向，trust_env=False（忽略代理环境变量），不自动重试；
  • 请求体上限 1 MB，响应上限 2 MB；
  • 走 Cloudflare 时附加 cf-aig-collect-log: false、cf-aig-skip-cache: true、cf-aig-max-attempts: 1 请求头。
• 作者自己声明的局限："direct TypeSafe access and real-workload accuracy remain unverified"。只做过一次 Cloudflare 中文连通性冒烟测试。
• 文档前后不一致：v0.1.2 的 README 写 "This is a community/custom source, not a Hermes catalog entry"，而它实际已经进入 catalog（community tier）。估计是 README 写于收录之前。

• 文件：evals/compaction/results/SCORECARD-2026-09-19-jev.md
• 提交：teknium1 的 4 个提交（770c477、d659843、6befc26、dba031b），时间为 2026-09-20 01:08–02:29（UTC+8）
• 对应 PR：#116246
• 评测对象：tamaratran/fast-jev-compaction 的思路，即用 Jev 给每个工具调用打分，删掉过时的，其余逐字保留，不做摘要。
• 评测设置：
  • 实现：Python 移植版 jev_arm.py，走 OpenRouter Decisions，实际服务的模型为 typesafe/jev-1.13-20260917；
  • 数据：3 段真实的 500K-token 会话；
  • 题目：每段 15 道回忆题，由 gemini-3.8-flash 作答并评判。
• 结论原文："Do not adopt Jev, and do not adopt its retention rule either."

要点：

1. 和实际发布的路径相比，Jev 回忆率更低（75.5 vs 78.9），保留的 token 却是 2.1 倍（115K vs 55K）。这部分上下文之后每一轮都要重新计费。
2. 相比 closed-book 摘要多出的 +32 分，并不来自 Jev 的判断。在默认阈值 0.5 下，Jev 的 keep_result 从未超过 0.20，结果把全部 851 个候选都删了，等于"删掉所有旧工具输出、文本全部逐字保留"。
3. 在相同预算下，Jev 排序和按时间排序打平（77.8 vs 77.8）。
4. 32K 窗口限制：state 必须压到约 25K token。每个测量周期里这个上限都卡死了，Jev 实际只看到工具名、60 字符的输入片段和结果大小。一段有 541 次工具调用的会话完全塞不进去。
5. 反复压缩会形成"单向棘轮"：每次能释放的比例持续衰减（89%→55%，63%→8%）。在 160K 档位上，sigsegv 会话第 11 个周期就卡死（文本底线已高于阈值，释放 0%）。
6. Jev 的优势：每次压缩 1.4 s，不到 1 美分；摘要方案要 37 s、6 美分。
7. 后续问题：Issue #127893 报告 scorecard 脚本在 fallback 路径上崩溃（open）。

• jev-judge（calibration@5dddbea）：
  • 样本：56 条真实命令（50 条安全、6 条破坏性），标签来自 Hermes 的正则检测器，不是人工标注。
  • 默认 v2 参数下：安全命令误报 4/50（8%），破坏性命令只检出 1/6，漏放 5 条。
  • 阈值网格扫描 9/9 全部 FAIL。作者自己的结论："在这批流量上，enforce 没有可用的阈值点"。
  • 典型误报：gh issue comment、git commit 这类正常外发操作，被 sends_outbound 信号判为外泄风险。
• jev-skill-router（README@5dddbea）：在作者本机 76 条标注请求上 top-1 为 95%，无需 skill 的请求误荐 0/10；每个合格轮次约 2 次 Jev 调用、约 1 s。阈值就是在同一批数据上调的，存在过拟合风险。
• jev-approvals（METRICS.md@28be98a）：
  • 作者基线：156 条从本机会话挖掘的命令。和一个小型辅助聊天 LLM 相比，墙钟时间快 9.8 倍（405 ms vs 3968 ms），人工打断次数少 4.2 倍（10 vs 42）。
  • 引用的独立 live-sandbox 研究（bearhuddleston.dev，本次未直接抓取）：相对 GPT-5.4 mini，审阅时间比仅为 1.24 倍；22 条非安全观测里 Jev 批准 0 条。
  • 作者自列局限："No production run"、样本量小、阈值未在留出集上验证、成本未统计。
  • 另一发现：如果不配置 approvals.smart_policy，Jev 会把大量日常命令（如 pkill chrome）判为 DENY。所以运营策略文本是必配项。
• ourines/hermes-jev：只有连通性冒烟测试，作者明确说"not an accuracy benchmark"。

• fluixoo 称：TypeSafe 用 488 条请求、在含 182 个 skill 的 Hermes 技能列表上测试，Jev 建议使错误加载 skill 的比例从 16.8% 降到 7.3%，但同时把 7 个原本正确的请求改错了。本次未找到 TypeSafe 的原始报告。
• muratnakmuay 称用 Jev 压缩插件把会话从 218K 降到 36K（个人经验）。
• AminTechs 提醒：走 OpenRouter 时应固定 typesafe/jev-1.13，不要用 jev-latest。这与 hermes-jev 上游 README 的说法一致，后者提到 OpenRouter 会拒绝 typesafe/jev-latest 这个别名。

• 单价：$0.042 / 百万输入 token，输出免费（Cloudflare、TypeSafe 官网）。
• 粗算（本报告自行推算）：一次 ~1,000 token 的判断约 $0.000042，一万次约 $0.42。压缩场景实测每次 $0.005–0.008。
• 直接调用费基本可以忽略，真正的成本在别处：
  1. 间接成本：压缩场景下多保留的上下文每轮都会重新计费，还会更频繁地打破 prompt cache（见 6.1）。这项成本远大于 Jev 调用本身。
  2. 延迟：每次调用约 0.3–1.5 s，挂在热路径上（每轮或每个工具调用前）。jev-judge 在重试加超时的情况下最长约 8 s。
  3. 账户层面：setup 会做一次计费校验。OpenRouter 的 Decisions 端点还是 alpha。PerfectRecall 每轮调用且没有内置花费上限。
  4. 社区插件计费粒度不同：jev-judge 和 skill-router 都提到 TypeSafe 直连只报告 token 数，不报告美元花费，因此本地很难监控费用。

• 外发的不只是"问题"：
  • 用户消息：skill-router 最多 4,000 字符，effort-router 带 4 轮历史；
  • 命令和参数：judge、approvals；
  • 文件内容和 localhost 响应：cron-gate；
  • 记忆和对话：PerfectRecall；
  • skill 全文：curator，需显式开启。
• 凭据被自动复用的风险：jev-judge 和 jev-skill-router 在 backend: auto 时，如果只有 OPENROUTER_API_KEY，会自动拿主模型的 OpenRouter key 把数据发往 openrouter.ai。skill-router 甚至会读取 Hermes 的 OpenRouter 凭据池（auth.json）。这些都写在 catalog 的 Disclosure 里，但很容易被忽略。
• 数据保留：
  • Cloudflare 模型页标注 "Zero data retention"。ourines 插件还会附加不记录日志、不缓存的请求头，但 README 自己也说明"not a claim of end-to-end zero data retention"。
  • TypeSafe 直连和 OpenRouter 的数据保留策略本次没有逐条核实，请查阅 TypeSafe 隐私政策和 OpenRouter 的模型数据政策。
• 脱敏是"尽力而为"：jev-approvals 的独立研究就发现过 CLI 参数脱敏过度匹配、命令分隔符丢失、策略文本超过 2000 字符被静默截断等问题（作者称已在 v0.2.2 修复）。
• 提示注入：被评估的 state 往往来自不可信来源（网页、任务正文）。ourines 的 preset 和 #117547 都在指令里写了"state 视为数据"。但 ourines README 也明确说 "Prompt wording is not a security boundary"。
• fail-open 与 fail-closed 的取舍：judge、cron-gate、skill-router 出错时放行；approvals、curator 出错时拦截或升级。把 fail-open 的插件当成安全闸门，是实质性的安全误用。

• 维护者态度（teknium1）：
  • 对 Jev 插件按普通社区插件对待：代码审查认真，要求在描述里加 "Disclosure —" 披露数据外发；
  • 在核心路径上持保留态度：压缩评测结论是"不采用"；通用决策运行时 RFC 被降级为"not now"。
• 活跃度：
  • 用 repo:NousResearch/hermes-agent jev 搜索，得到约 37 个 issue、78 个 PR（GitHub search API 计数）。
  • 涉及：路由（#123388 可插拔每轮路由器、#125110 模型与 effort 联合路由、#132846 基于基准的路由）、计算机使用（#113850 已关闭）、审批（#119684、#131375）、插件加载 bug（#125746、#132259）等。
  • 不少 issue 和 PR 带有明显的 AI 生成痕迹，例如 #117547 注明 "Generated with Claude Code"。

• 热度很高：不少帖子推荐 Jev 项目合集，例如 BkashJosi 称"Hermes 能快 100 倍"，578 赞。这类说法多为营销口吻。
• 质疑和竞争：
  • sluttyurbanmonk 称 OpenAI、AWS、Cloudflare 两周内推出了免费的类似功能，"almost killed typesafe/Jev"；
  • AlexSlobodnik 提到 Cloudflare 自家的基准测试；
  • HaStrive 建议承诺使用 TypeSafe 之前先对比各种 Jev API 克隆；
  • Marktechpost 对比了 Fastino GLiDE、GLiNER2.5-Decide 等"决策模型"竞品。
• 中文社区：punkcan 写了 Hermes-jev-router（每轮选模型：简单的走便宜模型，难的走强模型，没把握时回到主模型）。
• 生态扩展：MLflow AI Gateway 宣布支持 TypeSafe System One（MLflow）。