非自回归决策模型 Laya：一次开源对标与自我辩护
当下AI圈都在热议一种全新模型：它采用非自回归架构，不生成文本，还能针对结构化 schema（模式）输出闪电般的概率预测结果。
看到全网的炒作，我百感交集——既觉得自己的研究得到了认可，又深感憋屈。
早在2025年3月，我就开始研究这类模型了。我投入数月心血，熬过无数个不眠之夜，终于完成了模型开发：在arXiv上发表论文（arXiv:2503.23303），在Hugging Face发布模型权重（sales-conversion-model-reinf-learning），公开配套数据集（saas-sales-conversations），开发了PyPI包，还在Reddit上分享了完整方案（r/LocalLLaMA讨论）。
2025年9月，我发表第二篇论文（arXiv:2510.01237），正式确立了基于强化学习的schema决策框架。我的系统核心始终是强化学习，而非简单的嵌入模型或自回归大语言模型（LLM）。
然而到了2026年9月，资金雄厚的前沿实验室TypeSafe AI（由OpenAI的ChatGPT联合发明者Diogo Almeida创立）推出了Jev。他们提出的非自回归决策概念，和我的研究完全一致，却宣称是全新的科学突破。更关键的是，他们既没发布技术论文，也没公开模型权重和训练数据集。
我早先的模型采用基于序列表征的PPO（近端策略优化），针对垂直领域销售对话输出逐轮转化轨迹（0.0到1.0的概率值）。Jev则将并行采样泛化，用他们所谓的RLCD（校准决策强化学习）输出置信度分布和横向schema选择，定价为每百万输入令牌0.042美元，响应时间约150毫秒。
我没有沉溺于不满，而是决定结合所学经验，彻底解决旧方案的架构局限，打造一套完全开源的横向System 1决策模型家族：Laya。
由于采用双向编码器构建，我们的模型在单GPU上仅需32.8毫秒即可完成推理（批量处理时单问题仅需7.2毫秒），速度比Jev快6到8倍，同时支持100多种语言，无需订阅API，模型权重完全开源，遵循Apache 2.0协议。
1. 核心洞见：System 1 vs System 2
现代AI流水线存在一个巨大瓶颈：我们用生成式大语言模型处理简单的反射式决策。
当收到客户支持工单、新邮件，或是用户向API提交请求时，通常只需要回答一些简单的结构化问题：
- 工单该分派到哪个部门？
- 这封邮件是钓鱼攻击还是垃圾邮件？
- 用户的请求是否试图越狱或注入指令？
- 问题的紧急程度如何（按0到3的等级划分）？
- 该查询需要执行代码，还是只需给出事实性答复？
调用80亿、700亿参数的生成式大语言模型来处理这类任务，完全是杀鸡用牛刀。你要等500毫秒到2000毫秒才能拿到流式输出的令牌，还要为推理付费，之后得用正则表达式或JSON解析器从自由文本中提取清晰标签。最糟糕的是，大语言模型容易产生幻觉，还会生成虚假的置信度。当LLM输出"confidence: 0.95"时，它只是在生成听起来可信的令牌，背后没有任何数学校准支撑。
我们需要一种类似人类大脑System 1的模型：能瞬间做出反射式决策，输出真实、经过校准的概率，在普通商用硬件上仅需30到35毫秒即可完成推理。
2. 三大决策原语
Laya可在单次前向传播中，针对任意状态（原始文本、邮件、工单或JSON文档）处理特定类型的问题。它基于三大决策原语：
- choice（选择）：从一组标准选项中选出一个结果，返回选中的选项键、所有选项的概率分布，以及经过校准的置信度得分。
- score（评分）：将状态归入某个有序等级（0、1、2……），返回预期等级、各等级的概率分布，以及置信度。
- noul（布尔判断）：直接回答布尔型问题，返回0.0到1.0之间的校准概率P(true)（根据定义，P(false) = 1 - P(true)）。
由于输出仅包含概率和数值，模型不会生成文本，也就不会产生幻觉，从根本上避免了schema违规或JSON格式错误的问题。
3. 三类 checkpoint 与集成式Hub架构
单一模型无法适配所有任务和语言。我们发布了三类专用checkpoint，现已整合到Hugging Face的同一仓库Hub中：
| Checkpoint | 骨干编码器 | 参数规模 | 上下文长度 | 核心优势 |
|---|---|---|---|---|
| convaiinnovations/laya | ModernBERT-large | 4.21亿 | 512 | 英文文本分类、安全防护、邮件分流 |
| convaiinnovations/laya-multilingual | mmBERT-base（25.6万词表） | 3.22亿 | 1024（最高支持8k） | 支持100+种语言，速度快2.2倍，跨语言自然语言推理（NLI） |
| convaiinnovations/laya-typed-decisions | ModernBERT-large | 4.21亿 | 1024 | 智能体可观测性、客户服务、发票处理、安全警报（准确率0.766） |
选择性子文件夹下载
我们没有让用户管理三个独立仓库，或是下载总计2.5GB的模型权重，而是将三类checkpoint整合到主仓库convaiinnovations/laya中。借助Hugging Face的allow_patterns功能，Laya的SDK只会下载用户指定的子文件夹：
# 下载英文模型（约808MB）
agent_en = laya.load("convaiinnovations/laya")
# 仅下载多语言子文件夹（约647MB），无需下载整个2.5GB的包
agent_ml = laya.load("convaiinnovations/laya", subfolder="multilingual")
4. 路由为何至关重要：多文字体系的现实
我们在MASSIVE基准数据集上对51种语言进行测试（20个选项，随机基线准确率为0.050），其中最令人震惊的发现是：英文模型在非拉丁文字体系下表现极差。
ModernBERT-large的英文BPE词表仅有5万个令牌，处理非拉丁字母时完全失效：
- 高棉语：准确率0.000，平均置信度却高达0.952。100道题全错，却自称有95%的把握。
- 亚美尼亚语：准确率0.050（和抛硬币猜中概率一致），置信度0.885。
- 希伯来语：准确率0.060，置信度0.964。
- 孟加拉语：准确率0.080，置信度0.945。
- 印地语：准确率0.100，置信度0.941。
这揭示了一个关键问题：当模型无法识别输入文字时，自身的置信度不会发出任何警告。在51种语言的测试中，英文checkpoint的平均置信度从未低于0.885，无论其实际准确率是82%还是0%。
因此，仅靠置信度阈值无法规避风险。必须在执行前向传播之前，就确定使用哪款模型。
亚毫秒级纯Python路由模块
Laya内置Router模块，可识别22种文字体系（天城文、中日韩汉字、西里尔文、阿拉伯文、希伯来文、泰米尔文、泰文等）的Unicode文字特征，并分析拉丁文字的停用词分布：
- 标准英文文本：检测耗时仅0.09毫秒。
- 天城文/印度语系文本：检测耗时0.54毫秒。
- 包含200行嵌套结构的大型JSON文档：检测耗时0.73毫秒。
相比33毫秒的前向传播耗时，路由的额外开销可以忽略不计（<2%）。开启Router(preload=True)后，所有所需模型会常驻显存/内存，彻底消除不同语言流量切换时7到10秒的冷启动延迟。
from laya import Router
# 预加载checkpoint到内存，实现亚35毫秒级的即时路由
router = Router(preload=True)
# 英文自动路由到ModernBERT-large
res_en = router.predict({"body": "I was charged twice, please refund."}, questions)
# 印地语自动路由到mmBERT-base（支持100+种语言）
res_hi = router.predict({"body": "मुझसे दो बार शुल्क लिया गया, कृपया पैसे वापस करें।"}, questions)
# 已知领域时可手动指定模型
res_spec = router.predict(state, questions, model="typed-decisions")
5. 正面交锋：Laya（带路由）vs TypeSafe Jev
我们在公开数据集和标准基准测试上，对Laya和TypeSafe Jev进行了直接对比。Laya的所有数据均为实测结果；Jev的数据来自第三方独立研究（AbdelStark、nibzard）及TypeSafe AI官方发布。
| 基准测试/指标 | TypeSafe Jev 1.13.0 | Laya（带路由） | 优势/差值 |
|---|---|---|---|
| typed-decisions（2000次决策） | 0.727 | 0.766 | +3.9%（超过0.735的教师模型上限） |
| AG News（4个标签） | 0.910 | 0.950 | 准确率高4.0% |
| DAIR Emotion（6个标签） | 0.480（布里尔分数0.846） | 0.595 | 准确率高11.5%（Jev有16%的预测概率为0） |
| 校准误差（ECE） | 0.246 | 0.081 | 概率校准效果提升3倍 |
| P50延迟（单问题） | 236–276毫秒 | 32.8毫秒 | 执行速度快7.8倍 |
| P50延迟（10个问题批量处理） | ~1500毫秒（串行） | 72.3毫秒（单问题7.2毫秒） | 批量调用速度快20倍 |
| 可用语言（准确率达随机基线3倍以上） | 无公开测试数据 | 51种语言中的45种 | 覆盖全球多语言 |
| 每百万令牌成本 | 0.042美元（计量API） | 0美元（自托管） | 基于Apache 2.0协议完全免费 |
| 模型权重与代码 | 闭源专有API | 开源safetensors格式 | 支持离线部署与本地运行 |
真实业务场景落地
在9个企业级工作流测试中，Laya展现了生产级别的决策质量：
- 邮件垃圾过滤（Enron数据集）：准确率0.993，F1值0.993，ECE值0.013。
- 钓鱼邮件检测：准确率0.980，F1值0.979，ECE值0.012。
- LLM安全防护与越狱检测（独立ToxicChat数据集）：准确率0.755–0.762。当仅筛选50%高置信样本时，准确率可达0.931。
- 检索增强生成（RAG）段落相关性过滤：单次前向传播准确率0.657。
- 支持工单分流（10类）：准确率0.522。
6. 坦诚的局限性：Laya的能力边界
太多AI发布刻意隐瞒缺陷，我们坚持工程诚信，公开以下局限性：
- 选项超过20个时，choice问题性能下降：在Banking77数据集（77个标签）的压力测试中，Laya得分0.425，而Jev得分0.870。这是架构预算限制导致的：选项共享192-256令牌的
head_max_len预算，77个选项平均每个仅能分配到约3-4令牌。建议：choice类schema的选项控制在20个以内，或采用“粗分类+细分类”的两步策略。 - 零样本 vs 微调：未经微调的基础模型在typed-decisions基准测试中得分约0.35（接近随机水平）。0.766的得分是在基准训练集上微调后取得的。请将Laya视为需定制化的快速基础模型，而非无所不能的零样本预言机。
- 温度校准：基础权重输出的是原始温度对数概率。针对特定问题类型，在你的领域数据集上拟合一个标量温度参数，可将预期校准误差从0.466降至0.081。
7. 快速上手：30秒运行Laya
pip install laya>=0.3.3
以下是一个完整示例，展示如何进行多schema决策并实现自动语言路由：
import laya
from laya import Router
# 初始化路由并预加载模型（避免切换延迟）
router = Router(preload=True)
# 定义复杂状态
ticket = {
"ticket_id": "TCK-8821",
"customer": "enterprise_user",
"subject": "System downtime and billing dispute",
"body": "Our production API has been failing since 6 AM. We lost critical transactions. We demand an immediate SLA refund."
}
# 定义不同类型的多个问题
questions = {
"queue": {
"type": "choice",
"instructions": "Which engineering queue owns this ticket?",
"criteria": {
"infrastructure": "server outages, network downtime, database failures",
"billing": "refunds, SLA credits, invoice disputes",
"security": "breaches, vulnerability reports",
"support": "general customer inquiries"
}
},
"urgency": {
"type": "score",
"instructions": "How urgent is this ticket?",
"criteria": ["low priority", "medium", "high priority", "critical blocker"]
},
"churn_risk": {
"type": "noul",
"instructions": "Does the customer threaten to cancel or express severe churn intent?"
}
}
# 单次前向传播：同时处理所有问题
res = router.predict(ticket, questions)
print("Routing Decision :", res["routing"]["model"])
# -> english
print("Assigned Queue :", res["answers"]["queue"]["choice"])
# -> infrastructure (confidence: 0.96)
print("Urgency Score :", res["answers"]["urgency"]["score"])
# -> 2.87 / 3.0
print("Churn Risk :", f"{res['answers']['churn_risk']['noul']:.1%}")
# -> 91.4%
8. 资源与社区
- Hugging Face模型Hub：convaiinnovations/laya（包含全部3类checkpoint）
- 在线交互式演示：convaiinnovations/laya-demo（在ZeroGPU上体验8类工作流与多语言路由）
- GitHub仓库：github.com/NandhaKishorM/laya（代码、路由模块及可复现的基准测试工具，位于
research分支） - PyPI包：pip install laya
- Kaggle双T4微调笔记本：laya_finetune_typed_decisions_2xT4_kaggle.ipynb（在免费Kaggle GPU上约4小时即可训练自定义System 1模型）
结语
从2025年3月发表arXiv论文到今天，我们花了一年时间研究，但核心洞见始终未变：不是所有AI问题都需要自回归聊天机器人。
针对高吞吐量的分类、安全防护、路由和分流任务，基于RLCD训练的亚35毫秒双向决策模型，比闭源方案快7.8倍，不会产生幻觉，支持全球语言路由，还能输出真实可信的置信度得分，可直接用于生产代码的分支逻辑。
最重要的是，它完全开源，面向整个AI社区。