Kolibri:欧洲开权重主权模型落地
Aleph Alpha 在德国统一日发布 Kolibri:英德双语 MoE,总参 78B、激活 3B,最长 1M 上下文,Hugging Face 全权重、Apache 2.0。
主权叙事这次带了真开源与技术报告——监管场景要的不只是「能跑」,还有供应链可交代与可自托管。
事实
- 规格:Mixture-of-Experts Transformer,78B total / 3B active,英德双语,上下文最长约 1M tokens;先有 Origin(30B/3B、65k)验证同一训练管线。
- 定位:面向公共行政、工业、航天等受监管场景;强调德语、推理、数学与 agentic 行为;标榜质量/serving 成本在英德上的 Pareto 前沿。
- 开放:全权重 Hugging Face、Apache 2.0;技术报告写到数据集与训练细节;同日新闻亦提到公司与 Cohere 签过跨大西洋合并意向。
解读
- 对选型:小激活参数利于本地/专有云部署,不必把内部数据送第三方推理;先按自家德语与工具调用评测,别只看宣传榜。
- 对叙事:讨论已点出「主权」与计划并入加拿大 Cohere 的张力;也有人指出同 harness 下 Qwen 德语分更高——主权卖的是合规与可控,不是永远第一名。
- 术语:MoE = 每次只激活部分专家子网;sovereign = 数据与部署路径可由客户自控、供应链可审计;abstention / Merlin-Arthur = 训练模型在上下文不够时说「不知道」。
讨论
- 正方技术报告像「如何自训现代 agentic LLM」教程,开放度罕见;有人已免费托管试玩接口。
- 反方德语基准上有人用自家 harness 测出 Qwen3.8 27B 更高;合并 Cohere 后「欧洲主权」口号是否还能站得住。
- 共识真正稀缺的是可复现管线与可自托管权重,而不只是又一个闭源榜单分数。