Kimi K3 开放日：模型权重、技术报告与关键 Infra 技术同步开放

Kimi K3开放日开启！模型权重、技术报告及关键Infra技术开源，加速AGI研究与部署。
核心内容：
1. Kimi K3模型权重详情（参数规模、技术创新及部署方式）
2. 技术报告核心技术细节（KDA+AttnRes、Stable LatentMoE等）
3. 开源关键Infra技术（MoonEP、FlashKDA、AgentEnv）

感谢大家的耐心等待。今天是 Kimi K3 开放日，我们发布 Kimi K3 的模型权重、技术报告，并开源支撑 Kimi K3 模型训练的关键 Infra 技术：MoonEP、FlashKDA和AgentEnv。希望以此加速前沿智能的部署与普及，促进 AGI 研究。
Kimi K3 权重公布Kimi K3 是我们能力最强的模型：这是一个拥有 2.8 万亿参数的混合专家（MoE）模型，具备原生视觉理解能力，并支持 100 万 token 的上下文窗口。Kimi K3 参数规模是 Kimi K2.5 的 3 倍左右，但是规模化并不仅仅是参数的堆叠，在并不宽裕的算力条件下，我们凭借 Kimi Delta Attention、Attention Residuals 以及 MoonEP 等一系列技术创新，规模化效率提升了 2.5 倍（即在算力最优意义下，单位算力产出智能约等于原来 2.5 倍）。
现在，每个人都可以下载并部署 Kimi K3 模型——无论是用于内部研发，还是嵌入到面向终端用户的产品中，均可自由使用（其他使用情形，详见Kimi K3 许可证）。

→ 下载 Kimi K3 模型权重

今天，我们发布的 Kimi K3 技术报告公开了模型训练方法；Kimi K3 模型权重也一同开放，这份 Kimi K3 技术报告现已同步上线。
通过技术报告，可以了解以下技术细节：

• KDA + AttnRes：长上下文的高效建模由 KDA 和 Gated MLA 按 3:1 混合实现；跨层信息则借助块级注意力残差获得更强的流动能力。 
• Stable LatentMoE：896 个路由专家中，每个 token 仅选择 16 个激活；在这种极高稀疏度下，训练稳定性由 Quantile Balancing 和 SiTU-GLU 共同维持。 
• MoonViT-V2：不经过对比预训练，视觉编码器便从零以 next-token prediction 展开训练；其效果达到 SigLIP 初始化基线，同时优化过程获得更高稳定性。 
• 后训练与评估：完整评估覆盖近 20 个内部评测集；强化学习基建支持百万 token 上下文；大规模任务合成则面向编程 Agent、通用 Agent、通用推理三大领域。
  

上述内容仅是概要，技术报告已经详细呈现相关论述与消融实验。

→ 下载 Kimi K3 技术报告

Kimi K3 关键 Infra 技术开源
模型能力背后，离不开训练系统，即 Infra 基础设施层的稳定支撑。今天，我们向大家介绍支撑 Kimi K3 训练的三项 Infra 技术：MoonEP、FlashKDA 和 AgentEnv，覆盖从高性能通信、高性能算子到分布式 RL 环境的关键链路。其中 FlashKDA 此前已开源，MoonEP 和 AgentEnv 则随本次发布正式开源。

• MoonEP：MoonEP 是我们为超大的细粒度 MoE 打造的高性能通信库，让专家并行（expert-parallel）的通信在不均衡的情况下仍然实现极致效率。 
• FlashKDA：FlashKDA 是我们实现的 Kimi Delta Attention 高性能算子（kernel）。在英伟达 H20 上，相比 flash-linear-attention 基线，它的 prefill 速度提升 1.72-2.22 倍，可以直接作为 flash-linear-attention 的替换后端。 
• AgentEnv：为大规模运行 Agent 环境，我们与 KVCache.ai 合作开发了沙箱系统 AgentENV。Kimi K3 的后训练由此获得强隔离、高保真的沙箱，并可灵活执行分叉（fork）、恢复和快速快照等操作，从而承载大规模并行的训练任务与 Agent 工作流。
  

这三项技术为Kimi K3的训练效率与稳定性提供了关键支撑。如今将其开放，希望也能帮助你训练下一代模型。

→ MoonEP GitHub仓库

→ FlashKDA GitHub仓库

→ AgentENV GitHub仓库
为什么选择开放？我们始终相信开放权重模型具有重要价值：它们能够降低获得智能的门槛、促进创新，并让用户对数据拥有更大的控制权、隐私保护和所有权。过去几周，我们很高兴听到AI社区以及许多认同共同愿景的技术领袖表达支持。我们相信，AGI是一项影响深远的技术，广泛而开放的生态系统最适合成为承载它的土壤。为此，我们还会继续贡献力量。

---

↓快速开始

• 下载 Kimi K3 模型权重
• 阅读 Kimi K3 技术报告
• 了解MoonEP技术
• 了解FlashKDA技术
• 了解AgentEnv技术
• 了解 Kimi K3 模型

登录查看剩余 70% 内容