月之暗面Kimi开放Kimi K3模型权重及核心技术

近日，人工智能领域参与者@月之暗面Kimi宣布对外开放Kimi K3的模型权重与相关技术报告，同时公布数项用于支撑模型训练的核心技术组件。

开源组件与公开内容

发布方已上线Kimi K3模型的主要权重文件，配套技术报告则完整记载了训练所采用的关键方法及其结果。与此同时，支撑模型训练的三项核心技术MoonEP、FlashKDA和AgentEnv也以开源项目形式对外发布。

核心技术组件介绍

在这些技术中，MoonEP属于提升并行计算效率的基础设施技术，FlashKDA是经过优化的数据处理加速算法，AgentEnv则用于配置特定的模型训练环境。将这些技术开源，旨在向行业提供参考实现。

行业影响与发布背景

通过分享模型权重与核心技术，发布方展现了其在人工智能技术领域的开放态度，也为业内研究者和开发者提供了宝贵资源。业内人士认为，这类开源行动有利于提升相关技术领域的透明度，并促进协同发展。

Kimi K3模型面向公众：开放2.8万亿参数混合专家能力

月之暗面旗下Kimi K3模型已正式面向公众发布，这是CNMO科技披露的消息。该模型原生具备视觉理解能力，可处理超长上下文，目前能够自由下载和部署。

核心参数及模型特性

在月之暗面现有模型版本中，Kimi K3的参数规模最大，参数总量达到2.8万亿，并采用混合专家（MoE）架构。

混合专家（MoE）模型是一种通过将任务分配给多个专家子网络来提升处理能力的机器学习架构。

除原生支持图像识别和理解外，该模型还可提供100万token的上下文窗口，明显超过行业普遍水平。

模型开放下载与部署

模型文件可由用户通过官方渠道获取，其支持的应用范围包括但不限于内部研发实验以及商用产品集成。

开放自由使用授权

按照CNMO科技的说法，该模型在使用方面没有附加限制条件，各方能够依照自身需求将其用于不同场景，并向终端用户提供相应功能。

凭借高参数量与MoE架构的结合，Kimi K3在多模态交互领域形成明显优势，企业能够直接获取该模型，用于解决复杂认知任务。

Kimi K3模型权重与技术报告公布 自动化模型构建能力升级

此次公开的不只有Kimi K3模型权重，其模型训练方法也同步上线。Kimi K3技术报告对KDA+AttnRes、Stable LatentMoE、MoonViT-V2等技术细节进行了详细说明。

长上下文建模取得新突破

为了实现高效的长上下文建模，KDA+AttnRes采用以3:1比例混合KDA和Gated MLA的技术方案。借助块级注意力残差，这一方案可加强跨层信息流动，使模型训练获得更多灵活性。

KDA+AttnRes将模型训练中的KDA与Gated MLA按3:1比例混合，通过块级注意力残差增强信息流动。

保障高稀疏度训练稳定

在Stable LatentMoE技术中，每个token可从896个路由专家里激活16个。通过结合SiTU-GLU与Quantile Balancing机制，该方案保障了极高稀疏度条件下的训练稳定性，避免模型训练出现不稳定问题。

作为视觉编码器，MoonViT-V2使用从零开始的next-token prediction训练方法，不需要进行对比预训练。该方法不仅达到SigLIP初始化基线效果，还使优化过程更稳定，并降低了模型训练的复杂度。

完善多领域评估体系

通用推理、通用Agent和编程Agent三大领域均被纳入后训练与评估环节。依托大规模任务合成及百万token上下文强化学习基建，该模型完成近20个内部评测集的全面评估，从而保障其在多场景中的适用性与可靠性。

Kimi K3模型权重和技术报告此次对外公开，既让研究者获得了更深层的模型构建思路，也为自动化模型构建能力设立了新的标准。行业专家表示，这些技术投入应用后，将进一步促进人工智能模型发展。

内容来源：https://www.moyubuhuang.com/keji/202607/96404.html