transformers v5.13.0发布：7大新模型接入 统一导出上线 Kernels大升级 生成与缓存全面修复：一文看懂全部更新

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

transformers v5.13.0 于 2026 年 7 月 5 日发布。这个版本更新非常密集，既有新模型的大量接入，也有面向导出、编译、混合注意力、缓存、量化、Serve、Kernels、Continuous Batching 等底层能力的系统性升级。对日常使用者来说，这一版最大的看点是：模型生态继续扩张，统一导出链路正式成型，生成与注意力相关顽固问题被集中修复，同时多项底层接口标准化带来了更好的 ONNX、torch.export 与 ExecuTorch 适配能力。下面基于官方发布内容，完整梳理 v5.13.0 的全部重点。

---

一、版本总览：这是一次“模型扩容 工程底座重构”的大版本

从整体看，v5.13.0 有几个非常鲜明的特征：

• 新模型一次性引入了多模态、语音识别、视频理解、视觉编码器、轻量语言模型等多个方向• Export 能力被统一到原生的 Transformers 导出体系中，形成 Native、Unified export 管线• 大量建模层面的实现被标准化，直接服务于可导出、可编译、可全图执行• Kernels、Generation、Attention、Cache、Serve、Quantization 等模块迎来成体系修复• 一些修复属于行为变化级别，尤其是 Gemma 3/4 掩码修复、EP 路由契约修复、Kernels 接口格式变化，需要现有用户重点关注

如果你是推理部署、模型导出、边端部署、长上下文推理、混合注意力、ASR、多模态或持续批处理方向的开发者，这一版几乎都有直接收益。

---

二、新增模型：v5.13.0 一次性接入多个重点模型

本次版本新增的模型覆盖文本、语音、图像、视频多个模态，下面逐一拆解。

1. KimiK 2.5、2.6、2.7

这次发布包含了 Kimi 2.5 的架构，并用于 2.5 到 2.7 版本。

Kimi K2.5 是一个开源、原生多模态、具备 agentic 能力的模型，重点提升了以下能力：

• 长时程编码• 编码驱动设计• 主动式自主执行• 基于 swarm 的任务编排

它在复杂的端到端编码任务上有明显提升，并且能稳定泛化到多个编程语言和场景，包括：

• Rust• Go• Python• 前端开发• DevOps• 性能优化

此外，该模型还支持把简单提示和视觉输入转成生产可用界面与轻量全栈工作流，能够生成：

• 结构化布局• 交互式元素• 丰富动画• 更精确的审美表达

此次更新中加入了 Kimi2-6 模型支持。

---

2. MiMo-V2-Flash

MiMo-V2-Flash 是来自 Xiaomi MiMo 团队的 MoE 语言模型，核心定位是在长上下文建模能力与推理效率之间建立新的平衡。

其特点包括：

• 面向复杂推理任务和 agentic 任务• 训练语料达到 27T tokens• 原生支持 32k 序列长度• 平滑扩展到 256K 上下文窗口• 相比标准全局注意力模型，显著降低 KV-cache 存储需求

本次版本中加入了 Xiaomi MiMo-V2 支持。

---

3. Nemotron 3.5 ASR

Nemotron 3.5 ASR 是一个 6 亿参数的多语言语音识别模型，面向两类场景：

• 低延迟流式转录• 高吞吐批量转录

它原生支持：

• 标点恢复• 大小写恢复

在流式场景中，它支持可配置 chunk 大小：

• 80ms• 160ms• 560ms• 1120ms

这样用户可以在时延和准确率之间自由权衡。它的核心架构是 cache-aware FastConformer-RNNT。与传统 buffered streaming 不同，它不会反复重算重叠音频窗口，而是：

• 仅处理新进入的音频 chunk• 复用此前缓存的 encoder 上下文

优势非常直接：

• 消除重复计算• 提升效率• 降低端到端时延• 不牺牲精度

这让它非常适合实时转录场景。

---

4. Nemotron ASR Streaming

Nemotron ASR Streaming 是一个同样为 6 亿参数的英文语音识别模型，也面向：

• 低延迟流式识别• 高吞吐批量转录

能力与上面的多语言版本类似，同样具备：

• 原生标点• 大小写恢复• 80ms、160ms、560ms、1120ms 的流式 chunk 配置• 基于 cache-aware FastConformer-RNNT 的高效流式推理机制

这意味着 Transformers 在 ASR 流式能力上进一步增强，且同时覆盖英文与多语言场景。

---

5. Qwen3 ASR

Qwen3 ASR 是一个自动语音识别模型，采用了：

• Whisper 风格的音频编码器• Qwen3 语言模型解码器

它支持：

• 自动语言检测• 多语言转录

本次还一并提供了 forced aligner 模型。这个对齐模型可以做什么：

• 对用户给定的音频和已有转录文本进行时间戳对齐• 使用相同的音频编码器• 在顶部增加分类头，预测词长度

更重要的是，这个 forced aligner 不仅可配合自家 ASR 使用，也可以配合其他 ASR 模型的转录文本来做时间对齐。

---

6. ZAYA

ZAYA1 是一个来自 Zyphra 的语言模型，参数规模是：

• 激活参数 7.6 亿• 总参数 84 亿• MoE 架构

它结合了几项关键设计：

• CCA，也就是 Compressed Convolutional Attention• 非线性的 ZAYA1 router• residual scaling

本次版本加入了 Zyphra/ZAYA1-8B 支持。

---

7. VideoPrism

VideoPrism 来自 Google DeepMind，是一个通用视频编码器，目标是用单个冻结模型完成多种视频理解任务。

它的预训练数据规模很大：

• 3600 万高质量视频-字幕对• 5.82 亿带噪平行文本的视频片段，例如 ASR 转录

其方法通过以下设计提升了 masked autoencoding 路线：

• semantic video embedding 的 global-local distillation• token shuffling 方案• 更聚焦视频模态，同时充分利用视频附带文本

效果上，它在 33 个视频理解基准中有 31 个达到 SOTA，任务范围覆盖：

• 网页视频问答• 面向科学的计算机视觉任务

本次版本中已加入 Videoprism 支持。

---

8. RADIO

RADIO 的全称是 Reduce All Domains Into One，是一组来自 NVIDIA 的视觉基础模型。

其特点包括：

• 通过多教师蒸馏训练• 教师模型示例包括 CLIP、DINOv2、SAM• 最终蒸馏到单一 ViT 主干

它的输出形式包括：

• 图像级摘要 embedding• 稠密空间特征

另外它还支持可变输入分辨率，依赖的机制是：

• CPE，也就是 Cropped Position Embedding patch generator

这使得它在多视觉任务中有很高的适配潜力。

---

9. MiniCPM3

MiniCPM3 是 OpenBMB 的第三代稠密语言模型。此次重点提到的是 4B 版本，它在多个标准基准上优于不少 7B 到 9B 开源模型，同时足够轻量，适合端侧使用。

它整合了几项架构思路：

• 来自 DeepSeek-V2 的 MLA，也就是 Multi-head Latent Attention作用是把 KV cache 压缩到低秩潜表示中，同时保留部分 query/key 头上的 rotary embeddings• 标准 SwiGLU MLP不使用 MoE• 三个控制信号流的标量缩放因子• scale_emb：缩放输入 embedding• scale_depth / sqrt(num_hidden_layers)：缩放残差连接• hidden_size / dim_model_base：在语言模型头之前缩放 hidden states

这类轻量但有竞争力的模型，对边缘设备和本地部署都很有意义。

---

三、破坏性变更：升级前必须重点关注

这一部分是生产环境用户最该看的内容。

1. 建模标准化带来的接口变更

为了统一层声明、mask 与 cache 构造、混合注意力处理方式，Transformers 做了较大范围的 modeling 变更。结果是很多模型现在可以更干净地完成：

• ONNX 导出• torch.export 导出• ExecuTorch 导出• fullgraph compile

但代价是：如果你依赖内部 modeling API，自定义代码可能需要更新。

---

2. Gemma 3/4 的图像 token 注意力掩码修复

Gemma 3/4 中图像 token 的 attention masking 已修复，现在本地层会正确遵守 sliding window 边界。

这会直接带来两个后果：

• 模型行为变化• 旧结果的可复现性可能受到影响

如果你此前基于 Gemma 3/4 做了评测、部署或产线验证，这一点一定要重新核对。

---

3. EP 路由契约与 FP8 scale format 修复

多个模型的 Expert Parallelism 路由契约被修正，同时 FP8 scale format 的处理方式也被修复。

如果你正在使用：

• EP• FP8 量化

那么需要：

• 重新检查配置• 视情况更新 conversion mapping

---

4. Kernels 最新版本同步带来接口格式变化

Kernels 集成已经同步到最新版本，其中一个关键 breaking change 是：

• kernels 接口不再接受 model-type 仓库

用户必须迁移到新的 kernel repository 格式，参考更新后的测试用例完成调整。

---

四、HfExporters：PyTorch、ONNX、ExecuTorch 的统一原生导出正式到来

这是本次版本最重要的工程能力更新之一。

Transformers 现在提供了原生、统一的导出体系：

• 一个基类：HfExporter• 三个子类：• DynamoExporter• OnnxExporter• ExecutorchExporter

三者对应输出如下：

Exporter	输出	运行时
DynamoExporter	ExportedProgram	任意 PyTorch runtime，支持 AOT compilation
OnnxExporter	ONNXProgram	任意 ONNX runtime，如 ORT、TensorRT、OpenVINO
ExecutorchExporter	ExecutorchProgramManager	移动端与边端，面向 ExecuTorch

这一套体系的优点非常明确：

• 三种导出方式调用形态一致• 默认支持动态 shape• 生成类模型会自动拆分成 prefill decode• 多模态生成模型还会自动拆分视觉、音频等子编码器

对于生成式模型，会自动导出：

• prefill• decode

对于 VLM，还可能额外导出：

• vision_encoder• audio_encoder• multi_modal_projector• language_model• lm_head

这意味着导出流程更统一、可维护性更高、适配部署平台更自然。对 ONNX、边缘设备和 AOT 编译工作流来说，这个改动非常关键。

---

五、Kernels：内核路径修复与性能路径增强

本次版本在 Kernels 方面做了多项修复和增强，重点包括：

• 修复 GQA 模型在 key/value head_dim 大于 256，或者二者不同情况下，静默回退到 SDPA math-kernel 的问题这个问题会导致 O(S²) 级别的内存物化，像 Gemma4 这类模型会受到明显影响• 修复 use_kernels=True 时没有正确应用 kernel mappings 的回归问题• 默认 kernel mapping 改为 lazy loading这样可以避免 kernels 版本不兼容时的导入失败，也让普通 transformers 使用与 kernels 解耦• 在 ROCm 上加入 AITER Triton kernels 路由• 为 Qwen3.6 Gated DeltaNet 增加 GB10/SM121 Hub-kernel 支持路径• 完善 kernel API 文档• 增加 AITER kernels 文档• 修复上游 rotary kernel 中 position ids 不存在的问题• 增加 kernels.md 的中文翻译

如果你关心推理性能、GPU 内核选择、AMD 路由、GQA 路径优化，这部分更新价值很高。

---

六、Generation：生成模块迎来集中修复

v5.13.0 对 Generation 做了多点修复，基本覆盖 chunked-prefill、speculative decoding、beam search、stateful 模型、prompt lookup decoding、continuous batching 等多个常见问题。

主要修复如下：

• 修复 Mamba2 chunked-prefill 以及多个混合模型上的 speculative decoding 问题涉及 Zamba2、Nemotron-H、Bamba、FalconH1、GraniteMoeHybrid• 移除一些不必要的 generate warnings• LFM2 和 LFM2-MoE 被明确拒绝 assisted generation，并设置 _is_stateful，修正状态模型处理逻辑• 修复 Mamba 模型的 beam search• 修复在未配置 EOS token 时，prompt lookup decoding 崩溃的问题• Continuous Batching 中，生成输出会进行 snapshot，避免修改请求状态• 文档补充了在生成时将输入 tensor 保留在 CPU 的能力• 新增选项允许用户在 generation 期间让输入 tensor 保留在 CPU这样可以避免在 Neuron 或 TPU 设备上发生 retracing

从生产角度看，这一批修复能显著提高复杂生成场景的稳定性。

---

七、Attention：注意力相关问题继续清理

注意力机制是所有大模型框架中最容易积累隐性问题的区域之一，这一版的修复相当实用：

• 修复所有使用 linear attention 的模型在 offloading 场景下 accelerate hooks 的处理错误，避免静默错误结果• 修复 Xcodec2 attention 被错误处理为 causal 的问题，现在改为 non-causal• 修复 Flash Attention 与 StaticCache 的兼容问题• 修复 Evolla 文本解码器中 GQA 的 eager attention 支持问题• 增加 metal flash attention 文档• 修复 Blip2 的 cross attention reshape 问题

这些修复覆盖了功能正确性、缓存兼容性和后端支持多个层面。

---

八、Cache：缓存 API 更统一，滑窗与设备问题被修好

缓存是高性能生成、长上下文和持续批处理的核心。本次 Cache 侧的更新包括接口收敛与 bug 修复两部分。

接口层面：

• 将冗余 getter 收敛为更清晰的 get_max_length 方法• 同步更新相关文档

修复层面：

• 修复生成超出 sliding window 时的 mask 问题• 修复 cache cumulative length 跟踪中的维度问题• 修复混合模型中 offloaded cache 的设备不匹配问题• 修复 trust_remote_code 模型从符号链接本地缓存加载时的崩溃问题

如果你维护过 KV cache、静态缓存、混合缓存或窗口注意力，这些改动会明显降低踩坑概率。

---

九、Serve：CLI、序列化与文档体验改进

Serve 方面虽然不是最大更新点，但也有几个非常实用的修复：

• Serve 相关 handler 改为 lazy import这样即使没有安装可选 serve extra，CLI 也不会崩溃• 修复继承自 Pydantic 的子类模型在序列化时丢失部分属性的问题• GitHub API 调用中每页条数从 100 降到 50，以避免服务器错误• 增加 kernel API 文档说明

对于服务化部署用户来说，这些改动提升了工具链健壮性。

---

十、Quantization：Gemma4 多模态嵌入器与 FP8 量化修复

量化方面，本版主要修复了两类问题。

1. Gemma4 视觉与音频嵌入器在 BitsAndBytes 量化下的 dtype casting 问题

之前存在的问题是：

• 输入会被错误 cast 到整数存储 dtype• 比如 uint8 或 int8• 而不是实际计算所需的 compute dtype

此次修复覆盖了：

• Gemma4 的 vision embedder• Gemma4 的 audio embedder• 更一般的 quantized multimodal embedders

这对多模态量化推理的正确性非常重要。

2. FP8 量化中 ue8m0 scale 的处理修复

具体变化是：

• 在量化权重之前，先对 block scales 进行 round• 从而确保反量化时得到正确值• 特别适用于 ue8m0，也就是 DeepSeek-V4 风格格式

这会改善 FP8 数值一致性。

---

十一、Bugfixes and improvements：海量修复与改进一览

这一部分内容非常多，涵盖模型支持、文档、CI、测试、路径安全、分布式训练、Offloading、Pipelines、Processor、RoPE、Continuous Batching、Diffusion、PEFT、Apple Silicon、NeMo、SmolLM3 等多个方向。下面按发布内容完整梳理。

模型与功能新增、修复

• 新增 HunYuan VL 模型• 新增 xcodec2 模型• Qwen3 ASR 的 no_split_module 文案错误修复• QwenVL 模型转换• NemotronAsrStreaming pipeline 修复• NemotronAsrStreaming 的 processor 不再依赖 modular• NemotronAsrStreaming 显式将 _supports_flex_attn 设为 False• 为 Sapiens2ForPoseEstimation 增加原生 masked MSE loss• VideoPrismForVideoClassification 返回 last_hidden_state 的问题修复• VibeVoiceAsrConfig 暴露 max_source_positions• Laguna 支持 per-element output gating• Smovlm 支持把视频 pad 到最大帧数• RecurrentGemma 支持 attn_implementation dispatch• blip_2 支持 attn_implementation dispatch• CTRL 支持 attn_implementation dispatch• Add conversion scripts for EUPE• DiffusionGemma 的 mask layout 和 CI 修正• Olmo3 支持按层类型使用不同 RoPE• glm-mode-dsa 的索引器使用 interleaved rope• Mllama 改用标准参数名• diffusion_gemma 在 models init 中导入

训练、损失与推理逻辑修复

• Florence2 的训练 loss double-shift 问题修复• Moonshine 的训练 loss double-shift 问题修复，训练应直接对 labels 而不是 labels[..., 1:]• Fix use_cache with seq_len > 1• Fix several bugs in cache_implementation=static• Fix left-padding token selection in BioGptForSequenceClassification• Fix RT-DETR 在 num_feature_levels 超过 backbone 输出时的索引错误• Return logits from semantic segmentation post-process• Fix flex_attention block mask creation when get_seq_length 返回 tensor• fixes per head minimaxm3• Lfm2 在 ShortConv.slow_forward 非 fast-path 中也会传递 seq_idx• gated delta net norm 不再硬编码固定到 cuda:0• Fall back to grouped_mm 的 CPU for-loop 路径

Offloading、部署与磁盘相关

• Support full disk offloading• 修复 full disk offloading 文档• 修复模型显式 tensor dtype 时的 disk offloading 问题• Continuous Batching 中修复 offloading 问题• 混合模型的 offloaded cache 设备不匹配已修复

Pipelines、Processor、Tokenizer 与输入处理

• ImageClassificationPipeline 接受 numpy 数组和 tensor 输入• ProcessorMixin._load_tokenizer_from_pretrained 在 tokenizer 位于根目录时的回归修复• create_mm_token_type_ids 避免 NumPy 2.0 的 array copy 关键字弃用问题• load_audio 支持 base64 字符串音频• 对空 conversation 调用 apply_chat_template 时，改为抛出 ValueError• aria 中 get_number_of_image_patches 使用 math.ceil 以匹配实际 patch 数• trust_remote_code 模型在符号链接本地缓存中的动态模块加载问题修复• auto_factory 在 model_class 缺少 config_class 时修复 AttributeError• auto-mappings 注册在 remote code 场景中得到修复，也修复了一些 custom code 问题• 防止 auto-class 被所有模型修改• Raise a loud error for missing prefix• path traversal via vocab-file arguments in tokenizer_config.json 已修复，属于安全增强

文档与开发体验

• 增加 kernels 中文文档• 增加 kernel API 文档• 增加 metal flash attention 文档• 增加 full disk offloading 文档• 增加 distributed training 文档• 增加 custom_generate 需要 trust_remote_code 的文档说明• 增加 compile level 与 batch/scheduling limits 文档• 澄清 initialization module 的用法• 更新 NeMo AutoModel 示例• 更新 apple silicon 文档，强调 safetensors 0.8.0 的收益• SmolLM3 在文档目录中移动到 Text models 类别• 修复 Gemma 4 Assistant 文档中的拼写错误• 修复 Dia 文档• 修复 conditional_detr 文档中 num_queries 默认值，100 更正为 300• 修复 broken internal documentation links• 修复 model documentation 中的内部链接• experimental features 文档中重定向到 diffusers pipe• trainer 文档新增 JIT checkpointing 配方• GLM-5.2 文档更新• skills 文档补充，帮助 agent 快速上手• 流式 chat parsing 能力加入

PEFT、测试、CI 与工程维护

• PEFT 最低版本提升到 0.19.1，并移除重复权重转换代码• PEFT 版本过低时跳过相关测试• 增加 PEFT 集成测试• 运行 fast PEFT tests 到常规 CI• 修复 PEFT test 错误类型变更• Add tiny_model_id support to ProcessorTesterMixin for memory-sensitive tests• 使用 common floats_list 方法进行 feature extractor 测试• Better processing tests• skip decorators 必须放在 parameterized.expand 之后以兼容 pytest• fix another flaky test• CI 使用预计算的 _OLD_MODELS• workflow callers 切换到 transformers-ci• nightly run 中调用 transformers-ci• 安装流程加入 docker• self-comment-ci workflow 的 artifact 下载路径修复• slack report 下载 artifact 时的二级限流修复• suppress ANSI color codes，CI 中设置 NO_COLOR=1• add merge_group trigger 到 pr-ci-caller• grant pull-requests:write 到 security gate caller• 增加说明解释为什么 secrets 不会在 security gate 中继承• CircleCI 被 no-op 配置替换，相当于停用• 周末曾禁用 forked repo 的 PR CI，后续又回滚• only in the original repo• the CI status should be a comment• Insert a Grafana badge in the PR• Update post release• Reduce per_page from 100 to 50 in GitHub API calls to avoid server errors• Install in docker• call transformers-ci in a nightly run

底层实现、数值与后端兼容改进

• Remove default dtype in FusedRMSNormGated modules• BitNet packed-weight unpacking 的 dtype 修复，解决 F.linear dtype mismatch• use inspect.getsource 替代 open() 读取源码，用于 can_set 实现判断• common backend fix for mistral• meshgrid 用于简化实现• fix typo in code• Switch decorator order• Kernelize refactor• finegrained v3• Multi-gpu loading when the whole backbone is tied• Delete docstring if same as in auto-doc• Fix dynamic RoPE not resetting inv_freq when layer_type is None• Use cached added-token dicts in per-token decode loops• Improve AutoImageProcessor 在后端不可用时的报错• Fall back to grouped_mm 的 CPU 路径• CB 修复 FA read/write• CB 提升 max_batch_tokens• CB 的 seqlens 修复并使用 TypedDict• CB 在模型内部 slice logits• CB 将 FA2 加入 fast path• fix offloading in CB• full disk offloading 支持完善• support full disk offloading docs• safetensors 升级到 0.8.0

---

十二、社区贡献概览：重点方向清晰，ASR、视觉、缓存、CI 都在快速推进

从发布信息可以看出，本周期的显著贡献主要集中在以下方向：

• CI、测试与工程基础设施• 新模型接入，包括 HunYuan VL、MiMo-V2、ZAYA1、MiniCPM3、Videoprism、RADIO 等• ASR 方向，尤其是 Nemotron 系列与 Qwen3 ASR• Attention、Cache、Generation 的关键正确性修复• Kernels 与 Continuous Batching 的推理路径增强• attn_implementation dispatch 的模型适配

这说明 Transformers 正在持续强化两条主线：

• 上层模型生态扩展• 下层导出、缓存、生成、内核、部署的统一工程底座

---

十三、这次升级最值得关注的结论

如果只用几句话总结 transformers v5.13.0，可以概括为以下几点：

• 模型接入继续提速，一次覆盖文本、语音、视频、视觉、多模态多个热门方向• 原生统一导出体系成型，PyTorch、ONNX、ExecuTorch 路线被彻底打通• 大量 modeling 标准化工作落地，为 export、compile、hybrid-attention 铺平道路• Generation、Attention、Cache、Kernels、Quantization 等核心模块得到系统性修复• 一些行为变化和接口变化具有升级影响，尤其是 Gemma 3/4、EP、FP8、Kernels 用户需要重点验证

对于开发者来说，这不是一个只加模型的小版本，而是一个同时增强“可用模型数量”和“可部署、可编译、可维护能力”的关键版本。

---

十四、总结

代码地址：github.com/huggingface/transformers

transformers v5.13.0 的价值，不只是“又支持了几个新模型”，更重要的是它继续把 Transformers 从一个模型调用库，推进成一个更完整的模型运行与交付平台：

• 能接更多模型• 能更好导出• 能更稳生成• 能更准缓存• 能更强内核化• 能更好服务化• 能更顺畅地落地到 ONNX、移动端、边端与异构硬件

·

---

·

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。原始发表：2026-07-05，如有侵权请联系[email protected] 删除