Together AI 发布 FlashAttention-4，Blackwell 上推理速度提升 1.3 倍

Together AI 正式发布 FlashAttention-4，这款针对 NVIDIA Blackwell 架构优化后的注意力计算算法，在推理速度上比 cuDNN 快了 1.3 倍。这算是 AI 基础设施领域的一个挺实在的进步，直接让大模型跑得更快。

这个 1.3 倍的速度提升背后，其实藏着不少门道。FlashAttention-4 的核心思路是减少对显存的读写压力，让计算单元更高效地利用 GPU 的带宽。在 Blackwell 这类最新的硬件上，这种算法层面的优化往往能释放出硬件本身的潜力，效果自然就更明显。为什么这么说？因为传统算法很多时候让 GPU 在“等待数据”上浪费了太多时间，而 FlashAttention-4 恰恰把这个问题给解决了。

与此同时，Together AI 还顺手掏出了另一项新技术——ATLAS（运行时学习加速I器）。它能给大语言模型推理带来最多 4 倍的加速。这可不是简单的堆硬件，而是让加速I器在实际运行中“学着”怎么优化，算是一种挺聪明的做法。

• Together GPU Clusters：提供自助式 NVIDIA GPU 服务，让团队能快速拿到算力。
• Batch Inference API：宣称能处理数千亿个 Token，成本最多降低 50%。
• Fine-Tuning Platform 升级：支持更大的模型和更长的上下文。

仔细看看这些更新，不难发现 Together AI 在试图构建一条完整的服务链。从跑推理的算法 FlashAttention-4，到自适应的加速框架 ATLAS，再到可直接调用的 GPU 集群和批量推理 API，他们想做的就是让开发者不用在底层折腾，直接用好用的工具就行。说白了，就是尽量把复杂环节包揽下来，让使用者专注于模型本身。

这些动作背后，还引出了一个更有趣的概念——AI Native Cloud（AI 原生云）。跟传统跑通用应用的云不同，这种云基础设施从一开始就是为模型工作负载设计的。算力怎么分配、网络怎么连、存储怎么规划，全都围绕着 AI 计算来。这种思路其实挺直接的：既然 AI 是主要的玩法，那基础设施就得为它重新搭，而不是在旧架构上缝缝补补。这速度提升带来的影响，可不止是数字上好看那么简单。