据介绍，DeepSeek近期推出的针对Hopper GPU优化的高效MLA（Multi-Layer Attention，多层注意力机制）解码内核——FlashMLA，专为处理可变长度序列而精心设计，现已正式投入生产使用。在H800这样的高端GPU上，FlashMLA能够实现惊人的3000 GB/s内存带宽和580 TFLOPS的计算性能，展现了其卓越的性能潜力。 简而言之，FlashMLA是一项能够让大语言模型在H800等高性能GPU上运行得更快、更高效的优化方案，特别适用于对性能要求极高的AI任务。这一创新代码通过加速大语言模型的解码过程，显著提升了模型的响应速度和吞吐量，对于实时生成任务（如聊天机器人、文本生成等）来说，这无疑是一个巨大的福音。 MLA作为一种改进的注意力机制，旨在提升Transformer模型在处理长序列时的效率和性能。它通过多个头的并行计算，使模型能够同时关注文本中不同位置和不同语义层面的信息，从而更全面、更深入地捕捉长距离依赖关系和复杂语义结构。这种机制在DeepSeek的架构中发挥着至关重要的作用，有从业者曾指出，MLA的本质是对KV（Key-Value，一种缓存机制）的有损压缩，有效提高了存储信息的效率。该技术首次在DeepSeek-V2中引入，并凭借其显著减小KV缓存大小的优势，成为了目前开源模型中的佼佼者。 当被问及开源这一代码的影响时，DeepSeek表示，FlashMLA就像给AI推理引擎装上了一台“涡轮增压器”，使大模型在处理复杂任务时能够更快、更省资源，同时降低了技术门槛。这一优化方案的意义不仅在于技术层面的提升，更是打破算力垄断、加速AI普惠化进程的关键一步。 具体来说，FlashMLA通过突破GPU算力瓶颈，实现了成本的降低。传统解码方法在处理不同长度的序列时，往往会导致GPU的并行计算能力被浪费。而FlashMLA通过动态调度和内存优化，充分利用了Hopper GPU（如H100）的算力，使得在相同硬件条件下，吞吐量得到了显著提升。这意味着企业可以用更少的GPU服务器完成同样的任务，直接降低了推理成本。 此外，FlashMLA还推动了大模型在实际场景中的应用。可变长度序列是现实场景中的常态，但传统方法需要将其填充到固定长度，导致计算冗余。而FlashMLA支持动态处理变长输入，使得AI应用（如客服机器人、代码生成等）的响应更加迅速、流畅，用户体验得到了显著提升，加速了商业化落地的进程。 值得一提的是，此前高效解码内核多由科技巨头闭源垄断，中小企业和研究者难以复现。而FlashMLA的开源，使得开发者可以免费获得这一“工业级优化方案”，降低了技术门槛，促进了更多创新应用（如垂直领域小模型）的诞生。这无疑是对开源社区的一大贡献，也彰显了DeepSeek作为开源倡导者的坚定立场。 有网友在DeepSeek的帖子下留言称：“the whale is making waves!（鲸鱼正在掀起波浪！）”，对DeepSeek的开源举措表示了高度的赞赏。还有网友希望DeepSeek能够开源网页搜索（Web Search）相关的代码，并称赞DeepSeek是“真正的OpenAI（开放人工智能）”。 而DeepSeek的开源之路才刚刚开始。上周2月21日，DeepSeek宣布将从下周开始陆续开源5个代码库，以完全透明的方式分享其微小但真诚的进展。这些在线服务中的基础构建模块已经经过文档化、部署，并在生产环境中经过了实战检验，具备极高的实用价值和可靠性。 DeepSeek在公告中表示，自己是一家探索AGI（通用人工智能）的小公司，作为开源社区的一部分，每分享一行代码，都会成为加速AI行业发展的集体动力。同时，DeepSeek强调自己没有高不可攀的象牙塔，只有纯粹的车库文化和社区驱动的创新。这种开放、共享的精神无疑将为AI行业的发展注入新的活力。 |
ad
说点什么...