DeepSeek最新论文：训练速度提升9倍，推理速度快11倍！-114ic电子网

<!DOCTYPE html> <html> <head>  <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge, chrome=1"> <meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=1.0, user-scalable=no"> <meta name="format-detection" content="telephone=no" /> <title>DeepSeek最新论文：训练速度提升9倍，推理速度快11倍！-114ic电子网</title> <meta name="keywords" content=""> <meta name="description" content="Grok3发布引发热议，DeepSeek与Kimi稀疏注意力技术成焦点近日，xAI发布了全新一代大语言模型Grok3，被创始人埃隆·马斯克称为“地球上最聪明的AI”，引发全球关注。据悉，Grok3背后投入"> <link rel="stylesheet" type="text/css" href="https://oss.114ic.com/layuiadmin/layui/css/layui.css"> <link rel="stylesheet" type="text/css" href="https://oss.114ic.com/js/swiper/swiper.min.css"> <link rel="stylesheet" type="text/css" href="https://oss.114ic.com/css3w/global.css"> <link rel="stylesheet" type="text/css" href="https://oss.114ic.com/css3w/style.css"> <script type="text/javascript" src="https://oss.114ic.com/layuiadmin/layui/layui.js"></script> <script type="text/javascript" src="https://oss.114ic.com/js/jquery.min.js"></script> <script type="text/javascript" src="https://oss.114ic.com/js/swiper/swiper.min.js"></script> <script type="text/javascript" src="https://oss.114ic.com/js3w/main.js"></script> <script type="text/javascript" src="https://oss.114ic.com/js/tw.js"></script> </head> <body> <div class="header"> <div class="head_wrap"></div> <div class="head clear"> <div class="wrap"> <div id="headflt" class="flt">您好，欢迎来到114ic电子网！ <span class="login bg_icon"><a rel="nofollow" title="登录" target="_blank" href="https://member.114ic.com/member/login.asp">登录</a>，<a rel="nofollow" target="_blank" title="QQ快捷登录" href="https://member.114ic.com/member/loginqqapi.asp">QQ登录</a>，<a title="注册" target="_blank" href="https://member.114ic.com/reg/">免费注册</a></span></div> <div class="head_nav frt"> <ul> <li> <a rel="nofollow" title="旗下网站" href="javascript:void(0)">旗下网站<i class="bg_icon"></i></a> <div class="drop"> <ul> <li><a title="ic资料网" target="_blank" href="https://www.114ic.cn">ic资料网</a></li> </ul> </div> </li> <li><a id="zh_tran" rel="nofollow" title="繁体简体转换" href="#" onclick="zh_tran('t');" >繁体中文</a></li> <li><a title="网站地图" href="/about/sitemap.html">网站地图</a></li> <li><a rel="nofollow" title="会员套餐" href="/about/memberfunction.html#loc;4355:443;27455">会员套餐</a></li> <li><a rel="nofollow" title="广告服务" href="/about/ad.html">广告服务</a></li> <li><a rel="nofollow" title="付款方式" href="/about/pay.html">付款方式</a></li> <li><a rel="nofollow" title="联系我们" href="/about/contact.html">联系我们</a></li> <li><a rel="nofollow" title="在线咨询" href="/about/book/">在线咨询</a></li> <li><a rel="nofollow" title="诚信监督" href="/about/creditservice.html">诚信监督</a></li> </ul> </div> </div> </div> <div class="wrap"> <div class="logo flt"> <a href="/" title="114ic电子网"> <img src="https://oss.114ic.com/img/logo.png" alt="114ic电子网"></a> </div> <div class="menu frt"> <ul> <li><a href="/" title="首页">首页</a></li> <li class="on"><a href="/info/list1.html" title="商情资讯">商情资讯<i class="bg_icon down"></i></a></li> <li><a href="/fair/" title="电子展会">电子展会<i class="bg_icon down"></i></a></li> <li><a href="/hotic3/" title="IC芯片/元器件">芯片/元器件<i class="bg_icon down"></i></a></li> <li><a href="/especial/" title="IC芯片采购"><span class="bg_icon hot"></span>采购信息<i class="bg_icon down"></i></a></li> <li><a href="/company/" title="IC芯片供应商">芯片供应商</a></li> <li><a href="/pdf/" title="IC芯片规格书技术资料">技术资料<i class="bg_icon down"></i></a></li> </ul> </div> <div class="menu_wrap"></div> <div class="clear"></div> </div> </div> <div class="mainer"> <div class="wrap"> <form id="search" name="search" method="post" action="/stock/search.html" > <div class="search_flex"> <div class="search_box"> <div class="select"> <span>商情资讯</span> <i class="bg_icon down"></i> <input type="hidden" id="searchsort" name="searchsort" value="3" /> <div class="drop"> <ul> <li data-type="1">IC/元器件</li> <li data-type="2">PDF资料</li> <li data-type="3">商情资讯</li> <li data-type="4">丝印</li> </ul> </div> </div> <div class="sel_input"> <input type="text" placeholder="请输入型号或关键词" id="key" name="key" value="" class="select_inp" autocomplete="off" /> <label class="lbl exact">精确</label> </div> <div class="sel_btn"> <input type="hidden" class="exactprefix" name="exactprefix" value=""> <input type="submit" id="submit" name="submit" value="搜索" /> </div> <div class="drop2"> <div class="box box0"> </div> <div class="box box1"> </div> </div> <div class="search_hot"> <ul> <li><a title="IC芯片现货库存" href="/hotic3/">IC现货库存</a></li> <li><a title="MIP3840MTSCF" href="/mip3840mtscf/hotic3-2219971.html">MIP3840MTSCF</a></li><li><a title="SN74AHCT1G14DCKR" href="/sn74ahct1g14dckr/hotic3-2087811.html">SN74AHCT1G14DCKR</a></li><li><a title="IPB0401NM5S" href="/ipb0401nm5s/hotic3-2087646.html">IPB0401NM5S</a></li><li><a title="04EMCP04-AL3CM627-B01" href="/04emcp04-al3cm627-b01/hotic3-2072462.html">04EMCP04-AL3CM627-B01</a></li><li><a title="LMDP2MGA-J81" href="/lmdp2mga-j81/hotic3-2219982.html">LMDP2MGA-J81</a></li> </ul> </div> </div> <div class="sel_btn2"> <a title="发布紧急采购" href="/especial-c0/"><span class="bg_icon shopcart"></span>发布紧急采购</a> </div> </div> </form> <div class="page_pos"> <p class="bg_icon"><a title="首页" href="/">首页</a>>商情资讯><a title="行业新闻" href="/info/list1.html" >行业新闻</a></p> </div> <div class="page_details2"> <div class="detail"> <div class="box"> <div class="title"> <h1>DeepSeek最新论文：训练速度提升9倍，推理速度快11倍！</h1> <div class="bg_icon time">2025-2-21 10:02:00</div> </div> <div class="list11"> <ul> <li> <img src="https://oss.114ic.com/img3w/text6.png"> <p> DeepSeek最新论文：训练速度提升9倍，推理速度快11倍！ </p> </li> </ul> </div> <div class="details_text"> <div class="text"> <div class="simg"><img alt='DeepSeek最新论文：训练速度提升9倍，推理速度快11倍！' src='https://img.114ic.com/imgb/info/202502/211001421033819.png' /></div><p>Grok3发布引发热议，DeepSeek与Kimi稀疏注意力技术成焦点</p><p>近日，xAI发布了全新一代大语言模型Grok3，被创始人埃隆·马斯克称为“地球上最聪明的AI”，引发全球关注。据悉，Grok3背后投入了20万块H100 GPU，算力规模是上一代Grok2的15倍以上，展现了xAI在AI研发上的巨大投入与野心。在多项基准测试中，Grok3表现优异，领先DeepSeek R1和o3 mini等竞争对手。然而，业内对Grok3的评价却不尽相同。</p><p>尽管Grok3的性能确实有所提升，但其算力投入与性能增长并未成正比。这一现象也让业界开始重新审视大模型的Scaling Laws（扩展规律），认为算力的边际效益递减可能已逐渐显现。与此同时，AI领域的另一趋势也在悄然兴起：通过创新技术提升算力利用效率，成为下一代大模型发展的重要方向。</p><p>就在Grok3发布的当天，DeepSeek团队发布了一篇论文，介绍了全新的稀疏注意力机制——Natively Sparse Attention（NSA），旨在提升长文本处理的效率和硬件利用率。同日，Kimi团队也推出了类似的稀疏注意力技术MoBA，两者均为大语言模型的长文本处理提供了新的解决方案。</p><p>DeepSeek的NSA：用更少的计算做更多的事</p><p>在大语言模型发展的初期，模型处理长文本的能力曾是重要的性能指标之一。然而，传统的全注意力机制在长文本处理上存在显著瓶颈：计算成本随文本长度呈指数级增长，导致高延迟、高能耗，甚至难以完成任务。例如，要处理一本十万字的书，全注意力机制需要计算每个词与其他所有词之间的关系，计算量极大。</p><p>为了解决这一问题，稀疏注意力机制应运而生。其核心思想是**“只关注最重要的部分”**，通过减少计算量来提升效率。然而，现有稀疏注意力机制存在两大问题：</p><p>理论上计算量减少，但推理速度提升有限；</p><p>在训练阶段效果不佳，多数稀疏机制仅适用于推理。</p><p>DeepSeek的NSA针对上述问题提出了解决方案，主要从文本处理策略和硬件优化两个方面入手：</p><p>文本处理：分层稀疏策略</p><p>粗粒度压缩：将长文本分成多个块（如每32个词为一块），通过机器学习模型提取每个块的摘要，减少计算量。</p><p>细粒度选择：动态筛选最关键的块（如通过注意力评分选出16个块），仅计算这些块的详细信息。</p><p>局部上下文保留：保留最近的512个词，确保模型捕捉到短期上下文关系。</p><p>这一过程可以类比为快速阅读一本书：粗略翻阅全书（粗粒度压缩），标记重要章节（细粒度选择），并结合关键段落的上下文来理解内容（局部上下文保留）。</p><p>硬件优化：充分利用GPU性能</p><p>分块内存访问：将数据按连续块加载到GPU内存中，减少随机访问开销。</p><p>共享键值缓存：在解码阶段，多个注意力头共享同一键值缓存，降低内存带宽需求。</p><p>稀疏性训练：在训练阶段直接引入稀疏性，确保模型学会有效利用稀疏结构，实现端到端训练。</p><p>NSA的实际效果</p><p>DeepSeek团队在实验中验证了NSA的性能：</p><p>在64k长度的文本处理中，NSA的推理速度比传统注意力快11.6倍，训练速度提升6-9倍（使用NVIDIA A100 GPU）。</p><p>在知识问答（MMLU）、代码生成（HumanEval）、长文本理解（LongBench）等任务中，NSA的性能与全注意力模型相当甚至更优。</p><p>通过与GPU内存架构（HBM→SRAM）的优化对齐，NSA首次实现了理论计算节省与实际加速的统一。它不仅显著提升了推理效率，还解决了稀疏注意力机制在训练阶段的应用难题，为低功耗、高效率的大模型部署奠定了技术基础。</p><p>Kimi的MoBA：结合专家混合的动态稀疏注意力</p><p>与DeepSeek的NSA类似，Kimi团队的MoBA（Mix of Blocks Attention）同样致力于解决长文本处理中的计算成本问题。然而，MoBA采用了不同的技术思路，借鉴了“专家混合”（Mixture of Experts, MoE）的理念。</p><p>MoBA的核心创新：动态选择机制</p><p>MoBA将文本分成多个块，通过一种动态“门控机制”决定每个查询需要关注哪些块。这种方式让模型可以根据任务需求灵活调整注意力范围，而不是依赖固定规则。</p><p>硬件优化与超长文本支持</p><p>MoBA结合了FlashAttention技术，进一步提升了计算效率。通过分布式计算解决了GPU内存限制问题，MoBA能够扩展至1000万词以上的超长序列处理，成为其显著优势之一。</p><p>行业趋势：从算力堆叠到效率优化</p><p>随着大模型规模的不断扩展，算力投入的边际效益递减已成趋势。Grok3的发布虽然再次刷新了大模型能力上限，但其巨大的算力投入与性能提升不成比例，引发了业界对大模型未来发展的深思。</p><p>相比之下，DeepSeek和Kimi等团队的创新技术表明，通过提升算力利用效率，或许能更有效推动大模型的应用普及。无论是NSA的分层稀疏策略，还是MoBA的动态选择机制，这些技术都展现了稀疏注意力在提升效率方面的潜力。</p><p>未来，随着AI应用场景的不断扩展，算力需求仍将持续增长。但仅依靠硬件堆叠已难以带来显著提升，如何通过技术创新提高算力利用率，将成为AI领域的关键突破方向。</p> </div> <div class="boxdashed"></div> </div> </div> <div class="det_cur"> <ul> <li><a title="微软发布量子计算芯片Majorana1" href="/info/388912.html"><span><i class="bg_icon prev"></i>上一篇</span>微软发布量子计算芯片Majorana1</a></li><li><a title="百度搜索接入DeepSeek" href="/info/388859.html"><span><i class="bg_icon next1"></i>下一篇</span>百度搜索接入DeepSeek</a></li> </ul> </div> </div> <div class="det_rt"> <div class="box"> <div class="page_title2"> <h3><i class="bg_icon tit10"></i>企业新闻</h3> <a title="企业新闻" href="/info/list6.html" class="more2">更多</a> </div> <div class="list10"> <ul> <li><a title="NA2100AFAE2D电压频率转换器(VFC)" href="/info/389066.html">NA2100AFAE2D电压频率转换器(VFC)</a></li> <li><a title="1IC03622051706连接器" href="/info/389065.html">1IC03622051706连接器</a></li> <li><a title="XC7A35T-L1CSG324I 品牌XILINX封装FBGA全新原装现货价优" href="/info/389062.html">XC7A35T-L1CSG324I 品牌XILINX封装FBGA全新原装现货价优</a></li> <li><a title="TPS74401RGWR封装VQFN-20丝印TPS7440174401低压差稳压器IC" href="/info/389061.html">TPS74401RGWR封装VQFN-20丝印TPS7440174401低压差稳压器IC</a></li> <li><a title="MG80186-8/B品牌INTEL/英特尔封装QFP全新原装现货价优" href="/info/389056.html">MG80186-8/B品牌INTEL/英特尔封装QFP全新原装现货价优</a></li> <li><a title="TPS54560DDAR全新原装正品封装SOIC-8DC-DC电源芯片" href="/info/389060.html">TPS54560DDAR全新原装正品封装SOIC-8DC-DC电源芯片</a></li> <li><a title="10AX027H4F34I3SG品牌ALTERA/阿尔特拉封装BGA全新原装现货价优" href="/info/389053.html">10AX027H4F34I3SG品牌ALTERA/阿尔特拉封装BGA全新原装现货价优</a></li> <li><a title="XCKU040-1FBVA900I品牌XILINX封装FBGA全新原装现货价优" href="/info/389054.html">XCKU040-1FBVA900I品牌XILINX封装FBGA全新原装现货价优</a></li> </ul> </div> </div> <div class="box"> <div class="page_title2"> <h3><i class="bg_icon tit9"></i>行业新闻</h3> <a title="行业新闻" href="/info/list1.html" class="more2">更多</a> </div> <div class="list10"> <ul> <li><a title="叫板星链！AWS爆单，这家将破万，国产卫星供应链稳了" href="/info/389047.html">叫板星链！AWS爆单，这家将破万，国产卫星供应链稳了</a></li> <li><a title="爆品AI智能眼镜将达千万级，这颗芯片提前火了！" href="/info/389044.html">爆品AI智能眼镜将达千万级，这颗芯片提前火了！</a></li> <li><a title="罗姆的EcoGaN™被村田制作所的AI服务器电源采用" href="/info/389031.html">罗姆的EcoGaN™被村田制作所的AI服务器电源采用</a></li> <li><a title="陈昕：以技术创新驱动市场增长，引领思林杰科技全球化布局——从核心项目看一位技术领袖的跨界突破" href="/info/389027.html">陈昕：以技术创新驱动市场增长，引领思林杰科技全球化布局——从核心项目看一位技术领袖的跨界突破</a></li> <li><a title="深圳电子信息产业增速领跑，创新活力尽显——深圳电子展邀您共襄盛举" href="/info/389018.html">深圳电子信息产业增速领跑，创新活力尽显——深圳电子展邀您共襄盛举</a></li> <li><a title="保护敏感电子部件免受ESD的防静电电阻" href="/info/389017.html">保护敏感电子部件免受ESD的防静电电阻</a></li> <li><a title="万亿市值俱乐部！" href="/info/389014.html">万亿市值俱乐部！</a></li> <li><a title="万亿市值俱乐部！国内再增一家科技公司" href="/info/388969.html">万亿市值俱乐部！国内再增一家科技公司</a></li> </ul> </div> </div> </div> </div> </div> </div> <div class="footer"> <div class="wrap"> <div class="foot"> <div class="foot_lt item"> <div class="logo"> <a title="首页" href="/"><img src="https://oss.114ic.com/img3w/logo_fff.png"></a> </div> <div class="f_qq"> <span>客户服务</span><a rel="nofollow" href="tencent://message/?Uin=524172589&Site=114ic电子网&Menu=yes"></a> <span>网站合作</span><a rel="nofollow" href="tencent://message/?Uin=164055401&Site=114ic电子网&Menu=yes"></a> </div> </div> <div class="foot_list item"> <ul> <li><a rel="nofollow" href="/about/memberfunction.html">会员套餐</a></li> <li><a rel="nofollow" href="/about/ad.html">广告服务</a></li> <li><a rel="nofollow" href="/about/escrow.html">委托交易</a></li> <li><a rel="nofollow" href="/about/job.html">诚聘精英</a></li> <li><a rel="nofollow" href="/about/caution/">黑名单</a></li> <li><a rel="nofollow" href="/about/about.html">关于我们</a></li> <li><a rel="nofollow" href="/about/pay.html">付款方式</a></li> <li><a rel="nofollow" href="/about/contact.html">联系我们</a></li> <li><a rel="nofollow" class="b-r-s-r" href="/about/book/">在线咨询</a></li> </ul> </div> <div class="add_list"> <ul> <li><p>Tel：+86-755-8246-9263</p></li> <li><p>Email：114ic＠114ic.com</p></li> <li><p>投诉建议：web＠114ic.com</p></li> </ul> </div> </div> </div> <div class="copyright"> <p>Copyright © 2003-2025 114ic.com All Rights Reserved <a rel="nofollow" target="_blank" href="https://beian.miit.gov.cn/">粤ICP备05011613号</a> <a rel="nofollow" target="_blank" href="http://www.beian.gov.cn/portal/registerSystemInfo?recordcode=44030402000933">粤公网安备 44030402000933号</a> </p> </div> </div> <script src="https://oss.114ic.com/js/total.js" type="text/javascript"></script> </body></html>

CINXE.COM

DeepSeek最新论文：训练速度提升9倍，推理速度快11倍！-114ic电子网