中國AI產(chǎn)業(yè)注入強(qiáng)心劑。
5月30日，券商中國記者從華為獲悉，華為在MoE模型訓(xùn)練領(lǐng)域再進(jìn)一步 ，重磅推出參數(shù)規(guī)模高達(dá)7180億的全新模型——盤古Ultra MoE ，這是一個全流程在昇騰AI計(jì)算平臺上訓(xùn)練的準(zhǔn)萬億MoE模型。同時，華為發(fā)布盤古Ultra MoE模型架構(gòu)和訓(xùn)練方法的技術(shù)報告 ，披露眾多技術(shù)細(xì)節(jié) ，充分體現(xiàn)了昇騰在超大規(guī)模MoE訓(xùn)練性能上的跨越 。
業(yè)內(nèi)人士分析，華為盤古Ultra MoE和盤古Pro MoE系列模型的發(fā)布 ，證明華為不僅完成了國產(chǎn)算力+國產(chǎn)模型的全流程自主可控的訓(xùn)練實(shí)踐 ，同時在集群訓(xùn)練系統(tǒng)的性能上也實(shí)現(xiàn)了業(yè)界領(lǐng)先 。這意味著國產(chǎn)AI基礎(chǔ)設(shè)施的自主創(chuàng)新能力得到了進(jìn)一步驗(yàn)證，為中國人工智能產(chǎn)業(yè)的發(fā)展提供了一顆“定心丸”。
國產(chǎn)算力與國產(chǎn)模型重大突破
據(jù)悉 ，訓(xùn)練超大規(guī)模和極高稀疏性的MoE模型極具挑戰(zhàn) ，訓(xùn)練過程中的穩(wěn)定性往往難以保障 。針對這一難題，華為盤古團(tuán)隊(duì)在模型架構(gòu)和訓(xùn)練方法上進(jìn)行了創(chuàng)新性設(shè)計(jì) ，成功地在昇騰平臺上實(shí)現(xiàn)了準(zhǔn)萬億MoE模型的全流程訓(xùn)練 。
在模型架構(gòu)上 ，盤古團(tuán)隊(duì)提出Depth-Scaled Sandwich-Norm（DSSN）穩(wěn)定架構(gòu)和TinyInit小初始化的方法，在昇騰平臺上實(shí)現(xiàn)了超過18TB數(shù)據(jù)的長期穩(wěn)定訓(xùn)練。此外，他們還提出了EP loss負(fù)載優(yōu)化方法 ，這一設(shè)計(jì)不僅保證了各個專家之間的能保持較好的負(fù)載均衡 ，也提升了專家的領(lǐng)域特化能力 。同時，盤古Ultra MoE使用了業(yè)界先進(jìn)的MLA和MTP架構(gòu) ，在預(yù)訓(xùn)練和后訓(xùn)練階段都使用了Dropless訓(xùn)練策略 ，實(shí)現(xiàn)了超大規(guī)模MoE架構(gòu)在模型效果與效率之間的最佳平衡 。
在訓(xùn)練方法上，華為團(tuán)隊(duì)首次披露在昇騰CloudMatrix 384超節(jié)點(diǎn)上 ，高效打通大稀疏比MoE強(qiáng)化學(xué)習(xí)（RL）后訓(xùn)練框架的關(guān)鍵技術(shù) ，使RL后訓(xùn)練進(jìn)入超節(jié)點(diǎn)集群時代。同時，在5月初發(fā)布的預(yù)訓(xùn)練系統(tǒng)加速技術(shù)基礎(chǔ)上 ，在不到一個月的時間內(nèi) ，華為團(tuán)隊(duì)又完成了一輪迭代升級，包括：適配昇騰硬件的自適應(yīng)流水掩蓋策略 ，進(jìn)一步優(yōu)化算子執(zhí)行程序 ，進(jìn)一步降低Host-Bound以及提升EP通信的掩蓋；自適應(yīng)管理內(nèi)存優(yōu)化策略的開發(fā)；數(shù)據(jù)重排實(shí)現(xiàn)DP間Attention負(fù)載均衡；以及昇騰親和的算子優(yōu)化，這些技術(shù)實(shí)現(xiàn)萬卡集群預(yù)訓(xùn)練MFU由30%大幅提升至 41% 。
此外，近期發(fā)布的盤古Pro MoE大模型 ，在參數(shù)量僅為720億、激活160億參數(shù)量的情況下 ，通過動態(tài)激活專家網(wǎng)絡(luò)的創(chuàng)新設(shè)計(jì)，實(shí)現(xiàn)了以小博大的優(yōu)異性能 ，甚至可以媲美千億級模型的性能表現(xiàn) 。在業(yè)界權(quán)威大模型榜單SuperCLUE最新公布的2025年5月排行榜上 ，位居千億參數(shù)量以內(nèi)大模型排行并列國內(nèi)第一。
業(yè)內(nèi)人士分析，華為此舉的核心意義在于 ，證明了在國產(chǎn)AI算力平臺（昇騰）上 ，能夠高效、穩(wěn)定地訓(xùn)練并優(yōu)化達(dá)到國際頂尖水平的超大規(guī)模稀疏模型（MoE），實(shí)現(xiàn)了從硬件到軟件 、從訓(xùn)練到優(yōu)化 、從基礎(chǔ)研究到工程落地的“全棧國產(chǎn)化”和“全流程自主可控 ”的閉環(huán) ，并在關(guān)鍵性能指標(biāo)上達(dá)到業(yè)界領(lǐng)先水平 。
國內(nèi)大模型消息不斷
5月28日 ，深度求索公司傳來消息，DeepSeek-R1模型已完成小版本試升級 ，可前往官方網(wǎng)頁、APP 、小程序測試（打開深度思考） ，API接口和使用方式保持不變 。
這家總部位于杭州的初創(chuàng)公司今年1月發(fā)布了DeepSeek-R1人工智能模型，震驚了全球科技界。R1模型在多項(xiàng)標(biāo)準(zhǔn)化指標(biāo)上的表現(xiàn)均優(yōu)于西方競爭對手，而其成本據(jù)稱僅為數(shù)百萬美元。此舉引發(fā)了全球科技股的暴跌 ，投資者開始質(zhì)疑 ，領(lǐng)先的公司是否仍需要投入巨資來構(gòu)建人工智能服務(wù) 。
這是自3月底以來，DeepSeek的一次最新動作 。3月25日晚 ，DeepSeek公司在官方賬號上正式宣布V3模型完成小版本升級的消息 ，并介紹了新版本DeepSeek-V3-0324模型的提升細(xì)節(jié)，包括推理 、前端開發(fā)、中文寫作 、中文搜索幾個方面的能力優(yōu)化。彼時 ，據(jù)海外專業(yè)AI模型評測機(jī)構(gòu)最新排名 ，新版V3模型是得分最高的非推理模型，超過xAI的Grok3和OpenAI的GPT-4.5（preview） 。
5月21日 ，在2025騰訊云AI產(chǎn)業(yè)應(yīng)用峰會上 ，騰訊大模型戰(zhàn)略首次全景亮相，從自研的混元大模型 、到AI云基礎(chǔ)設(shè)施 ，再到智能體開發(fā)工具、知識庫以及面向場景的應(yīng)用 ，騰訊大模型矩陣產(chǎn)品全面升級 。騰訊正通過持續(xù)打磨技術(shù)和產(chǎn)品能力，為企業(yè)和用戶在大模型時代打造真正“好用的 AI ”。
在瘋狂卷技術(shù)的全球大模型角逐中，騰訊混元正小步快跑 、快速迭代 ，技術(shù)能力持續(xù)提升 。
騰訊集團(tuán)高級執(zhí)行副總裁 、云與智慧產(chǎn)業(yè)事業(yè)群CEO湯道生在會上宣布 ，在全球公認(rèn)的權(quán)威大語言模型評測平臺Chatbot Arena上，混元TurboS排名已攀升至全球前八 ，國內(nèi)僅次于DeepSeek 。其中 ，代碼、數(shù)學(xué)等理科能力，混元TurboS也進(jìn)入全球前十。
5月29日 ，騰訊旗下騰訊元寶 、ima 、搜狗輸入法、QQ瀏覽器、騰訊文檔 、騰訊地圖 、騰訊樂享等多款A(yù)I應(yīng)用宣布接入DeepSeek R1-0528 ，用戶在不同產(chǎn)品中，選擇DeepSeek模型R1深度思考 ，都可以體驗(yàn)到DeepSeek R1-0528最新的深度思考、編程和長文本處理等能力 。
配資炒股開戶技巧:散戶最多可以買多少股票-新凱來“C位出道” 子公司重大突破！國產(chǎn)半導(dǎo)體設(shè)備集體突圍
股票開戶網(wǎng)上可以申請:股票開戶條件和流程-七部門發(fā)布重磅文件 政策和技術(shù)“雙輪驅(qū)動” 腦機(jī)接口產(chǎn)業(yè)發(fā)展突破有了“施工圖”
推薦股票交流群:在線配資開戶官網(wǎng)-6月6日晚間滬深上市公司重大事項(xiàng)公告最新快遞
股票上杠桿咋開通:股票開戶去哪家證券公司好-重大資產(chǎn)重組！杰美特要買英偉達(dá)、華為昇騰的“小伙伴”
股票開戶網(wǎng)上哪個好:股市杠桿軟件-最高10999元！華為Pura 80發(fā)布 余承東：對得起“那四個字”（遙遙領(lǐng)先）
在線炒股配資看必選-線上配資炒股-股票配資公司提示：文章來自網(wǎng)絡(luò)，不代表本站觀點(diǎn)。
【隔夜行情】?周五（2025年3月21日），A股三大指數(shù)集體下跌，截至收盤，截止收盤，滬指跌1.29%，報收33...
記者辛圓3月25日，博鰲亞洲論壇旗艦報告《亞洲經(jīng)濟(jì)前景及一體化進(jìn)程2025年度報告》（以下簡稱《報告》...
2025年3月25日，倍輕松(688793.SH)公告稱，公司股東寧波倍松投資有限公司（簡稱“寧波倍松”）擬通過大宗交易...
3月24日，易方達(dá)國證自由現(xiàn)金流ETF公開發(fā)售。該產(chǎn)品跟蹤國證自由現(xiàn)金流指數(shù)，這個指數(shù)是什么？有哪些優(yōu)勢？投資價值如何？...
宏觀要聞市場監(jiān)管總局發(fā)布《公平競爭審查條例實(shí)施辦法》市場監(jiān)管總局發(fā)布《公平競爭審查條例實(shí)施辦法》，將于4...
記者王珍中國國際經(jīng)濟(jì)交流中心副理事長、國務(wù)院發(fā)展研究中心原副主任王一鳴周一在“中國發(fā)展高層論壇2025...
3月24日，海洋王照明科技股份有限公司（以下簡稱“海洋王”，002724.SZ）早盤一字跌停，此后股價拉漲，尾盤封漲停板...
近日，開源證券大連分公司遭大連證監(jiān)局處罰，暫停其辦理需要合格投資者認(rèn)定相關(guān)業(yè)務(wù)六個月。該懲處力度在近年來券商分支機(jī)構(gòu)中并...
