每日消息!大模型改變算力,新華三加碼算力集群能力
算力與應用的發展,是一個不斷上升、循環往復的過程,每當算力提升到一個新高度,總是會催生新的應用,新應用出現又需要更高的算力來支持。大模型就是算力發展歷史上的一個關鍵節點。
【資料圖】
“大家可以把‘算力自由’想象成第二次工業革命,電氣化時代,愛迪生發明燈泡是一個標志性時刻,但最關鍵的是誰能夠把產品做出來,普惠大眾?!毙氯A三集團副總裁、計算存儲產品線總裁徐潤安表示。
大模型對算力的改變才剛剛開始,大模型將來會消耗多少算力,或者說產生大模型算力的方法會有多少種,現在都是未知數。
“我相信在不遠的將來,整個算力市場都會帶來新一輪的革命,不論是硬件還是軟件,所有的目的都是為了源源不斷地提供算力給AI,當然我也相信,AI也會創造出更多新的方法,提高算力使用的效率”,徐潤安補充表示。
而目前,大模型對算力的改變已經有跡可循。
算力走向全局化
傳統計算以集中式架構為主,一定程度上存在復雜、低效、僵化的問題,但隨著分布式架構重塑算力形態,需要在擴展性、管理性、安全性等方面實現全面升級,并將向著高效、低碳、智能的方向加速發展。
新華三集團計算存儲產品線副總裁劉宏程表示,“大模型到來之后,今天談到的算力,更多是計算、存儲、網絡一體化解決方案的融合。我們從客戶那了解到,只賣GPU不夠,建立一個全方位的解決方案,需要把服務器、存儲和網絡綜合形成一個整體解決方案,才能幫助用戶建立大模型環境,最終落實到行業應用中?!?/p>
上游芯片廠商每一次的產品更新,都意味著下游服務器廠商需要重新做一次研發,例如英偉達GPU從Ampere架構更新到Hopper架構,新華三的服務器R5500 G5也隨之更新到R5500 G6。
其中,除了GPU的變化,CPU也更新到下一代, PCle從過去的Gen4到Gen5,網絡從過去的100G和200G為主,升級為200G和400G為主。此外,新的網絡互聯、xPU、DPU等技術也變得越來越成熟,這就要求服務器廠商有相對完善的儲備。
服務器本身就是系統級工程,大模型的改變是將服務器集群視作整體,需要在更大范圍做系統級別優化。
劉宏程介紹,“從我們現在看到的用戶實踐,客戶要求無損網絡,RDMA也好,RoCE也好,不能丟一個數據包。丟一個數據包,有可能前面幾十個小時訓練的數據要重算,用戶算力的利用率會降到非常低的水平,我們見過客戶因為調度不靈活,算力甚至只用了5%、10%,服務器就在那空轉?!?/p>
“每跨一臺服務器,性能就會有一定的削減,這個削減來源于服務器之間互聯和數據之間的調度,比如存儲數據怎么獲得,兩臺不同的服務器之間網絡帶寬和延遲是多少,這些都是整個AIGC解決方案里面需要綜合考慮的部分?!彼f。
此外,高能耗也是大模型算力的一個客觀限制,很多客戶一個機柜里只放一臺GPU服務器,甚至兩個機柜放一臺,就是因為能耗問題。根據ODCC的數據顯示,2020年我國數據中心能耗總量為939億千瓦時,碳排放量為6464萬噸。預計到2030 年,能耗總量將達到3800億千瓦時左右,碳排放增長率將超過 300%。如何做到綠色低碳,也是大模型算力的一個瓶頸。
“一體·兩中樞”,新華三補短板
以云計算為代表的廠商,在大模型算力集群方面刷足了存在感,這就要求服務器廠商補充相應的能力,近年來已有跡象,例如云服務商和服務器廠商在私有云領域直接競爭,大模型則將這一競爭推到更深層次,新華三于去年底推出的“一體·兩中樞”智慧計算體系,增加了競爭籌碼。
“一體”是指新華三以CPU、GPU和xPU為核心,構造出的覆蓋通用計算、異構計算等全場景的多元計算體系,并在近年通過液冷等低碳技術的融合,構建起高效、低碳數據中心的算力基石;
“兩中樞”分別對應智能算力中樞(傲飛)和智能管理中樞,新華三智能算力中樞(傲飛)能實現傳統科學計算與AI計算深度融合,同步實現科學計算批量作業和AI容器作業的調度編排,滿足教育、科學、能源、制造等高性能計算場景需求。
智能管理中樞提供部署、調優、節能、診斷、退役都能能力,為數據中心服務器提供全生命周期智能管理,能幫助企業提高運維效率,降低運維成本,客戶可根據具體的業務需求對服務器進行靈活的配置部署,從而打造自己專屬的運維環境。
可以理解“一體”是新華三的算力基礎,而“兩中樞”拓展了智算算力的集群能力,對應的是服務器集群的管理。
譬如ChatGPT參數達到了1750億,每個參數如果只算2個字節,意味著需要8塊最高端的GPU卡,才能容下所有的參數,實現靈活的應用,進一步驅動算力從通用轉向GPU、NPU或者xPU等綜合算力,高并發的情況需要更多差異化算力單元來滿足。
“我們看到調度比較有效率的就是64卡和128卡,再往高其實已經開始有衰減,需要跨另外一個網絡做調度?!眲⒑瓿陶f。
據了解,新華三大部分客戶所使用的GPU集群數量在64、128和256卡級別,衰減相對比較弱,現有的網絡限制比較接近128卡的算力限制。舉例來看,現在網絡架構可能8000個端口,一般一個計算模塊對一個網絡端口進行調度,8000個端口對應128個GPU,超過這個數量,就跨入另外一個網絡,需要兩臺交換機。
“當前GPU市場較為火熱,但是NPU和xPU的技術在中間也起到了非常關鍵的作用”,劉宏程說,“一體”就是多元算力,新華三之前提出的觀點得到了驗證,讓用戶根據場景來選擇不同的算力單元,滿足不同的計算需求。
(本文首發鈦媒體APP 作者|張帥,歡迎添加作者微信mr3right交流)
關鍵詞:
相關閱讀
-
每日消息!大模型改變算力,新華三加碼算...
大模型改變算力,新華三加碼算力集群能力,運維,算力,新華三,服務器,大 -
全民國際(08170.HK)擬成立合營從事提供...
格隆匯6月23日丨全民國際(08170 HK)公告,于2023年6月23日,公司全資附 -
一什么小山村_一什么小山 今日訊
一什么小山村,一什么小山這個很多人還不知道,現在讓我們一起來看看吧 -
比鄰生活節、社區定向賽、露營嘉年華…...
端午佳節,粽葉飄香。6月22日,普陀區萬里街道“城市桃源活力無限‘世 -
報告稱 5 月美國生成式 AI 崗位激增...
報告稱5月美國生成式AI崗位激增20%,美國,招聘,ai,工程師,生成式,人工智能 -
熱到衣服曬著了!專家:或成有記錄以來...
有多熱?衣服也給曬著了。6月23日午后,多則天氣相關的話題沖上微博熱 -
最新資訊:(服務)取消就業報到證 人...
新華社北京6月22日電(記者陳旭)從今年起,高校畢業生就業報到證退出 -
奧飛數據:昊盟科技擬協議轉讓4768萬股
每經AI快訊,奧飛數據(SZ300738,收盤價:10 8元)6月21日晚間發布公 -
思儀科技終止科創板IPO 保薦機構為中信...
中國經濟網北京6月22日訊上交所網站昨日發布關于終止對中電科思儀科技 -
3張圖告訴你:什么叫換位思考!
閱讀前,請點擊上面藍色字關注,即可每天免費訂閱!靜靜閱讀,享受時光 -
志愿者化身“移動拐杖”:端午假期鐵路...
志愿者化身“移動拐杖”:端午假期鐵路運輸暖心服務旅客,主流媒體,... -
世界快播:武漢地鐵集團50億元可續期公...
募集說明書顯示,本次公司債券募集資金扣除發行費用后,擬全部用于償還 -
開通!“3118110”為全州公安派出所24小...
“我宣布,黔西南州公安局基礎管控中心成立,我們開通了專線電... -
新中港06月21日漲停分析|當前頭條
新中港06月21日漲停收盤,股價上漲10 05%,收盤價為10 29元。該股于下 -
美國各界:中美合作至關重要 惠及全球-...
美國國務卿布林肯于6月18日至19日訪華,總統拜登于當地時間19日就布林 -
全球資訊:乘聯會:6月1-18日乘用車市場...
6月1-18日,乘用車市場零售82 8萬輛,同比去年同期下降6%,較上月同期 -
創業板口罩概念公司(創業板口罩概念股票...
創業板口罩概念公司(創業板口罩概念股票名單2023),截至6月21日,創業板 -
天天快看:頂流!詹皇亮相巴黎時裝周,與...
日前,詹姆斯帶著妻子薩瓦娜、好友追夢格林來到了法國度假,有記者拍到 -
世界資訊:佳作
故事不錯。但是畫面展現比較的平淡。沒有沖擊力。文本,話語很好。像是 -
【天天新要聞】94歲老戰士獲終身成就獎...
第十四屆中國攝影藝術節在河南三門峽舉辦19位攝影人獲第十四屆中國攝影
