來源：中關村在線

以各類GPT為代表的生成式AI讓人們看到了智能世界的無限可能，與此同時，新一代AI技術對IT基礎架構的要求也在與日俱增，使得CXL、HBM、光模塊市場呈現了高速增長。其中，HBM自2013年上市以來，就被視為推動高性能和加速計算的有效途徑之一，HBM是一種基于3D堆棧工藝的高性能DRAM架構，能夠實現巨大的內存帶寬，尤其是HBM3與CPU整合使用之后，可以顯著推動片中內存的發展，讓多元的業務負載能夠充分受益于共享計算、內存、存儲資源融合后的內存級結構創新。

“AI應用和基礎設施與內存的成長息息相關?！泵拦飧笨偛敏哂嬎闩c網絡事業部計算產品事業群總經理Praveen Vaidyanathan表示，“AI服務器與通用型服務器不同，其所需的內存是一般服務器的六至八倍，其中包括與CPU相連的內存，如DDR、與GPU相連的內存，如HBM，以及其他相關的內存解決方案。由于HBM能支持AI應用和服務器基礎構架的成長，我們預測未來三年HBM市場將有巨大增長，年復合增長率超過50%?！?/p>

(資料圖片)

美光副總裁暨計算與網絡事業部計算產品事業群總經理Praveen Vaidyanathan

美光將AI分為三大類，第一類是生成式AI，例如利用Mid-Journey、ChatGPT等生成文字、圖片或視頻，驅動了大量的計算性能需求和內存需求；第二類是深度學習，例如虛擬助理、聊天機器人和醫療診斷，需要處理大量的數據，會通過算法來詮釋數據，并加以預測，是推動AI和高效能計算增長的重要領域；第三類是高效能計算，例如要解決天氣預報等重大的科學問題時，會涉及全基因體定序（genome sequencing），這同樣驅動了龐大的計算和內存需求增長。

這些應用需要通過服務器等基礎設施來支持，像服務器要考慮性能、容量、功耗的要求，驅動生成式AI的LLM（大型語言模型）離不開強勁的算力，這需要足夠的內存帶寬，通常來說，計算性能的瓶頸超過半數都與內存的帶寬有關。隨著LLM的參數數量迅速攀升，要在足夠小的體積內存放足夠多的數據，就需要架構層面的創新，同時，還要確保功耗盡可能低。要知道有數據顯示，未來七年內，全球近8%的電力將消耗在數據中心上。

為了滿足上述需求，美光推出了首款8層堆疊的24GB容量第二代HBM3內存，其帶寬超過1.2TB/s，引腳速率超過9.2Gb/s（NRZ），比當前市面上現有的HBM3解決方案性能可提升最高50%，美光第二代HBM3產品與前一代產品相比，每瓦性能提高2.5倍，可以縮短大型語言模型（如GPT-4及更高版本）的訓練時間（減少30%以上），為AI推理提供高效的基礎設施，并降低TCO，在已經部署的1000萬個圖形處理器用例中，單個HBM模塊可節約5W功耗，能在五年內節省5.5億美元的運營費用。2024年第一季度，美光12層堆疊的36GB容量產品也將開始出樣。美光第二代HBM3內存會在日本工廠生產，并在中國臺灣進行封裝。

8層堆疊的24GB容量第二代HBM3內存

據了解，美光采用了互補式金屬氧化物半導體（CMOS）技術打造晶體管，并在邏輯基礎層和DRAM堆疊中加入了很多制程方面的技術，驅動了更快的時序速度。封裝方面，美光提供了兩倍的硅通孔（TSV）數量，所有晶粒對晶粒的封裝互聯縮小了25%（DRAM最上層和下層TSV的距離）。同時，在電路設計上注重時間控制，使速度更快，再加上噪聲容限設計（Noise tolerance）等技術，構成了更優的信號完整性、配電網絡、電源完整性，獲得了更高的性能表現。

提升硅通孔和封裝互聯數量、DRAM層間空間等設計，可以讓內存內部的熱量快速從較熱層傳到較冷層，再加上增加金屬密度，并采用高能效數據路徑設計，可以解決HBM的熱阻抗問題，降低功耗。數據中心的能耗降低后，就可以把更多的電力分配給GPU或ASIC，提升了整體的系統性能和效率。

作為在2.5D/3D堆疊和先進封裝技術領域的存儲領導廠商，美光也與臺積電共同組建了3DFabric聯盟，攜手推進半導體和系統創新。在第二代HBM3產品開發過程中，美光與臺積電攜手合作，為AI及高性能計算設計應用中順利引入和集成計算系統奠定了基礎。目前，臺積電已收到美光第二代HBM3內存樣片，正與美光密切合作進行下一步的評估和測試，助力客戶的下一代高性能計算應用創新。

美光將硅通孔（TSV）數量翻倍，增加5倍金屬密度以降低熱阻，以及設計更為節能的數據通路

硅通孔、DRAM堆疊是由美光獨立完成，中介層則是與臺積電合作?！氨M管美光會自行打造封裝，但是我們也會和臺積電緊密合作，以便讓中介層與內存、GPU、ASIC等元件可以完美整合?！盤raveen Vaidyanathan介紹稱，“高帶寬可以滿足AI訓練和推理的需求，例如某服務器集群要花三個月的時間訓練大型語言模型，采用HBM3之后，可以節省30%以上的訓練時間，減少至兩個月。在推理過程中，HBM3的使用可以讓每天的查詢量和提示量增加50%，減少等待時間?！?/p>

繼LPDDR5、DDR5之后，第二代HBM3內存是美光推出的第三款1β制程的產品，2024年上半年，該公司還將推出基于1β節點、32Gb單塊DRAM裸片的128GB容量DDR5模組，同時，美光還在與伙伴合作研發下一代產品，即“HBM Next”，每秒帶寬將超過1.5TB，容量會增至36GB以上。為了應對生成式AI領域快速增長的模型規模，HBM可以在設備端以非常高效的方式提供所需的帶寬和容量。而在一些AI推理的場景中，需要用到高算力和高內存帶寬，但不需要更大的容量，則可以使用GDDR來滿足要求。

因此，美光在AI基礎設施領域提供了全面的解決方案，例如GDDR6X、GDDR7（研發中，明年推出）可以融入內存組合，滿足帶寬需求，從GPU內存到CPU內存，192GB、256GB模塊將陸續應用，此外，美光也在計劃開發滿足各類新規格和標準的產品，打造更低功耗的DRAM，滿足新一代數據中心的要求，并且在持續探索連接GPU的高帶寬內存、CPU的高容量內存、處理器的低功耗DRAM的架構創新。

“可以說，美光在技術、產品、功能上都是領先的，我們在全球有著廣泛的研發、設計、制造團隊，對于質量有著高標準的執著追求，這種堅持深度融入到我們的設計理念和方法論之中。憑借著我們在產品技術上長期深耕的經驗，以及技術的專業性，美光能夠在持續推出領先的創新制程、技術及產品的同時，提高制造效率?！盤raveen Vaidyanathan表示，“我們在不同領域擁有著很多的客戶，包括GPU制造商、數據中心，以及ASIC相關的企業，他們已經收到這些產品并開始進行測試驗證，帶來的反饋都是很好的，客戶覺得非常有價值。”

以各類GPT為代表的生成式AI讓人們看到了智能世界的無限可能，與此同時，新一代AI技術對IT基礎架構的要求也在與日俱增，使得CXL、HBM、光模塊市場呈現了高速增長。其中，HBM自2013年上市以來，就被視為推動高性能和加速計算的有效途徑之一，HBM是一種基于3D堆棧工藝的高性能DRAM[LJ(G1] 架構，能夠實現巨大的內存帶寬，尤其是HBM3與CPU整合使用之后，可以顯著推動片中內存的發展，讓多元的業務負載能夠充分受益于共享計算、內存、存儲資源融合后的內存級結構創新。

“AI應用和基礎設施與內存的成長息息相關?！泵拦飧笨偛敏哂嬎闩c網絡事業部計算產品事業群總經理Praveen Vaidyanathan表示，“AI服務器與通用型服務器不同，其所需的內存是一般服務器的六至八倍，其中包括與CPU相連的內存，如DDR、與GPU相連的內存，如HBM，以及其他相關的內存解決方案。由于HBM能支持AI應用和服務器基礎構架的成長，我們預測未來三年HBM市場將有巨大增長，年復合增長率超過50%。”

[LJ(G1]確認一下~這里是不是多了一個S

(8305800)

關鍵詞：