7月26日，美光宣布推出業界首款8層24GB HBM（高帶寬內存）3 Gen2內存芯片，它是HBM3的下一代產品，采用1β工藝節點。這意味著美光成為業界第一個製造出第二代HBM3內存的廠商。
這款內存芯片總帶寬超過1.2TB/s，引腳速度超過9.2Gb/s，比HBM3提高50%。此外，HBM3Gen2的每瓦性能是HBM3的2.5倍左右，能效大幅提升。為人工智能（AI）數據中心的性能、容量和功率效率等關鍵指標創造了新的記錄，可以減少GPT-4等大型語言模型的訓練時間，並提供了卓越的總擁有成本（TCO）。
HBM3 Gen2的解決方案的基礎是1β（1-beta）工藝，在行業標準封裝尺寸內將24GB DRAM芯片組成了8層垂直堆疊的立方體。
此外，美光還在準備12層垂直堆疊的單品36GB DRAM芯片，與現有的競爭解決方案相比，在給定的堆棧高度下，美光提供的容量增加了50%。
根據美光公布的最新技術路線圖，2026年的「HBMNext」將進一步提高容量，可達到36GB至64GB，帶寬也會提升至超過1.5TB/s至2+TB/s。
美光著重強調了這款芯片對生成式AI的幫助作用——美光HBM3 Gen2專為人工智能和超級計算而構建，「解鎖了生成式AI的世界」可提供更高的內存容量，可提高性能並減少CPU負載，從而在大模型（例如ChatGPT）進行推理時更快、更精確。
美光表示，24GB HBM3 Gen2內存已經出樣給客戶。
人工智能的發展離不開強大存力，存儲芯片承擔著提升整體AI服務器的系統運算效能，以及存儲器傳輸帶寬等的重擔。
隨著人工智能需求激增，兩大高性能存儲芯片HBM和DDR5的價格和需求都在增長，在最近一次非公開企業說明會上，SK海力士預計，2024年HBM和DDR5的銷售額有望翻番。
相較而言，HBM是一種基於3D堆疊工藝的DRAM內存芯片，其技術門檻更高、性能提升空間更大，相應地溢價更高，其價格是現有DRAM產品的5-6倍。
TrendForce集邦咨詢發表研報稱，目前高端AI服務器GPU搭載HBM芯片已成主流，預計2023年全球HBM需求量將增近六成，達到2.9億GB，2024年將再增長30%。
這一背景下，一方面，AI芯片公司正積極開拓新的HBM供應商。從第四季度開始，三星將向英偉達供應HBM3，目前後者的HBM由SK海力士獨供；另一方面，擴產HBM、開發更高性能的產品，已經成為存儲巨頭們的共同選擇。
從產業鏈上看，HBM市場火熱也讓封裝、材料、設備等環節隨之受益。
封裝環節：由於HBM需要集成多個芯片，因此封裝成為製造該產品的關鍵環節。譬如三星與SK海力士無法將HBM以成品形式供給客戶，而是需要經過臺積電集成。臺積電之外，三星和SK海力士也在考慮增加封裝生產線。
材料端：HBM多層堆疊對於製造材料尤其是前驅體的用量成倍提升，製造材料核心廠商包括雅克科技、神工股份等；對於封裝材料：HBM將帶動TSV和晶圓級封裝需求增長，而且對封裝高度、散熱性能提出更高要求，封裝材料核心廠商包括聯瑞新材、華海誠科、飛凱材料等。
設備端：由於獨特的3D堆疊結構，HBM芯片為上遊設備帶來了新的增量——前道環節，HBM需要通過TSV來進行垂直方向連接，增加了TSV刻蝕設備需求；中段環節，HBM帶來了更多的晶圓級封裝設備需求；後道環節，HBM的多芯片堆疊帶來diebond設備和測試設備需求增長。
參考來源