從小眾到主流，HBM內(nèi)存為何能成為AI芯片最佳“搭檔”？
TrendForce集邦咨詢指出，為提升整體AI服務(wù)器的系統(tǒng)運算效能，以及存儲器傳輸帶寬等，NVIDIA、AMD、Intel等高端AI芯片中大多選擇搭載HBM。目前NVIDIA的A100及H100，各搭載達80GB的HBM2e及HBM3，在其最新整合CPU及GPU的Grace Hopper芯片中，單顆芯片HBM搭載容量再提升20%，達96GB。另外，AMD的MI300也搭配HBM3，其中，MI300A容量與前一代相同為128GB，更高端MI300X則達192GB，提升了50%。同時預(yù)期Google將于2023年下半年積極擴大與Broadcom合作開發(fā)AISC AI加速芯片TPU亦采搭載HBM存儲器，以擴建AI基礎(chǔ)設(shè)施。
TrendForce集邦咨詢預(yù)估，2023年市場上主要搭載HBM的AI加速芯片(如NVIDIA的H100及A100、AMD的MI200及MI300及Google的TPU等），搭載HBM總?cè)萘繉⑦_2.9億GB，成長率近6成，2024年將持續(xù)成長3成以上。
此外，AI及HPC等芯片對先進封裝技術(shù)的需求日益提升，其中，以TSMC的CoWoS為目前AI 服務(wù)器芯片主力采用者。CoWoS封裝技術(shù)主要分為CoW和oS兩段，其中，CoW主要整合各種Logic IC（如CPU、GPU、AISC等）及HBM存儲器等，另外，oS部分則將上述CoW以凸塊（Solder Bump）等接合，封裝在基板上，最后再整合到PCBA，成為服務(wù)器主機板的主要運算單元，與其他零部件如網(wǎng)絡(luò)、儲存、電源供應(yīng)單元(PSU)及其他I/O等組成完整的AI 服務(wù)器系統(tǒng)。
TrendForce集邦咨詢觀察，估計在高端AI芯片及HBM強烈需求下，TSMC于2023年底CoWoS月產(chǎn)能有望達12K，其中，NVIDIA在A100及H100等相關(guān)AI Server需求帶動下，對CoWoS產(chǎn)能較年初需求量，估提升近5成，加上AMD、Google等高端AI芯片需求成長下，將使下半年CoWoS產(chǎn)能較為緊迫，而此強勁需求將延續(xù)至2024年，預(yù)估若在相關(guān)設(shè)備齊備下，先進封裝產(chǎn)能將再成長3-4成。
ChatGPT爆紅提升HBM需求
作為一款自然語言類AI應(yīng)用，ChatGPT不僅對芯片算力有著巨大需求，對內(nèi)存技術(shù)的需求也極高，比如ChatGPT上線應(yīng)用以來，擁有高速數(shù)據(jù)傳輸速度的HBM內(nèi)存芯片幾乎成為ChatGPT的必備配置，市場需求激增。有消息稱，2023年開年以來三星、SK海力士HBM訂單就快速增加，價格也水漲船高。
有市場人士透露英偉達已經(jīng)將SK海力士的HBM3安裝到其高性能GPU H100上，而H100已開始供應(yīng)ChatGPT服務(wù)器所需。近期最新一代高帶寬內(nèi)存HBM3的價格上漲了5倍。
SK海力士HBM設(shè)計團隊項目負責人樸明宰撰文介紹，HBM是一種可以實現(xiàn)高帶寬的高附加值DRAM產(chǎn)品，適用于超級計算機、AI加速器等對性能要求較高的計算系統(tǒng)。隨著計算技術(shù)的發(fā)展，機器學習的應(yīng)用日漸廣泛，而機器學習的基礎(chǔ)是自20世紀80年代以來一直作為研究熱點的神經(jīng)網(wǎng)絡(luò)模型。作為速度最快的DRAM產(chǎn)品，HBM在克服計算技術(shù)的局限性方面發(fā)揮著關(guān)鍵的作用。
此前，盡管HBM具有出色的性能，但與一般DRAM相比，其應(yīng)用較少。這是因為HBM需要復(fù)雜的生產(chǎn)過程，平均售價至少是DRAM的三倍。但AI服務(wù)的擴展正在扭轉(zhuǎn)這樣的局面。據(jù)悉，目前已經(jīng)有超過25000塊英偉達計算卡加入到了深度學習的訓練中。未來，隨著不斷接入ChatGPT等生成式AI需求大增，HBM的需求也將呈現(xiàn)出暴增的態(tài)勢。三星內(nèi)存副總裁Kim Jae-joon便指出，ChatGPT等基于自然語言技術(shù)的交互式AI應(yīng)用的發(fā)展有利于提升內(nèi)存需求。高效且大量的運算能力、高容量的內(nèi)存，是AI學習與推論模型的根基。
存儲巨頭齊爭高性能市場
去年以來，受消費電子產(chǎn)品需求下滑等多種因素影響，存儲行業(yè)進入了下行周期。SK海力士全年的凈利潤降至2.4萬億韓元，同比下滑75%。三星電子存儲業(yè)務(wù)的營收與營業(yè)利潤，在去年第三季度和第四季度也是同比環(huán)比雙雙下滑。TrendForce集邦咨詢預(yù)估2023年第一季度DRAM價格仍將持續(xù)下探。其中，PC及服務(wù)器用DRAM跌幅仍是近兩成。HBM的需求火爆不啻于一劑“強心針”。這種情況下，SK海力士、三星電子、美光等內(nèi)存廠商均表示將致力于HBM的開發(fā)。企業(yè)之間的產(chǎn)品開發(fā)競爭也隨之升溫。
2013年SK海力士將TSV技術(shù)應(yīng)用于DRAM，在業(yè)界首次成功研發(fā)出第一代HBM芯片。此后，SK海力士相繼推出HBM2、HBM2E、HBM3數(shù)代產(chǎn)品。據(jù)悉，SK海力士正在研發(fā)HBM4，預(yù)計新一代產(chǎn)品將能夠更廣泛地應(yīng)用于高性能數(shù)據(jù)中心、超級計算機和AI等領(lǐng)域。SK海力士CFO金祐賢表示，公司正關(guān)注著市場上出現(xiàn)以AI為基礎(chǔ)的新服務(wù)器替換存儲器需求的積極信號。公司計劃持續(xù)投資DDR5/LPDDR5、HBM3等主力產(chǎn)品的量產(chǎn)和未來高成長領(lǐng)域。
三星電子雖然在HBM的開發(fā)上落后一步，但也在尋找新的突破口。據(jù)悉，三星電子正在開發(fā)集成AI處理器新一代存內(nèi)計算芯片HBM-PIM。北京大學信息科學技術(shù)學院微納電子學系副教授葉樂表示，存內(nèi)計算芯片是將AI引擎引入存儲庫，將處理操作轉(zhuǎn)移到HBM本身，將有效加大數(shù)據(jù)傳輸帶寬，提高內(nèi)存的處理速度。存內(nèi)計算技術(shù)正在實現(xiàn)產(chǎn)品化。目前基于SRAM的存內(nèi)計算，已經(jīng)進入到產(chǎn)品化的前夜，DRAM存內(nèi)計算適用于大算力AI芯片，因此還需要解決其他一系列的技術(shù)難題。
HBM國產(chǎn)替代成大趨勢
HBM的作用類似于數(shù)據(jù)的“中轉(zhuǎn)站”，就是將使用的每一幀，每一幅圖像等圖像數(shù)據(jù)保存到幀緩存區(qū)中，等待GPU調(diào)用。因此，與傳統(tǒng)內(nèi)存技術(shù)相比，HBM具有更高帶寬、更多I/O數(shù)量、更低功耗、更小尺寸，能夠讓AI服務(wù)器在數(shù)據(jù)處理量和傳輸速率有大幅提升。
當下，隨著ChatGPT的AI大模型問世，百度、阿里、科大訊飛、商湯、華為等科技巨頭紛紛要訓練自己的AI大模型，AI服務(wù)器的需求大幅度激增。
由于短時間內(nèi)處理大量數(shù)據(jù) ，AIAI服務(wù)器對帶寬提出了更高的要求，HBM則成為AI服務(wù)器的標配。隨著高端GPU需求的逐步提升，TrendForce集邦咨詢預(yù)估2023年HBM需求量將年增58%，2024年有望再成長約30%?？梢姡琀BM憑借AI的爆發(fā)，也跟著站上了風口。
目前，HBM的市場被三分天下。SK海力士、三星、海光的市占率分別為50%、40%、10%。雖然，HBM的市場基本被海外巨頭所占據(jù)；但是，芯片儲存的自主可控仍是當下產(chǎn)業(yè)發(fā)展的重要方向。因此，HBM國產(chǎn)化也將成為大的發(fā)展趨勢。這里我們根據(jù)公開信息，將HBM的相關(guān)公司整理如下：
國芯科技：目前正在研究規(guī)劃合封多HBM內(nèi)存的2.5D的芯片封裝技術(shù)，積極推進Chiplet技術(shù)的研發(fā)和應(yīng)用。
通富微電：公司2.5D/3D生產(chǎn)線建成后，將實現(xiàn)國內(nèi)在HBM(高帶寬內(nèi)存)高性能封裝技術(shù)領(lǐng)域的突破。
佰維存儲：已推出高性能內(nèi)存芯片和內(nèi)存模組，將保持對HBM技術(shù)的持續(xù)關(guān)注。
瀾起科技：PCIe 5.0/CXL 2.0 Retimer芯片實現(xiàn)量產(chǎn)，該芯片是瀾起科技PCIe 4.0 Retimer產(chǎn)品的關(guān)鍵升級，可為業(yè)界提供穩(wěn)定可靠的高帶寬、低延遲PCIe 5.0/ CXL 2.0互連解決方案。
