內(nèi)情的消息人士透露，百度、字節(jié)跳動、騰訊和阿里巴巴已向英偉達共訂購了價值10億美元的A800處理器，將于今年交付，還購買了價值40億美元的GPU，將于2024年交付。

·“我被告知，對于需要100或1000塊（英偉達GPU）H100的公司來說，Azure（微軟云服務）和GCP（谷歌云服務）實際上已經(jīng)沒有容量了，亞馬遜也接近沒有容量了?！?/span>

隨著生成式人工智能爆火，英偉達的GPU因為能為開發(fā)大型語言模型提供算力，已成為全球科技行業(yè)最熱門的商品。

硬件短缺真的會拖累人工智能革命嗎？在OpenAI首席執(zhí)行官山姆·奧特曼和特斯拉首席執(zhí)行官埃隆·馬斯克抱怨GPU（圖形處理器）不夠用之后，這個事實越來越明顯。

中國多家互聯(lián)網(wǎng)巨頭正在搶購對構建生成式人工智能系統(tǒng)至關重要的高性能英偉達（Nvidia）芯片，訂單價值總計約50億美元。

知名科技博客GPU Utils最近對GPU短缺問題進行了一項深入調(diào)查，證實了科技巨頭的擔憂。通過與國外各大云服務和GPU提供商高管的對話，博客主克雷·帕斯卡爾（Clay Pascal）寫道：“我被告知，對于需要100或1000塊（英偉達GPU）H100的公司來說，Azure（微軟云服務）和GCP（谷歌云服務）實際上已經(jīng)沒有容量了，亞馬遜也接近沒有容量了?！?/span>

將于今年或明年交付

據(jù)《金融時報》8月10日報道，多位熟知內(nèi)情的消息人士透露，百度、字節(jié)跳動、騰訊和阿里巴巴已向英偉達共訂購價值10億美元的A800處理器，將于今年交付。兩位與英偉達關系密切的人士說，這些中國企業(yè)還購買了價值40億美元的GPU，將于2024年交付。

隨著生成式人工智能爆火，英偉達的GPU因為能為開發(fā)大型語言模型提供算力，已成為全球科技行業(yè)最熱門的商品。一位英偉達經(jīng)銷商此前表示，經(jīng)銷商們手中的A800價格上漲了50%以上。

A800是英偉達用于數(shù)據(jù)中心的尖端A100 GPU的弱化版本。由于美國去年實施的出口限制，中國的科技公司只能購買數(shù)據(jù)傳輸速率低于A100的A800。

據(jù)兩位接近字節(jié)跳動的人士透露，字節(jié)跳動有許多小團隊正在開發(fā)各種生成式人工智能產(chǎn)品，其中包括一個代號為Grace的人工智能聊天機器人，目前正在進行內(nèi)部測試。

今年早些時候，字節(jié)跳動為其社交媒體應用TikTok測試了一個生成式人工智能功能，名為TikTok Tako，授權使用OpenAI的ChatGPT。

兩位直接了解情況的員工表示，字節(jié)跳動已經(jīng)儲備了至少1萬塊英偉達GPU，還訂購了近7萬塊A800芯片，將于明年交付，價值約7億美元。

目前，字節(jié)跳動利用儲備的英偉達A800和A100提供云計算設備。6月，該公司發(fā)布大模型服務平臺“火山方舟”，供企業(yè)試用不同的大語言模型服務。

騰訊云在4月發(fā)布了專為大模型訓練設計的新一代HCC高性能計算集群，供他人租用計算能力，采用了英偉達H800 GPU，這是英偉達最新的H100型號在中國的改良版，可以為大型語言模型訓練、自動駕駛和科學計算提供動力。

據(jù)兩位接近阿里巴巴的人士透露，阿里巴巴云也從英偉達收到了數(shù)千塊H800芯片，許多客戶已經(jīng)聯(lián)系該公司，尋求由這些芯片驅(qū)動的云服務。

針對《金融時報》的這一報道，英偉達、百度、字節(jié)跳動、騰訊和阿里巴巴拒絕發(fā)表評論。

稀缺性加劇稀缺性？

在國外，大多數(shù)人工智能開發(fā)者都通過亞馬遜和微軟等科技公司的云服務獲得頂級處理器。但根據(jù)GPU Utils的深度調(diào)查，現(xiàn)在情況發(fā)生了變化，一位匿名員工告訴帕斯卡爾，現(xiàn)在的情況“就像20世紀70年代的大學主機一樣”供應緊張。人工智能公司甚至用GPU作為抵押來擔保他們的債務。

調(diào)查稱，目前最被需要的GPU是英偉達的H100，因為它對于大模型的推理和訓練來說都是速度最快的，通常也是推理方面性價比最高的。匿名人士稱：“我的分析是，（H100）做同樣的工作也更便宜。如果你能找到V100，那它就很劃算了，但你卻找不到?！?/span>

對于大模型訓練來說，內(nèi)存帶寬、浮點運算次數(shù)、緩存和緩存延遲、互連速度等是重要的因素。H100比A100更受青睞，部分原因是緩存延遲較低和具有FP8計算功能等。

A100和H100的性能對比。圖片來源：GPU Utils

除了英偉達，芯片巨頭AMD也在生產(chǎn)GPU，但一位私有云公司的高管表示：“理論上，一家公司可以購買一堆AMD的GPU，但要讓一切正常運轉(zhuǎn)需要時間。開發(fā)時間（即使只有兩個月）可能意味著比競爭對手更晚進入市場。所以CUDA現(xiàn)在是英偉達的護城河?！盋UDA是英偉達推出的只能用于自家GPU的并行計算框架。

調(diào)查稱，目前谷歌云擁有大約2.5萬塊H100，微軟云服務Azure可能有1萬-4萬塊H100，甲骨文的情況應該類似。Azure的大部分容量都將流向OpenAI。對于H100的需求，OpenAI可能需要5萬塊，Meta可能需要2.5萬塊，大型云廠商可能每家都需要3萬塊，加上其他一些初創(chuàng)企業(yè)，可能總共需要大約43.2萬塊H100。以每塊約3.5萬美元計算，所需GPU的價值約為150億美元。這還不包括像字節(jié)跳動（TikTok）、百度和騰訊這樣需要大量H800的中國公司。

“因此，供應短缺可能需要一段時間才能消失。但我的所有估計都可能被嚴重夸大了，其中許多公司今天不會立即購買H100，他們會隨著時間的推移進行升級。此外，英偉達正在積極提高產(chǎn)能?！迸了箍枌懙?。

但帕斯卡爾也指出，芯片巨頭臺積電還無法生產(chǎn)足夠多的高端GPU。目前，臺積電是H100的唯一生產(chǎn)商。英偉達未來也可能和芯片制造商英特爾與三星合作，但在短期內(nèi)不會解決供應緊張。

英偉達GPU的供應路徑。圖片來源：GPU Utils

一位退休的半導體行業(yè)專業(yè)人士認為，臺積電的瓶頸不是晶圓開工，而是CoWoS（3D堆疊）封裝。

此外，影響內(nèi)存帶寬的HBM（高帶寬內(nèi)存）也是生產(chǎn)難點，HBM主要由韓國廠商生產(chǎn)。當?shù)貢r間8月8日，英偉達宣布推出世界上第一個配備HBM3e內(nèi)存的GPU芯片——下一代版本的GH200 Grace Hopper超級芯片，將于2024年二季度上市。HBM3e內(nèi)存比當前一代GH200中的HBM3技術快50%。

英偉達表示今年下半年將會有更多供應，但除此之外沒有透露更多信息，也沒有提供任何定量信息。與此同時，一位私有云公司的高管認為，稀缺性導致GPU容量被視為護城河，從而導致更多的GPU囤積，又加劇稀缺性。

這份調(diào)查報告預計，至少到2023年底，H100的部署將出現(xiàn)大量短缺。屆時情況將會更加清晰，但目前看來，短缺情況可能還會持續(xù)到2024年的部分時間。