內(nèi)情的消息人士透露，百度、字節(jié)跳動(dòng)、騰訊和阿里巴巴已向英偉達(dá)共訂購(gòu)了價(jià)值10億美元的A800處理器，將于今年交付，還購(gòu)買(mǎi)了價(jià)值40億美元的GPU，將于2024年交付。

·“我被告知，對(duì)于需要100或1000塊（英偉達(dá)GPU）H100的公司來(lái)說(shuō)，Azure（微軟云服務(wù)）和GCP（谷歌云服務(wù)）實(shí)際上已經(jīng)沒(méi)有容量了，亞馬遜也接近沒(méi)有容量了?！?/span>

隨著生成式人工智能爆火，英偉達(dá)的GPU因?yàn)槟転殚_(kāi)發(fā)大型語(yǔ)言模型提供算力，已成為全球科技行業(yè)最熱門(mén)的商品。

硬件短缺真的會(huì)拖累人工智能革命嗎？在OpenAI首席執(zhí)行官山姆·奧特曼和特斯拉首席執(zhí)行官埃隆·馬斯克抱怨GPU（圖形處理器）不夠用之后，這個(gè)事實(shí)越來(lái)越明顯。

中國(guó)多家互聯(lián)網(wǎng)巨頭正在搶購(gòu)對(duì)構(gòu)建生成式人工智能系統(tǒng)至關(guān)重要的高性能英偉達(dá)（Nvidia）芯片，訂單價(jià)值總計(jì)約50億美元。

知名科技博客GPU Utils最近對(duì)GPU短缺問(wèn)題進(jìn)行了一項(xiàng)深入調(diào)查，證實(shí)了科技巨頭的擔(dān)憂。通過(guò)與國(guó)外各大云服務(wù)和GPU提供商高管的對(duì)話，博客主克雷·帕斯卡爾（Clay Pascal）寫(xiě)道：“我被告知，對(duì)于需要100或1000塊（英偉達(dá)GPU）H100的公司來(lái)說(shuō)，Azure（微軟云服務(wù)）和GCP（谷歌云服務(wù)）實(shí)際上已經(jīng)沒(méi)有容量了，亞馬遜也接近沒(méi)有容量了?！?/span>

將于今年或明年交付

據(jù)《金融時(shí)報(bào)》8月10日?qǐng)?bào)道，多位熟知內(nèi)情的消息人士透露，百度、字節(jié)跳動(dòng)、騰訊和阿里巴巴已向英偉達(dá)共訂購(gòu)價(jià)值10億美元的A800處理器，將于今年交付。兩位與英偉達(dá)關(guān)系密切的人士說(shuō)，這些中國(guó)企業(yè)還購(gòu)買(mǎi)了價(jià)值40億美元的GPU，將于2024年交付。

隨著生成式人工智能爆火，英偉達(dá)的GPU因?yàn)槟転殚_(kāi)發(fā)大型語(yǔ)言模型提供算力，已成為全球科技行業(yè)最熱門(mén)的商品。一位英偉達(dá)經(jīng)銷(xiāo)商此前表示，經(jīng)銷(xiāo)商們手中的A800價(jià)格上漲了50%以上。

A800是英偉達(dá)用于數(shù)據(jù)中心的尖端A100 GPU的弱化版本。由于美國(guó)去年實(shí)施的出口限制，中國(guó)的科技公司只能購(gòu)買(mǎi)數(shù)據(jù)傳輸速率低于A100的A800。

據(jù)兩位接近字節(jié)跳動(dòng)的人士透露，字節(jié)跳動(dòng)有許多小團(tuán)隊(duì)正在開(kāi)發(fā)各種生成式人工智能產(chǎn)品，其中包括一個(gè)代號(hào)為Grace的人工智能聊天機(jī)器人，目前正在進(jìn)行內(nèi)部測(cè)試。

今年早些時(shí)候，字節(jié)跳動(dòng)為其社交媒體應(yīng)用TikTok測(cè)試了一個(gè)生成式人工智能功能，名為T(mén)ikTok Tako，授權(quán)使用OpenAI的ChatGPT。

兩位直接了解情況的員工表示，字節(jié)跳動(dòng)已經(jīng)儲(chǔ)備了至少1萬(wàn)塊英偉達(dá)GPU，還訂購(gòu)了近7萬(wàn)塊A800芯片，將于明年交付，價(jià)值約7億美元。

目前，字節(jié)跳動(dòng)利用儲(chǔ)備的英偉達(dá)A800和A100提供云計(jì)算設(shè)備。6月，該公司發(fā)布大模型服務(wù)平臺(tái)“火山方舟”，供企業(yè)試用不同的大語(yǔ)言模型服務(wù)。

騰訊云在4月發(fā)布了專為大模型訓(xùn)練設(shè)計(jì)的新一代HCC高性能計(jì)算集群，供他人租用計(jì)算能力，采用了英偉達(dá)H800 GPU，這是英偉達(dá)最新的H100型號(hào)在中國(guó)的改良版，可以為大型語(yǔ)言模型訓(xùn)練、自動(dòng)駕駛和科學(xué)計(jì)算提供動(dòng)力。

據(jù)兩位接近阿里巴巴的人士透露，阿里巴巴云也從英偉達(dá)收到了數(shù)千塊H800芯片，許多客戶已經(jīng)聯(lián)系該公司，尋求由這些芯片驅(qū)動(dòng)的云服務(wù)。

針對(duì)《金融時(shí)報(bào)》的這一報(bào)道，英偉達(dá)、百度、字節(jié)跳動(dòng)、騰訊和阿里巴巴拒絕發(fā)表評(píng)論。

稀缺性加劇稀缺性？

在國(guó)外，大多數(shù)人工智能開(kāi)發(fā)者都通過(guò)亞馬遜和微軟等科技公司的云服務(wù)獲得頂級(jí)處理器。但根據(jù)GPU Utils的深度調(diào)查，現(xiàn)在情況發(fā)生了變化，一位匿名員工告訴帕斯卡爾，現(xiàn)在的情況“就像20世紀(jì)70年代的大學(xué)主機(jī)一樣”供應(yīng)緊張。人工智能公司甚至用GPU作為抵押來(lái)?yè)?dān)保他們的債務(wù)。

調(diào)查稱，目前最被需要的GPU是英偉達(dá)的H100，因?yàn)樗鼘?duì)于大模型的推理和訓(xùn)練來(lái)說(shuō)都是速度最快的，通常也是推理方面性價(jià)比最高的。匿名人士稱：“我的分析是，（H100）做同樣的工作也更便宜。如果你能找到V100，那它就很劃算了，但你卻找不到?！?/span>

對(duì)于大模型訓(xùn)練來(lái)說(shuō)，內(nèi)存帶寬、浮點(diǎn)運(yùn)算次數(shù)、緩存和緩存延遲、互連速度等是重要的因素。H100比A100更受青睞，部分原因是緩存延遲較低和具有FP8計(jì)算功能等。

A100和H100的性能對(duì)比。圖片來(lái)源：GPU Utils

除了英偉達(dá)，芯片巨頭AMD也在生產(chǎn)GPU，但一位私有云公司的高管表示：“理論上，一家公司可以購(gòu)買(mǎi)一堆AMD的GPU，但要讓一切正常運(yùn)轉(zhuǎn)需要時(shí)間。開(kāi)發(fā)時(shí)間（即使只有兩個(gè)月）可能意味著比競(jìng)爭(zhēng)對(duì)手更晚進(jìn)入市場(chǎng)。所以CUDA現(xiàn)在是英偉達(dá)的護(hù)城河?！盋UDA是英偉達(dá)推出的只能用于自家GPU的并行計(jì)算框架。

調(diào)查稱，目前谷歌云擁有大約2.5萬(wàn)塊H100，微軟云服務(wù)Azure可能有1萬(wàn)-4萬(wàn)塊H100，甲骨文的情況應(yīng)該類似。Azure的大部分容量都將流向OpenAI。對(duì)于H100的需求，OpenAI可能需要5萬(wàn)塊，Meta可能需要2.5萬(wàn)塊，大型云廠商可能每家都需要3萬(wàn)塊，加上其他一些初創(chuàng)企業(yè)，可能總共需要大約43.2萬(wàn)塊H100。以每塊約3.5萬(wàn)美元計(jì)算，所需GPU的價(jià)值約為150億美元。這還不包括像字節(jié)跳動(dòng)（TikTok）、百度和騰訊這樣需要大量H800的中國(guó)公司。

“因此，供應(yīng)短缺可能需要一段時(shí)間才能消失。但我的所有估計(jì)都可能被嚴(yán)重夸大了，其中許多公司今天不會(huì)立即購(gòu)買(mǎi)H100，他們會(huì)隨著時(shí)間的推移進(jìn)行升級(jí)。此外，英偉達(dá)正在積極提高產(chǎn)能?！迸了箍枌?xiě)道。

但帕斯卡爾也指出，芯片巨頭臺(tái)積電還無(wú)法生產(chǎn)足夠多的高端GPU。目前，臺(tái)積電是H100的唯一生產(chǎn)商。英偉達(dá)未來(lái)也可能和芯片制造商英特爾與三星合作，但在短期內(nèi)不會(huì)解決供應(yīng)緊張。

英偉達(dá)GPU的供應(yīng)路徑。圖片來(lái)源：GPU Utils

一位退休的半導(dǎo)體行業(yè)專業(yè)人士認(rèn)為，臺(tái)積電的瓶頸不是晶圓開(kāi)工，而是CoWoS（3D堆疊）封裝。

此外，影響內(nèi)存帶寬的HBM（高帶寬內(nèi)存）也是生產(chǎn)難點(diǎn)，HBM主要由韓國(guó)廠商生產(chǎn)。當(dāng)?shù)貢r(shí)間8月8日，英偉達(dá)宣布推出世界上第一個(gè)配備HBM3e內(nèi)存的GPU芯片——下一代版本的GH200 Grace Hopper超級(jí)芯片，將于2024年二季度上市。HBM3e內(nèi)存比當(dāng)前一代GH200中的HBM3技術(shù)快50%。

英偉達(dá)表示今年下半年將會(huì)有更多供應(yīng)，但除此之外沒(méi)有透露更多信息，也沒(méi)有提供任何定量信息。與此同時(shí)，一位私有云公司的高管認(rèn)為，稀缺性導(dǎo)致GPU容量被視為護(hù)城河，從而導(dǎo)致更多的GPU囤積，又加劇稀缺性。

這份調(diào)查報(bào)告預(yù)計(jì)，至少到2023年底，H100的部署將出現(xiàn)大量短缺。屆時(shí)情況將會(huì)更加清晰，但目前看來(lái)，短缺情況可能還會(huì)持續(xù)到2024年的部分時(shí)間。