人工智能大模型以其龐大的參數(shù)規(guī)模和海量的訓(xùn)練數(shù)據(jù)量著稱，需要由數(shù)千塊AI芯片組成的服務(wù)器集群來支撐其運(yùn)算。相關(guān)數(shù)據(jù)顯示，在10天內(nèi)訓(xùn)練1000億參數(shù)規(guī)模、1PB訓(xùn)練數(shù)據(jù)集，約需1.08萬個(gè)英偉達(dá)A100GPU。這一數(shù)字揭示了AI大模型背后巨大的經(jīng)濟(jì)成本。

近日，AI初創(chuàng)企業(yè)Anthropic的CEO兼總裁達(dá)里奧·阿莫代（Dario Amodei）在一檔播客節(jié)目中表示，目前公司正在開發(fā)的AI模型訓(xùn)練成本高達(dá)10億美元，他預(yù)計(jì)，AI模型的訓(xùn)練成本在2027年之前提升到100億美元，甚至是1000億美元。

在此背景下，輕量化大模型的概念應(yīng)運(yùn)而生，對(duì)大模型進(jìn)行量化、剪枝等壓縮操作，已成為模型部署過程中常用的策略。這些技術(shù)旨在降低模型的計(jì)算復(fù)雜度和減少存儲(chǔ)需求，從而加快模型推理速度，降低運(yùn)行成本，并使其更易于在邊緣設(shè)備或資源受限的環(huán)境中部署。這一理念不僅有利于實(shí)現(xiàn)“雙碳”目標(biāo)，也為AI技術(shù)的普及和落地應(yīng)用開辟了新的道路。

知識(shí)蒸餾技術(shù)助力降低算力成本。近日，谷歌DeepMind開源了Gemma 2，這是其小型語言模型系列的下一代產(chǎn)品。谷歌團(tuán)隊(duì)在Gemma 2的架構(gòu)上進(jìn)行了多項(xiàng)改進(jìn)，特別是引入了知識(shí)蒸餾（Knowledge Distillation，簡稱KD）技術(shù)。這是一種機(jī)器學(xué)習(xí)技術(shù)，主要用于模型壓縮和遷移學(xué)習(xí)，其核心思想是通過將大型模型（即“教師模型”）的知識(shí)傳遞給小型模型（即“學(xué)生模型”），以提高小型模型的性能。這種技術(shù)在不犧牲性能的前提下，大幅減少了模型的計(jì)算資源需求，使得Gemma 2不僅在同類規(guī)模的模型中表現(xiàn)出眾，甚至能與兩倍于其大小的模型性能相媲美。

Gemma 2的發(fā)布，無疑延續(xù)了近年來小型、開源語言模型家族蓬勃發(fā)展的行業(yè)趨勢。微軟的Phi和Meta的Llama等模型，同樣通過引入創(chuàng)新的架構(gòu)改進(jìn)（如GQA等）以及利用高質(zhì)量的訓(xùn)練數(shù)據(jù)，實(shí)現(xiàn)了遠(yuǎn)超傳統(tǒng)小型模型的卓越性能。這一系列模型的涌現(xiàn)，不僅是技術(shù)進(jìn)步的結(jié)果，更是為了滿足更廣泛應(yīng)用場景的需求。通過軟硬件協(xié)同、算法優(yōu)化和模型壓縮等多種手段，大模型正逐步實(shí)現(xiàn)更高效、更經(jīng)濟(jì)、更親民的目標(biāo)，從而推動(dòng)人工智能技術(shù)的廣泛應(yīng)用和發(fā)展。

創(chuàng)新模型量化方法，讓大模型“瘦身”90％。此前，清華大學(xué)和哈工大的一項(xiàng)聯(lián)合研究提出了大模型1bit極限壓縮框架OneBit，包括全新的1bit線性層結(jié)構(gòu)、基于量化感知知識(shí)蒸餾的深度遷移學(xué)習(xí)等。1bit量化模型在計(jì)算上具有優(yōu)勢，參數(shù)的純二進(jìn)制表示，不但可以節(jié)省大量的空間，還能降低矩陣乘法對(duì)硬件的要求。該架構(gòu)首次實(shí)現(xiàn)大模型權(quán)重壓縮超越90％并保留大部分（83％）能力，對(duì)于實(shí)現(xiàn)大模型在PC端甚至智能手機(jī)上的部署意義非凡。

輕量化大模型在端側(cè)AI中的應(yīng)用尤為重要。它降低了邊緣計(jì)算的成本門檻，使更多應(yīng)用程序和用戶能夠使用大模型進(jìn)行推理計(jì)算，從而推動(dòng)了AI向端側(cè)場景的落地。小米集團(tuán)NLP首席科學(xué)家王斌此前指出，大模型將逐漸演進(jìn)為小模型，并在本地部署中發(fā)揮重要作用。這不僅符合技術(shù)發(fā)展的趨勢，也有利于滿足差異化的應(yīng)用需求。

輕量化大模型之所以受到如此廣泛的關(guān)注，是因?yàn)樗鉀Q了AI技術(shù)在實(shí)際應(yīng)用中的諸多痛點(diǎn)問題。傳統(tǒng)的大型語言模型雖然性能強(qiáng)大，但往往因?yàn)橛?jì)算復(fù)雜度高、存儲(chǔ)需求大而無法在資源受限的設(shè)備上高效運(yùn)行。而輕量化大模型則通過減少模型的參數(shù)數(shù)量和降低復(fù)雜度，降低了對(duì)硬件資源的要求，使得AI技術(shù)能夠更廣泛地應(yīng)用于移動(dòng)設(shè)備、邊緣計(jì)算和實(shí)時(shí)應(yīng)用等場景。

（記者　吳雙）

【責(zé)任編輯:朱家齊】