英偉達(dá)研究報(bào)告：從硬件GPU設(shè)計(jì)到軟件CUDA+ Omniverse開發(fā)

英偉達(dá)研究報(bào)告：從硬件GPU設(shè)計(jì)到軟件CUDA+Omniverse開發(fā)1.公司歷史及業(yè)務(wù)簡介1.1.GPU簡介多核心的并行結(jié)構(gòu)GPU比少核心串行結(jié)構(gòu)的CPU更適合處理圖形圖像（矩陣結(jié)構(gòu)）信息。CPU（CentralProcessingUnit，中央處理器）的功能主要是解釋計(jì)算機(jī)指令以及處理計(jì)算機(jī)軟件中的數(shù)據(jù)，是計(jì)算機(jī)的核心大腦，可以處理計(jì)算機(jī)遇到的所有指令。GPU（GraphicsProcessingUnit，圖形處理器）是圖形計(jì)算的重要元件，主要用來處理與與圖形圖像相關(guān)的數(shù)據(jù)，在高端PC中通常會(huì)有獨(dú)立GPU，以獲得更好的視覺體驗(yàn)。他們二者的區(qū)別主要是，CPU通常有4個(gè)、8個(gè)或16個(gè)強(qiáng)力ALU核心（arithmeticlogicunit，算術(shù)邏輯單元），適合做復(fù)雜的通用串行任務(wù)；而GPU可能有數(shù)千個(gè)簡單ALU核心，適合做簡單特定的并行任務(wù)。我們通過以下的例子來說明CPU和GPU的差異：CPU就像一個(gè)大學(xué)生，可以進(jìn)行微積分等復(fù)雜計(jì)算，但若要在短時(shí)間內(nèi)完成幾萬道加減算數(shù)問題，也是很難辦得到的；而GPU就像幾百個(gè)小學(xué)生，雖然都不會(huì)微積分等復(fù)雜計(jì)算的能力，但人數(shù)多，可以在很短時(shí)間內(nèi)完成幾萬道加減算數(shù)問題。也有例子把CPU比作跑車，GPU比作大卡車，對(duì)于將少量貨物從A運(yùn)到B來說，是作為跑車的CPU更快；但如果貨物非常多，那么作為跑車的CPU需要往返的次數(shù)遠(yuǎn)遠(yuǎn)多于作為貨車的GPU，作為貨車的GPU雖然完成一次任務(wù)較慢，但是可以攜帶更多的貨物，其效率會(huì)高于CPU。總而言之，對(duì)于復(fù)雜的單個(gè)計(jì)算任務(wù)來說，CPU的執(zhí)行效率更高，通用性更強(qiáng)；而對(duì)于圖形圖像這種矩陣式多像素點(diǎn)的簡單計(jì)算，更適合用GPU來處理，但通用性較弱。GPU按接入方式分為獨(dú)立GPU和集成GPU；按照應(yīng)用端劃分為移動(dòng)GPU、服務(wù)器GPU和PCGPU。GPU是圖形處理單元，在PC（個(gè)人電腦）早期，圖形數(shù)據(jù)較為簡單，主要都是由CPU來進(jìn)行圖形處理。隨著圖形顯示規(guī)模的增加，CPU已經(jīng)很難分出更多精力來處理圖形信息，而且CPU的架構(gòu)決定了其處理圖形信息的效率是偏低的，因此逐漸發(fā)展出了專門處理圖形信息的GPU。英偉達(dá)專做GPU，開發(fā)了獨(dú)立于CPU的GPU；英特爾作為CPU的霸主，開發(fā)了寄生于CPU芯片上的GPU單元，被稱為集成GPU。通常來講，獨(dú)立GPU的性能都要優(yōu)于集成GPU，在對(duì)圖形實(shí)時(shí)處理要求不高的日常辦公領(lǐng)域，使用普通的集成GPU即可；在對(duì)圖形實(shí)時(shí)處理能力要求很高的游戲及設(shè)計(jì)領(lǐng)域，一般都需要使用獨(dú)立GPU。隨著移動(dòng)設(shè)備的發(fā)展，GPU也從PC端擴(kuò)展到了移動(dòng)端，高通驍龍以及蘋果的A系列芯片都開發(fā)了相應(yīng)的GPU芯片模塊。隨著AI以及云計(jì)算的興起，具有并行計(jì)算架構(gòu)的GPU具有更高的效率，這也使得GPU被應(yīng)用到AI及云計(jì)算等數(shù)據(jù)處理之中。這是一個(gè)全新的領(lǐng)域，擁有巨大的成長空間。值得一提的是，市場上還存在著比GPU專用程度更高的芯片，包括FPGA（Fieldprogrammablegatearray，可編程邏輯陣列）和針對(duì)某一類AI計(jì)算的ASIC（Applicationspecificintegratedcircuit，特定場景芯片），包括谷歌推出的TPU（張量計(jì)算單元）和特斯拉推出的NPU（神經(jīng)網(wǎng)絡(luò)計(jì)算單元），雖然在某些特定計(jì)算上效率更高，但目前這些芯片的使用場景比較單一，市場規(guī)模還較小。1.2.

英偉達(dá)發(fā)展歷史英偉達(dá)（NVIDIA）是一家以GPU（GraphicsProcessUnit，圖形處理單元）芯片設(shè)計(jì)起家的人工智能計(jì)算公司。公司創(chuàng)立于1993年，總部位于美國加利福尼亞州圣克拉拉市。美籍華人JensenHuang（黃仁勛）是創(chuàng)始人兼CEO。1999年，NVIDIA定義了GPU，GPU的出現(xiàn)被業(yè)界視為現(xiàn)代計(jì)算機(jī)圖形技術(shù)的開端。英偉達(dá)于1999年1月在納斯達(dá)克掛牌上市，在2000年它收購了曾經(jīng)在90年代稱霸圖形顯示市場的3dfx公司的知識(shí)產(chǎn)權(quán)，逐漸占據(jù)圖形顯示市場的優(yōu)勢地位。到2021年為止，在消費(fèi)PC領(lǐng)域，能夠量產(chǎn)GPU的公司只有英偉達(dá)、AMD和英特爾，其中英特爾主要是以集成GPU為主，AMD既有集成GPU也有獨(dú)立GPU，英偉達(dá)主要是獨(dú)立GPU。在獨(dú)立GPU領(lǐng)域，英偉達(dá)2021Q1占據(jù)81%的市場份額，處于絕對(duì)的領(lǐng)先地位。公司20多年來始終引領(lǐng)GPU行業(yè)的發(fā)展，將GPU的主要應(yīng)用場景從游戲以及畫圖等圖像顯示擴(kuò)展到了以AI、云計(jì)算等大數(shù)據(jù)相關(guān)的并行計(jì)算領(lǐng)域。英偉達(dá)保持著兩年升級(jí)一次GPU架構(gòu)的步伐，不斷提高GPU的性能。在英偉達(dá)GTC2020主題演講中，NVIDIA宣布推出安培(Ampere)架構(gòu)，這是NVIDIA發(fā)布的第八代GPU架構(gòu)，包含超過540億個(gè)晶體管，性能相較于前代提升了高達(dá)20倍，也是NVIDIA8代GPU歷史上最大的一次性能飛躍。安培架構(gòu)的最新一代RTX30系列游戲GPU和AI計(jì)算GPUA100作為各自領(lǐng)域的代表產(chǎn)品，繼續(xù)推動(dòng)著相關(guān)領(lǐng)域的發(fā)展。1.3.

英偉達(dá)業(yè)務(wù)簡介2.傳統(tǒng)業(yè)務(wù)：消費(fèi)者（游戲）相關(guān)業(yè)務(wù)保持穩(wěn)定增長2.1.

英偉達(dá)

GPU五年來持續(xù)占據(jù)PC獨(dú)顯六成以上市場由于疫情導(dǎo)致的居家時(shí)間延長，公司GPU量價(jià)齊升，F(xiàn)Y2022Q2游戲相關(guān)營收同比大增85%，單季收入首次超過30億美元。英偉達(dá)的GPU在PC端是以獨(dú)立顯卡的形式存在，通過獨(dú)立顯卡可以實(shí)現(xiàn)高幀率高分辨率3A游戲、專業(yè)繪圖等應(yīng)用。獨(dú)顯領(lǐng)域是一個(gè)壁壘極高的市場，經(jīng)過20多年的充分競爭后，目前僅有英偉達(dá)、AMD可以推出相關(guān)產(chǎn)品，而英偉達(dá)占據(jù)絕對(duì)的領(lǐng)先優(yōu)勢。2021Q1英偉達(dá)在PC獨(dú)顯市場占據(jù)81%的市場份額（2020全年為77%）。以每兩年更新一次架構(gòu)、每半年性能翻倍的速度，持續(xù)引領(lǐng)消費(fèi)級(jí)GPU市場。2020年9月2日，英偉達(dá)發(fā)布了新一代顯卡RTX30系列，與前一代RTX20系列相比，采用了全新的安培架構(gòu)，在核心數(shù)、顯存、頻率等性能都有了大幅度提升。RTX30的高算力加上英偉達(dá)的DLSS（DeepLearningSuperSampling，深度學(xué)習(xí)超采樣）技術(shù)，大大提高實(shí)際場景的運(yùn)算力（在算力不變的情況下提高幀率），使得英偉達(dá)顯卡深受游戲玩家的喜愛。在中國，RTX30系列中的RTX3080由發(fā)售價(jià)的5499元人民幣被一路炒高至18000元左右，足見其火爆程度（雖然部分原因是受到數(shù)字貨幣“挖礦”搶貨的影響）。英偉達(dá)以半年性能提升一倍的“黃氏定律”牢牢占據(jù)GPU的領(lǐng)導(dǎo)者地位。截止到2021年3月，英偉達(dá)的各系列GPU在性能排行的前20名中占據(jù)了包括第一名在內(nèi)的14個(gè)席位，可以看出英偉達(dá)在GPU領(lǐng)域的霸主地位。2.2.借助Bluefield能力，發(fā)力云游戲GeforceNow業(yè)務(wù)云游戲是以云計(jì)算為基礎(chǔ)的游戲方式，在云游戲的運(yùn)行模式下，所有游戲都在服務(wù)器端運(yùn)行，并將渲染完畢后的游戲畫面壓縮后通過網(wǎng)絡(luò)傳送給用戶。在客戶端，用戶的游戲設(shè)備不需要任何高端處理器和顯卡，只需要基本的視頻解壓能力就可以，因此其市場潛力很大，據(jù)Newzoo2021年3月發(fā)布的報(bào)告預(yù)測，2023年全球云游戲市場收入可能達(dá)到51億美元。但目前主要受限于網(wǎng)絡(luò)延遲以及服務(wù)器延遲等方面，市場尚處于初期階段。除英偉達(dá)外，目前還有微軟、谷歌、索尼、騰訊以及網(wǎng)易等也在拓展云游戲業(yè)務(wù)。3.成長業(yè)務(wù)：數(shù)據(jù)中心成為云和AI領(lǐng)域基礎(chǔ)設(shè)施，營收迅速擴(kuò)大英偉達(dá)成為云計(jì)算和AI這個(gè)未來“金礦”行業(yè)的芯片及服務(wù)器等“鏟子”工具——GPU的主要供應(yīng)商，2020年以來以AI和云計(jì)算為主要服務(wù)對(duì)象的數(shù)據(jù)中心業(yè)務(wù)營收規(guī)模已經(jīng)和游戲業(yè)務(wù)相當(dāng)。英偉達(dá)創(chuàng)始人、CEO黃仁勛于2021年6月份在接受第一財(cái)經(jīng)的采訪中表示，“數(shù)據(jù)中心規(guī)模計(jì)算的時(shí)代已經(jīng)來臨。我們想成為一家數(shù)據(jù)中心企業(yè)，數(shù)據(jù)中心正在占據(jù)我們業(yè)務(wù)越來越重要的地位。”他說道，“而各種新興技術(shù)的匯聚，比如云計(jì)算、人工智能、加速計(jì)算、工業(yè)5G等，將會(huì)成為解決計(jì)算時(shí)代重要問題的最后幾塊拼圖。”英偉達(dá)在數(shù)據(jù)中心上布局很早，利用在GPU中積累的芯片設(shè)計(jì)經(jīng)驗(yàn)，推廣到了數(shù)據(jù)中心業(yè)務(wù)。從英偉達(dá)近一年的財(cái)報(bào)中也可以看出，英偉達(dá)在數(shù)據(jù)中心的業(yè)務(wù)收入已經(jīng)和游戲業(yè)務(wù)比肩，且有超越游戲業(yè)務(wù)的潛力。從2021年6月舉辦的國際超級(jí)計(jì)算大會(huì)ISC上公布的超級(jí)計(jì)算榜單可以看出，TOP10中有8臺(tái)使用英偉達(dá)的技術(shù)，TOP500中有342臺(tái)使用英偉達(dá)的技術(shù)，可見英偉達(dá)在數(shù)據(jù)中心業(yè)務(wù)的優(yōu)勢。英偉達(dá)在數(shù)據(jù)中心領(lǐng)域的成功離不開硬件（A100、DGXA100、InfiniBand）以及相關(guān)軟件（CUDA）等的支持，英偉達(dá)在云與數(shù)據(jù)中心領(lǐng)域形成了一整套完整的生態(tài)系統(tǒng)，成為云和AI領(lǐng)域基礎(chǔ)算力及算法工具鏈等基礎(chǔ)工具的供應(yīng)商，在AI的布局中擁有不可替代的位置。3.1.采用并行計(jì)算的GPU天生適合AI領(lǐng)域的運(yùn)算AI算法多為并行結(jié)構(gòu)。AI領(lǐng)域中用于圖像識(shí)別的深度學(xué)習(xí)、用于決策和推理的機(jī)器學(xué)習(xí)以及超級(jí)計(jì)算都需要大規(guī)模的并行計(jì)算，更適合采用GPU架構(gòu)。我們以深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)算法來舉例說明GPU架構(gòu)的優(yōu)勢。神經(jīng)網(wǎng)絡(luò)是一種模擬人腦的以期能夠?qū)崿F(xiàn)人工智能的機(jī)器學(xué)習(xí)技術(shù)，適合采用并行計(jì)算的GPU架構(gòu)。一個(gè)經(jīng)典的神經(jīng)網(wǎng)絡(luò)分為輸入層、隱藏層和輸出層，通常隱藏層的數(shù)量越多，神經(jīng)網(wǎng)絡(luò)模擬的結(jié)果越精確，但相應(yīng)的計(jì)算量會(huì)呈指數(shù)的增長。最初人們使用CPU來模擬多層神經(jīng)網(wǎng)絡(luò)需要很長時(shí)間；隨后科學(xué)家認(rèn)為，輸入層到輸出層的計(jì)算關(guān)系是矩陣形式，與GPU對(duì)圖像像素處理的架構(gòu)類似，都是并行計(jì)算為主，因此產(chǎn)生了使用GPU來進(jìn)行神經(jīng)網(wǎng)絡(luò)計(jì)算的想法。2010年時(shí)，Google負(fù)責(zé)人工智能的吳恩達(dá)為了訓(xùn)練神經(jīng)網(wǎng)絡(luò)來識(shí)別貓，最初使用了16000臺(tái)計(jì)算機(jī)的CPU完成了訓(xùn)練，但為了搭建龐大的CPU耗費(fèi)巨大；隨后他與英偉達(dá)公司探討了這件事情，英偉達(dá)僅采用12個(gè)GPU就完成了訓(xùn)練，使人們看到了GPU對(duì)神經(jīng)網(wǎng)絡(luò)的優(yōu)勢。隨著神經(jīng)網(wǎng)絡(luò)的復(fù)雜程度逐漸提高，用GPU來訓(xùn)練神經(jīng)網(wǎng)絡(luò)成為了更優(yōu)的選擇。在輸入通道上滑動(dòng)的底部有一個(gè)陰影的卷積濾波器，還有一個(gè)綠色的輸出通道。卷積算法流程如下：藍(lán)色（底部）→輸入通道→陰影（覆蓋在藍(lán)色上）→3x3的卷積過濾器→綠色（頂部）→輸出通道。對(duì)于藍(lán)色輸入通道上的每個(gè)位置，3x3過濾器進(jìn)行計(jì)算，將藍(lán)色輸入通道的陰影部分映射到綠色輸出通道的相應(yīng)陰影部分。每個(gè)計(jì)算都是獨(dú)立于其他計(jì)算的，這意味著任何計(jì)算都不依賴于任何其他計(jì)算的結(jié)果，所有這些獨(dú)立的計(jì)算都可以在GPU上并行進(jìn)行，雖然單個(gè)卷積計(jì)算要比CPU慢，但是對(duì)于整個(gè)任務(wù)來說，CPU要逐個(gè)依次完成，速度要大大慢于GPU。因此，卷積運(yùn)算可以通過使用并行編程方法和GPU來加速。3.2.

英偉達(dá)全面布局?jǐn)?shù)據(jù)中心硬件市場CPU+GPU+DPU形成產(chǎn)品矩陣，全面發(fā)力數(shù)據(jù)中心市場。自從2021年GTC大會(huì)上英偉達(dá)宣布推出第一款CPUGrace以來，英偉達(dá)已經(jīng)涉足了與AI和云計(jì)算相關(guān)的數(shù)據(jù)中心市場的大部分領(lǐng)域。利用GPU在AI領(lǐng)域的先天優(yōu)勢，英偉達(dá)借此切入數(shù)據(jù)中心市場。針對(duì)芯片內(nèi)部帶寬以及系統(tǒng)級(jí)互聯(lián)等諸多問題，英偉達(dá)推出了BluefieldDPU和GraceCPU，提升了整體硬件性能。在2021年GTC大會(huì)上，英偉達(dá)公布了GPU、CPU和DPU的發(fā)展規(guī)劃，每年都會(huì)有新產(chǎn)品問世；英偉達(dá)在數(shù)據(jù)中心硬件市場的不斷升級(jí)，推動(dòng)了數(shù)據(jù)中心以及AI整個(gè)產(chǎn)業(yè)的發(fā)展步伐。3.2.1.基于安培架構(gòu)的A100系列，為數(shù)據(jù)中心打造高性能算力基礎(chǔ)采用第三代TensorCore核心。通過全新TF32，將上一代Volta架構(gòu)的AI吞吐量提高多達(dá)20倍。通過FP64，將HPC性能提升了2.5倍。通過INT8，將AI推理性能提高多達(dá)20倍，并且支持BF16數(shù)據(jù)格式。采用更大、更快的HBM2eGPU內(nèi)存。從而使內(nèi)存容量增加一倍，在業(yè)內(nèi)率先實(shí)現(xiàn)2TB/s以上的內(nèi)存帶寬。采用MIG（Multi-InstanceGPU，多實(shí)例GPU）技術(shù)，將單個(gè)獨(dú)立實(shí)例的內(nèi)存增加一倍，可最多提供七個(gè)MIG，每個(gè)實(shí)例具備10GB內(nèi)存。采用結(jié)構(gòu)化稀疏技術(shù)，將推理稀疏模型的速度提高兩倍。第三代NVLink和NVSwitch，相較于上一代互連技術(shù)，可使GPU之間的帶寬增加至原來的兩倍，將數(shù)據(jù)密集型工作負(fù)載的GPU數(shù)據(jù)傳輸速度提高至600GB/s。A100被廣泛應(yīng)用于大數(shù)據(jù)分析、天氣預(yù)報(bào)、量子化學(xué)以及材料模擬等領(lǐng)域，推動(dòng)了相關(guān)領(lǐng)域的發(fā)展。基于以上算力、內(nèi)存以及數(shù)據(jù)交互上的優(yōu)化，A100在自然語言識(shí)別、大數(shù)據(jù)分析、科學(xué)計(jì)算領(lǐng)域提供了更強(qiáng)的硬件實(shí)力。對(duì)于如RNN－T等自動(dòng)語言識(shí)別模型的AI推理，單個(gè)A100MIG實(shí)例可處理更大規(guī)模的批量數(shù)據(jù)，將生產(chǎn)中的推理吞吐量提高1.25倍。在TB級(jí)零售大數(shù)據(jù)分析基準(zhǔn)上，A100將其性能提高了2倍，使其成為可對(duì)最大規(guī)模數(shù)據(jù)集進(jìn)行快速分析的理想平臺(tái)。隨著數(shù)據(jù)的動(dòng)態(tài)更新，企業(yè)可以實(shí)時(shí)做出關(guān)鍵決策。對(duì)于科學(xué)應(yīng)用，A100可為天氣預(yù)報(bào)和量子化學(xué)等領(lǐng)域提供巨大的加速。材料模擬軟件QuantumEspresso采用單節(jié)點(diǎn)A100實(shí)現(xiàn)了近2倍的吞吐量提升。除了高性能的A100系列外，英偉達(dá)還在在功耗、性能上做了優(yōu)化與調(diào)整，推出了A10、A30等產(chǎn)品，旨在面向中小型客戶。英偉達(dá)的一系列產(chǎn)品滿足了不同用戶的需求。3.2.2.DGXA100數(shù)據(jù)中心及DGXSuperPOD解決方案，使英偉達(dá)保持超算領(lǐng)域優(yōu)勢一體式AI數(shù)據(jù)中心DGXStationA100，使AI超算中心的搭建更為方便。以A100GPU為核心的數(shù)據(jù)中心DGXStationA100，AI性能可以達(dá)到2.5Petaflops，通過NVIDIANVLink完全互連，實(shí)現(xiàn)多個(gè)NVIDIAA100GPU融合在一起的工作組服務(wù)器，目前有320GB/640GB等不同版本可供選擇。借助MIG，單一DGXStationA100最多可提供28個(gè)獨(dú)立GPU實(shí)例以運(yùn)行并行任務(wù)，并可在不影響系統(tǒng)性能的前提下支持多用戶應(yīng)用。作為服務(wù)器級(jí)的系統(tǒng)，DGXStationA100無需配備數(shù)據(jù)中心級(jí)電源或散熱系統(tǒng)，用戶可以極為方便地部署AI超算中心；與前代相比，如果要搭建同樣算力的數(shù)據(jù)中心，成本會(huì)降低90%，耗電量會(huì)減少95%，大大降低了數(shù)據(jù)中心的使用門檻，客觀上推動(dòng)了AI領(lǐng)域的蓬勃發(fā)展。NVIDIADGXSuperPOD解決方案，促進(jìn)了AI超算行業(yè)的發(fā)展。全新DGXA100640GB系統(tǒng)也將集成到企業(yè)版NVIDIADGXSuperPOD解決方案，使機(jī)構(gòu)能基于以20個(gè)DGXA100系統(tǒng)為單位的一站式AI超級(jí)計(jì)算機(jī)，實(shí)現(xiàn)大規(guī)模AI模型的構(gòu)建、訓(xùn)練和部署。配備A10080GBGPU的NVIDIADGXSuperPOD系統(tǒng)將率先安裝于英國的Cambridge-1超級(jí)計(jì)算機(jī)，以加速推進(jìn)醫(yī)療健康領(lǐng)域研究；佛羅里達(dá)大學(xué)的全新HiPerGatorAI超級(jí)計(jì)算機(jī)，將開展AI賦能的科學(xué)發(fā)現(xiàn)。新一代DGXStationA100和DGXA100640GB移動(dòng)數(shù)據(jù)中心的出現(xiàn)，將給AI超級(jí)計(jì)算機(jī)的行業(yè)格局帶來一次新的震動(dòng)。同時(shí)AI超算上的創(chuàng)新也將因?yàn)镈GXStationA100而再次迎來新的發(fā)展，對(duì)AI超算的行業(yè)應(yīng)用普及帶來了更大的發(fā)展?jié)摿εc空間。3.2.3.戰(zhàn)略眼光獨(dú)到，收購Mellanox，提高數(shù)據(jù)交互性能英偉達(dá)并購Mellanox后，充分挖掘了其掌握的InfiniBand技術(shù)，使網(wǎng)絡(luò)交換速度得到保證。2019年，英偉達(dá)以69億美元并購了Mellanox，后者以InfiniBand技術(shù)見長。InfiniBand和以太網(wǎng)是超算領(lǐng)域較常用的互聯(lián)和協(xié)議，以太網(wǎng)設(shè)計(jì)的初衷是解決各種各樣設(shè)備之間的連接問題，其核心是通用性強(qiáng)；而InfiniBand的設(shè)計(jì)初衷是解決同一個(gè)系統(tǒng)中不同設(shè)備之間的連接問題，其核心是為了讓通訊更快。舉例來說，以太網(wǎng)像是快遞中轉(zhuǎn)站，它需要盡可能識(shí)別所有的包裹并將其送到各種各樣的目的地，其主要精力需要放在數(shù)據(jù)處理上，信息的傳遞效率相對(duì)較低；而InfiniBand更像是地鐵系統(tǒng)，軌道都是確定好的且目標(biāo)車站數(shù)量有限，因此不同站點(diǎn)間信息獲取速度就會(huì)很快。對(duì)于高性能超級(jí)計(jì)算機(jī)來說，為了提高數(shù)據(jù)交換速度，一般會(huì)采用InfiniBand技術(shù)。英偉達(dá)在得到InfiniBand技術(shù)后，開發(fā)出了NVIDIAMellanoxInfiniBand交換器系統(tǒng)，每個(gè)端口的速度可達(dá)400Gb/s（以太網(wǎng)的速度通常在0.1~25Gb/s），這讓運(yùn)算叢集和聚合數(shù)據(jù)中心能在任何規(guī)模中運(yùn)作，并同時(shí)降低營運(yùn)成本和基礎(chǔ)架構(gòu)的復(fù)雜性。Bluefield芯片可分擔(dān)CPU的網(wǎng)絡(luò)、存儲(chǔ)和安全等任務(wù)，可以大大減少CPU的工作量的同時(shí)提高數(shù)據(jù)交互性能。Mellanox的主要產(chǎn)品就是名為Bluefield的芯片，英偉達(dá)也將其稱為DPU（DataProcessingUnit，數(shù)據(jù)處理單元），其實(shí)際上是一個(gè)高級(jí)的網(wǎng)卡。基于DPU的智能網(wǎng)卡將成為云數(shù)據(jù)中心設(shè)備中的核心網(wǎng)絡(luò)部件，逐漸承擔(dān)原先需要CPU來執(zhí)行的網(wǎng)絡(luò)數(shù)據(jù)處理、分發(fā)的重任，從而從根本上實(shí)現(xiàn)軟件定義網(wǎng)絡(luò)（SDN）和網(wǎng)絡(luò)功能虛擬化（NFV）的諸多優(yōu)勢，有效降低云計(jì)算的性能損失，釋放CPU算力，降低功耗的同時(shí)大大減少云數(shù)據(jù)中心的運(yùn)營成本。按照英偉達(dá)的說法，一個(gè)DPU頂125個(gè)CPU的網(wǎng)絡(luò)處理能力。英偉達(dá)計(jì)劃在2022~2023年推出第3代與第4代Bluefield，在保持400Gb/s的數(shù)據(jù)傳輸速度下，其AI算力會(huì)從75TOPS提高到400TOPS，進(jìn)一步滿足高性能數(shù)據(jù)交互的要求。3.2.4.推出英偉達(dá)自研CPU，補(bǔ)齊數(shù)據(jù)中心短板推出自研CPUGrace，實(shí)現(xiàn)英偉達(dá)在數(shù)據(jù)中心、HPC以及計(jì)算設(shè)備上的的全自研。在2021GTC大會(huì)上，英偉達(dá)推出了GraceCPU并計(jì)劃在2023年量產(chǎn)。這款CPU是英偉達(dá)第一次推出的CPU產(chǎn)品，采用了ARMv9指令集，該指令集主要是增強(qiáng)面向矢量、機(jī)器學(xué)習(xí)和數(shù)字信號(hào)處理器的相關(guān)內(nèi)容，與數(shù)據(jù)中心所需要處理的事物息息相關(guān)，因此這款CPU的主要應(yīng)用場景將是在數(shù)據(jù)中心領(lǐng)域。據(jù)英偉達(dá)宣稱，GraceCPU是高度專業(yè)化的、面向巨型人工智能和HPC的產(chǎn)品，可以訓(xùn)練擁有超過一萬億個(gè)參數(shù)的NLP模型。自研CPU的主要目的是為了解決GPU讀取內(nèi)存數(shù)據(jù)的帶寬瓶頸問題。英特爾的x86CPU的優(yōu)勢是靈活的擴(kuò)展性和對(duì)各類設(shè)備的支持，因此x86依然是目前HPC和服務(wù)器應(yīng)用場合的重點(diǎn)，但x86架構(gòu)存在帶寬不足的缺點(diǎn)。目前x86CPU通過內(nèi)存控制器連接DDR4內(nèi)存，最新的英特爾至強(qiáng)處理器可以實(shí)現(xiàn)8通道DDR4內(nèi)存連接，其帶寬大約為200GB/s，GPU本地內(nèi)存（顯存）的帶寬在使用HBM2的情況下大約可以達(dá)到2000GB/s；CPU和GPU自身的連接帶寬都是足夠的，但是CPU和GPU連接的帶寬只能依靠PCIe4.0x16，帶寬大約只有16GB/s，如果考慮典型的一個(gè)x86CPU帶4個(gè)GPU的情形，則將一個(gè)待處理文件從內(nèi)存（Memory）經(jīng)過CPU到GPU的最大帶寬就只有64GB/s，這就是帶寬瓶頸的由來。英偉達(dá)擁有NVlink技術(shù)，其帶寬可達(dá)500GB/s，但x86并不支持其協(xié)議，因此英偉達(dá)決定自研CPU，來解決帶寬瓶頸問題。英特爾回應(yīng)稱其PCIe總線技術(shù)也會(huì)逐步升級(jí)，但據(jù)推測在2023年也就是Grace推出的當(dāng)年，PCIe的帶寬也只能達(dá)到32GB/s（或者更進(jìn)一步升級(jí)到64GB/s），這也比NVLink的帶寬要小一個(gè)數(shù)量級(jí)。因此，英偉達(dá)可能會(huì)重塑數(shù)據(jù)中心的底層硬件市場，進(jìn)一步獲取數(shù)據(jù)中心領(lǐng)域的優(yōu)勢地位。3.3.CUDA軟件生態(tài)助力GPU硬件，打造軟硬件生態(tài)系統(tǒng)，形成行業(yè)壁壘CUDA系統(tǒng)助力英偉達(dá)

GPU方便且高效地發(fā)揮其并行計(jì)算能力，使GPU的使用范圍不僅限于顯卡，而成為了GPGPU（General-PurposeGraphicsProcessingUnit，圖形處理器通用計(jì)算）。GPU的微架構(gòu)天生適合矩陣類并行計(jì)算，其能力不僅限于顯卡領(lǐng)域，于是從21世紀(jì)早期就有專業(yè)的計(jì)算人員想要使用GPU做一些AI領(lǐng)域相關(guān)的并行計(jì)算。但在CUDA問世之前，想要調(diào)用GPU的計(jì)算能力必須編寫大量的底層語言代碼，這是主要使用高級(jí)語言為主的程序員不折不扣的噩夢。英偉達(dá)公司的DavidKirk慧眼識(shí)珠，在他的主導(dǎo)下，英偉達(dá)推出了CUDA系統(tǒng)。CUDA（ComputeUnifiedDeviceArchitecture，統(tǒng)一計(jì)算架構(gòu)）是一個(gè)基于英偉達(dá)GPU平臺(tái)上面定制的特殊計(jì)算體系/算法，一般只能在英偉達(dá)的GPU系統(tǒng)上使用。CUDA是一種類C語言，本身也兼容C語言，所以其雖然是一種獨(dú)立語言，但CUDA本身和C差距不算很大，適合普通開發(fā)者使用且能夠最大化GPU的計(jì)算效率，這使得GPU的使用范圍不僅僅局限在顯卡，而是擴(kuò)展到所有適合并行計(jì)算的領(lǐng)域，GPU也逐漸成為了GPGPU。我們通過一個(gè)例子來說明CPU、GPU以及擁有CUDA的GPU的運(yùn)算能力：比如，我們要算100次從1加到100的加法，如果利用一個(gè)4線程CPU，需要100/4X100=2500次，而用GPU（假定它是1000個(gè)線程），性能相同的情況下，AMD公司的GPU要算100/1000X100=10次。如果使用CUDA優(yōu)化的英偉達(dá)的GPU來計(jì)算的話，它能提供優(yōu)化算法的“1+100，2+99的這種利用首尾相加再除以2”的方法來簡化計(jì)算，那么使用CUDA后的英偉達(dá)顯卡可能只需要計(jì)算100/1000X100/5=2次，可見效率提高了很多。所以，即便競爭對(duì)手的GPU在硬件參數(shù)上比肩英偉達(dá)的GPU，但缺少CUDA的優(yōu)化，其計(jì)算效率還是無法達(dá)到英偉達(dá)GPU的水平。CUDA初期采用免費(fèi)推廣策略，不求短期回報(bào)，使英偉達(dá)迅速占領(lǐng)AI市場。英偉達(dá)的CEO黃仁勛高瞻遠(yuǎn)矚，對(duì)GPU的擴(kuò)展應(yīng)用十分重視，早在2006年就大力支持CUDA系統(tǒng)在AI領(lǐng)域的開發(fā)與推廣，在當(dāng)時(shí)每年投入5億美元的研發(fā)經(jīng)費(fèi)（年?duì)I業(yè)額只有30億美元）對(duì)CUDA進(jìn)行不斷更新與維護(hù)，并讓當(dāng)時(shí)美國大學(xué)及科研機(jī)構(gòu)免費(fèi)使用CUDA系統(tǒng)，使CUDA系統(tǒng)迅速在AI以及通用計(jì)算領(lǐng)域開花結(jié)果。CUDA經(jīng)過多年優(yōu)化，形成獨(dú)特軟硬件配合的生態(tài)系統(tǒng)，業(yè)界獨(dú)此一家，產(chǎn)品壁壘極高。為了讓廣大程序員以及科研人員方便使用GPU的算力，英偉達(dá)不斷優(yōu)化CUDA的開發(fā)庫及驅(qū)動(dòng)系統(tǒng)。操作系統(tǒng)的多任務(wù)機(jī)制可以同時(shí)管理CUDA訪問GPU和圖形程序的運(yùn)行庫，其計(jì)算特性支持利用CUDA直觀地編寫GPU核心程序。CUDA在軟件方面組成有：一個(gè)CUDA開發(fā)庫、一個(gè)應(yīng)用驅(qū)動(dòng)及其運(yùn)行環(huán)境(Runtime)、兩個(gè)較高級(jí)別的通用數(shù)學(xué)庫，即CUFFT和CUBLAS。CUDA改進(jìn)了DRAM的讀寫靈活性，使得GPU與CPU的機(jī)制相吻合。另一方面，CUDA提供了片上（on-chip）共享內(nèi)存，使得線程之間可以共享數(shù)據(jù)。應(yīng)用程序可以利用共享內(nèi)存來減少DRAM的數(shù)據(jù)傳送，更少的依賴DRAM的內(nèi)存帶寬。除CUDA外，目前還有OpenCL也可以實(shí)現(xiàn)對(duì)GPU計(jì)算能力的調(diào)用，但由于其通用性較強(qiáng)，整體優(yōu)化效果不如CUDA，在大規(guī)模計(jì)算中劣勢很大。CUDA成為連接AI的中心節(jié)點(diǎn)，CUDA+GPU系統(tǒng)極大推動(dòng)了AI領(lǐng)域的發(fā)展。搭載英偉達(dá)

GPU硬件的工作站（Workstation）、服務(wù)器（Server）和云（Cloud）通過CUDA軟件系統(tǒng)以及開發(fā)的CUDA-XAI庫，為AI領(lǐng)域的機(jī)器學(xué)習(xí)（MachineLearning）、深度學(xué)習(xí)（DeepLearing）中的訓(xùn)練（Train）和推理（Inference）提供軟件工具鏈，來服務(wù)眾多的框架、云服務(wù)等等，推動(dòng)了AI領(lǐng)域的迅速發(fā)展。因此，英偉達(dá)也被稱作AI時(shí)代最大的推動(dòng)力量。英偉達(dá)CEO黃仁勛2020年在接受Barron周刊的采訪時(shí)也不斷強(qiáng)調(diào)，“我們是一家擁有高性能計(jì)算的AI公司，視頻游戲只是我們一個(gè)極為成功的應(yīng)用”；

“

Nvidia不是游戲公司，它將推動(dòng)下一個(gè)人工智能大爆炸”。3.4.AI的普及助力數(shù)據(jù)中心業(yè)務(wù)蓬勃發(fā)展3.4.1.GPU在AI應(yīng)用領(lǐng)域的硬件占比逐漸增加隨著AI的不斷普及，GPU在云計(jì)算、工業(yè)、金融及醫(yī)療領(lǐng)域的硬件結(jié)構(gòu)的占比會(huì)越來越多。在云計(jì)算剛剛興起的時(shí)候，人們沿用計(jì)算時(shí)期的慣性，首先選擇CPU來進(jìn)行底層的搭建。隨著AI等并行計(jì)算越來越流行，人們發(fā)現(xiàn)在AI等特定領(lǐng)域中CPU的效率遠(yuǎn)不如GPU，因此隨著AI的不斷發(fā)展，以GPU架構(gòu)為主的硬件系統(tǒng)占比會(huì)不斷增加。據(jù)Yole預(yù)測，AI計(jì)算領(lǐng)域的硬件營收中，GPU的占比會(huì)從2019年的12%上升到2025年的16%；而作為GPU的主要供應(yīng)商，英偉達(dá)將會(huì)從這個(gè)趨勢中受益。目前，英偉達(dá)的硬件系統(tǒng)已經(jīng)廣泛使用在金融防詐騙系統(tǒng)、石油開采預(yù)測系統(tǒng)、醫(yī)療影像識(shí)別以及云計(jì)算領(lǐng)域中。3.4.2.全球云服務(wù)提供商采用英偉達(dá)的硬件系統(tǒng)為其用戶賦能全球頂級(jí)云服務(wù)商采用英偉達(dá)硬件系統(tǒng)為其用戶賦能。鑒于英偉達(dá)GPU在并行計(jì)算中的良好表現(xiàn)，亞馬遜

AWS、微軟Azure、谷歌、甲骨文都紛紛采用英偉達(dá)的GPU進(jìn)行硬件架構(gòu)的搭建。英偉達(dá)的數(shù)據(jù)中心收入也快速增加，目前其營收已經(jīng)可以與游戲顯卡業(yè)務(wù)比肩，F(xiàn)Y2021Q2營收還一度超過游戲業(yè)務(wù)，成為英偉達(dá)所有業(yè)務(wù)板塊中收入最高的項(xiàng)目，可見數(shù)據(jù)中心業(yè)務(wù)的發(fā)展勢頭。英偉達(dá)積極開拓中國市場，推動(dòng)中國云服務(wù)業(yè)務(wù)發(fā)展。除美國客戶外，英偉達(dá)還積極拓展中國的客戶。在GTCChina2020大會(huì)上，英偉達(dá)宣布阿里云、百度智能云、滴滴云、騰訊云的大型數(shù)據(jù)中心正在遷移至基于英偉達(dá)安培架構(gòu)的平臺(tái)，以充分利用A100在圖像識(shí)別、語音識(shí)別以及包括計(jì)算流體動(dòng)力學(xué)、計(jì)算金融學(xué)、分子動(dòng)力學(xué)在內(nèi)的推理和訓(xùn)練方面提供的速度與可擴(kuò)展性。A100不僅可以滿足全球云服務(wù)提供商用戶對(duì)性能的要求，而且還可以為全球用戶提供強(qiáng)大的可靠性支持。中國云服務(wù)提供商正在采用A100來滿足各行各業(yè)的多樣化需求：阿里云已經(jīng)發(fā)布了基于NVIDIAA100打造的gn7GPU系列云服務(wù)器，該產(chǎn)品主要面向AI訓(xùn)練和高性能計(jì)算應(yīng)用，可提供新一代GPU計(jì)算實(shí)例。云服務(wù)器中的8塊NVIDIAA100GPU可通過NVIDIANVLinkTM和NVSwitchTM技術(shù)實(shí)現(xiàn)先進(jìn)的多GPU通信。這些NVIDIA技術(shù)可支持阿里巴巴

gn7云服務(wù)器相比上一代平臺(tái)實(shí)現(xiàn)最高20倍的AI性能，以及2.5倍的高性能計(jì)算速度。百度智能云即將推出基于NVIDIAA100打造的lgn3GPU系列云服務(wù)器、vGPU云服務(wù)器以及百度太行裸金屬服務(wù)器產(chǎn)品，該系列產(chǎn)品最高將搭載8塊NVIDIAA100GPU，8TNVMeSSD磁盤以及百G帶寬，主要面向AI訓(xùn)練/推理、高性能計(jì)算應(yīng)用、科學(xué)計(jì)算等場景。基于A100TF32新技術(shù)，百度新一代GPU云服務(wù)器提供20倍于V100FP32云服務(wù)器的計(jì)算能力。滴滴云A100裸金屬服務(wù)器配置了8塊NVIDIAA100GPU、2顆AMDEPYC7302CPU處理器、1024GB內(nèi)存、2個(gè)240GBSATASSD，以及2個(gè)2TNVMESSD磁盤，適用于AI、數(shù)據(jù)分析、高性能計(jì)算等多種應(yīng)用場景。騰訊云已推出首款搭載NVIDIAA100的GPU云服務(wù)器GT4，其搭配AMDROMECPU平臺(tái)，支持PCIe4.0技術(shù)以及最高180核的vGPU配置。適用于深度學(xué)習(xí)訓(xùn)練、推理、高性能計(jì)算、數(shù)據(jù)分析、視頻分析等領(lǐng)域，可提供更高性能的計(jì)算資源，從而進(jìn)一步降低使用成本，幫助企業(yè)、高校及研究人員聚焦模型的優(yōu)化與創(chuàng)新。中國OEM廠商致力于滿足全球?qū)Υ钶dA100的NVIDIA認(rèn)證系統(tǒng)不斷增長的需求，包括新華三、浪潮、聯(lián)想、寧暢等在內(nèi)的中國領(lǐng)先系統(tǒng)制造商也在以前所未有的速度將NVIDIAA100GPU引入到它們的產(chǎn)品中，并推出了多款針對(duì)不同應(yīng)用場景的系列產(chǎn)品，為超大型數(shù)據(jù)中心提供基于NVIDIA安培架構(gòu)的加速系統(tǒng)，進(jìn)而為用戶提供兼具超強(qiáng)性能與靈活性的AI計(jì)算平臺(tái)。4.未來業(yè)務(wù)：布局自動(dòng)駕駛平臺(tái)化芯片，搶占智能汽車市場份額4.1.自動(dòng)駕駛介紹自動(dòng)駕駛主要指自動(dòng)駕駛汽車，也即無人車（driverlesscar），是一種無須人工干預(yù)而能夠完成出行需求的車輛。它利用了包括雷達(dá)、超聲波、GPS、計(jì)算機(jī)視覺等多種技術(shù)來感知其周邊環(huán)境，通過先進(jìn)的計(jì)算和控制系統(tǒng)，來識(shí)別障礙物和各種標(biāo)識(shí)牌，規(guī)劃合適的路徑來控制車輛行駛。4.1.1.自動(dòng)駕駛歷史科技巨頭、獨(dú)角獸公司以及整車廠紛紛開展自動(dòng)駕駛研究，自動(dòng)駕駛迎來快速發(fā)展的時(shí)期。自動(dòng)駕駛的研究歷史非常悠久，早在1977年時(shí)日本就有基于攝像頭的自動(dòng)駕駛汽車問世。但限于軟硬件能力及成本的束縛，自動(dòng)駕駛的發(fā)展較為緩慢。直到2004年美國國防部推出的DARPA項(xiàng)目，很大程度上推動(dòng)了自動(dòng)駕駛的復(fù)興。現(xiàn)代意義上的自動(dòng)駕駛技術(shù)在DARPA挑戰(zhàn)賽上已經(jīng)成型，參賽車輛上已經(jīng)配備了激光雷達(dá)、攝像頭以及分析決策系統(tǒng)。2005年的DARPA挑戰(zhàn)賽中，有五支隊(duì)伍的參賽車輛已經(jīng)可以完成限定場景的無人駕駛。目前的自動(dòng)駕駛技術(shù)都是在這個(gè)基礎(chǔ)上進(jìn)行的不斷升級(jí)，主要在成本優(yōu)化和車規(guī)級(jí)適配性等實(shí)用性方面進(jìn)行完善，不僅有各種科技巨頭領(lǐng)導(dǎo)相關(guān)研究，科技獨(dú)角獸公司以及整車廠也都紛紛加入這個(gè)領(lǐng)域，自動(dòng)駕駛?cè)嫔虡I(yè)化的時(shí)代就要到來。4.1.2.自動(dòng)駕駛等級(jí)分類及技術(shù)路線目前有兩種自動(dòng)駕駛研發(fā)思路。一種是可稱之為自上而下的不考慮成本的研究L4+級(jí)完全自動(dòng)駕駛，代表企業(yè)有谷歌的Waymo、通用的Cruise、百度的Apollo等，目前其實(shí)現(xiàn)自動(dòng)駕駛的系統(tǒng)成本在數(shù)十萬到百萬元人民幣以上；另一種主要是車企，他們要考慮成本因素，所以一般是自下而上的，由低級(jí)別的自動(dòng)駕駛開始逐漸提升水平，目前商業(yè)化的汽車基本上可以達(dá)到L2級(jí)的水平，代表企業(yè)有特斯拉、奧迪、蔚來、小鵬等。值得一提的是，本文所提到的分類級(jí)別是從法律意義上已經(jīng)實(shí)現(xiàn)的級(jí)別而不是能力上的分類級(jí)別，也即如果是L3級(jí)以上的話，自動(dòng)駕駛公司將為車輛的事故負(fù)責(zé)。因此本文所謂的L3及以上級(jí)別主要是由Robotaxi組成的。4.2.自動(dòng)駕駛細(xì)分領(lǐng)域的市場規(guī)模汽車市場正在經(jīng)歷快速的變革期，電動(dòng)化是汽車升級(jí)的上半場，智能化是汽車升級(jí)的下半場。智能化將會(huì)迎來快速發(fā)展期，主要源于以下幾個(gè)方面：半導(dǎo)體技術(shù)的提升與成本的下降：隨著半導(dǎo)體制造商向汽車領(lǐng)域逐漸發(fā)展，規(guī)模化生產(chǎn)有利于成本的降低，從而推動(dòng)銷量擴(kuò)大形成正反饋，汽車半導(dǎo)體有望復(fù)制手機(jī)半導(dǎo)體領(lǐng)域的發(fā)展規(guī)模和速度；電動(dòng)化的不斷普及加速了智能化：電動(dòng)車的電機(jī)電控特性，相較于燃油車更有助于智能化的控制系統(tǒng)發(fā)展；對(duì)安全性便捷性和高效出行的要求：為了提升車輛差異化的競爭力，汽車廠商將繼續(xù)增加在駕駛輔助系統(tǒng)ADAS方面的投入，提升自動(dòng)避險(xiǎn)剎車、自動(dòng)泊車、道路領(lǐng)航等能力，以提升車輛的安全性與便捷性；隨著自動(dòng)駕駛能力的不斷提高，自動(dòng)駕駛將有效緩解交通擁堵，大大提高出行的效率。我們預(yù)計(jì)，擁有智能化功能的車輛將從2020年的2773萬輛增長到2025年的6332萬輛。據(jù)IDC報(bào)告，2020年售出的汽車中，擁有自動(dòng)駕駛（輔助）功能的汽車數(shù)量（包含L1~5級(jí)）為2773.2萬輛，其中L1為1874萬輛，L2為896萬輛，L3+為3.2萬輛。我們根據(jù)市場智能化趨勢以及前幾年的增速為基礎(chǔ)進(jìn)行測算，到2025年，擁有自動(dòng)駕駛（輔助）功能的汽車數(shù)量（包含L1~5級(jí)）為6332萬輛，其中L1為3900萬輛，L2為2320萬輛，L3+為112萬輛；2020~2025的CAGR為17.8%。到2025年時(shí)，與單車自動(dòng)駕駛相關(guān)的革新性部件，其市場總額可達(dá)781億美元，2020~2025CAGR可達(dá)35.8%。巨大的市場增量使得相關(guān)公司都希望能夠乘著智能化升級(jí)的東風(fēng)擴(kuò)大公司業(yè)務(wù)，占領(lǐng)市場空間。我們將與自動(dòng)駕駛有關(guān)的市場進(jìn)行拆分，主要有八個(gè)模塊，其中與人工智能息息相關(guān)的決策軟件、AI芯片以及傳感器（攝像頭、激光雷達(dá)、高精地圖、毫米波雷達(dá)）的發(fā)展空間更大。4.3.積極入局汽車芯片領(lǐng)域，成為平臺(tái)化芯片的領(lǐng)導(dǎo)者4.3.1.從移動(dòng)業(yè)務(wù)起家，逐漸擴(kuò)大應(yīng)用市場在智能手機(jī)興起的2008年時(shí)，英偉達(dá)試圖進(jìn)入移動(dòng)芯片市場。為此，公司開發(fā)了Tegra系列芯片，