現(xiàn)在囤貨沒(méi)有性?xún)r(jià)比，下一代B100 GPU更香？

人工智能浪潮席卷全球，AI服務(wù)器需求井噴，同時(shí)也帶火了擁有超高帶寬的HBM芯片。

周二，英偉達(dá)官網(wǎng)官宣史上最強(qiáng)的AI芯片H200，其基于Hopper架構(gòu)，配備英偉達(dá)H200 Tensor Core GPU，可以為生成式AI和高性能計(jì)算工作負(fù)載處理海量數(shù)據(jù)。

其中值得一提的是，H200是全球首款配備HBM3e內(nèi)存的GPU，擁有高達(dá)141GB的顯存。據(jù)SK海力士介紹，HBM3e芯片擁有更快的速度，容量也更大，在速度、發(fā)熱控制和客戶(hù)使用便利性等所有方面都達(dá)到了全球最高水平。

一直以來(lái)，由于高成本等制約因素，企業(yè)往往選擇提高處理器的計(jì)算能力性能，而忽略了內(nèi)存帶寬性能。隨著AI服務(wù)器對(duì)高性能內(nèi)存帶寬提出更高要求，HBM（高帶寬內(nèi)存）成了“香餑餑”。

H200最大升級(jí)：HBM3e

相比于前一代H100，H200在哪些方面進(jìn)行了升級(jí)？

H100相比，H200 的性能提升主要體現(xiàn)在推理性能表現(xiàn)上。在處理 Llama 2 等大語(yǔ)言模型時(shí)，H200 的推理速度比 H100 提高了接近 2 倍。

相同的功率范圍之內(nèi)實(shí)現(xiàn) 2 倍的性能提升，意味著實(shí)際能耗和總體成本降低了50%。

得益于 Tansformer 引擎、浮點(diǎn)運(yùn)算精度的下降以及更快的 HBM3內(nèi)存 ，H100 在 GPT-3 175B 模型的推理性能方面已經(jīng)較 A100 提升至 11 倍。而憑借更大、更快的 HBM3e 內(nèi)存，無(wú)需任何硬件或代碼變更的 H200 則直接把性能提高至 18 倍。

從 H100 到 H200，性能提高了 1.64 倍，這一切都?xì)w功于內(nèi)存容量和帶寬的增長(zhǎng)。

H100 具有 80 GB 和 96 GB 的 HBM3 內(nèi)存，在初始設(shè)備中分別提供 3.35 TB/秒和 3.9 TB/秒的帶寬，而 H200 具有 141 GB 更快的 HBM3e 內(nèi)存，帶寬為 4.8總帶寬 TB/秒。

其他方面，據(jù)媒體分析，H200 迄今為止僅適用于 SXM5 插槽，并且在矢量和矩陣數(shù)學(xué)方面具有與 Hopper H100 加速器完全相同的峰值性能統(tǒng)計(jì)數(shù)據(jù)。

什么是HBM？

出于一系列技術(shù)和經(jīng)濟(jì)因素的考量，存儲(chǔ)性能的提升速度往往跟不上處理器，過(guò)去20年硬件的峰值計(jì)算能力增加了90000倍，但是內(nèi)存/硬件互連帶寬卻只是提高了30倍。

而當(dāng)存儲(chǔ)的性能跟不上處理器，讀寫(xiě)指令和數(shù)據(jù)的時(shí)間將是處理器運(yùn)算所消耗時(shí)間的幾十倍乃至幾百倍。想象一下，數(shù)據(jù)傳輸就像處在一個(gè)巨大的漏斗之中，不管處理器灌進(jìn)去多少，存儲(chǔ)器都只能“細(xì)水長(zhǎng)流”。

為了減少能耗和延遲，將很多個(gè)普通DDR芯片堆疊在一起后和GPU封裝在一起，就得到了所謂的HBM（高帶寬內(nèi)存）。HBM通過(guò)增加帶寬，擴(kuò)展內(nèi)存容量，讓更大的模型，更多的參數(shù)留在離核心計(jì)算更近的地方，從而減少內(nèi)存和存儲(chǔ)解決方案帶來(lái)的延遲。

不過(guò)，這也意味著更高的成本，在沒(méi)有考慮封測(cè)成本的情況下，HBM的成本是GDDR的三倍左右。HBM發(fā)展制約因素正是高成本，一些高級(jí)計(jì)算引擎上的HBM內(nèi)存成本往往比芯片本身還要高，因此添加更多內(nèi)存自然面臨很大的阻力。

媒體進(jìn)一步分析指出，如果添加內(nèi)存就能讓性能翻倍，那同樣的 HPC 或 AI 應(yīng)用性能將只需要一半的設(shè)備即可達(dá)成，這樣的主意顯然沒(méi)法在董事會(huì)那邊得到支持。這種主動(dòng)壓縮利潤(rùn)的思路，恐怕只能在市場(chǎng)供過(guò)于求，三、四家廠(chǎng)商爭(zhēng)奪客戶(hù)預(yù)算的時(shí)候才會(huì)發(fā)生。

接下來(lái)到了拼內(nèi)存突破的階段？

然而，隨著AI的爆火，對(duì)帶寬的要求更高，HBM需求激增。市場(chǎng)規(guī)模上，有分析預(yù)計(jì)預(yù)計(jì)2023年全球HBM需求量將增近六成，達(dá)到2.9億GB，2024年將再增長(zhǎng)30%，2025年HBM整體市場(chǎng)有望達(dá)到20億美元以上。SK海力士已表示，2024年的HBM3訂單已經(jīng)排滿(mǎn)，而同樣的情況現(xiàn)在也出現(xiàn)在三星身上。

同時(shí)分析指出，無(wú)論英偉達(dá)接下來(lái)的 Blackwell B100 GPU 加速器具體表現(xiàn)如何，都基本可以斷定會(huì)帶來(lái)更強(qiáng)大的推理性能，而且這種性能提升很可能來(lái)自?xún)?nèi)存方面的突破、而非計(jì)算層面的升級(jí)。因此，從現(xiàn)在到明年夏季之間砸錢(qián)購(gòu)買(mǎi)英偉達(dá) Hopper G200沒(méi)有什么性?xún)r(jià)比可言，但快速發(fā)展也是數(shù)據(jù)中心硬件技術(shù)的常態(tài)。

此外，英偉達(dá)的競(jìng)爭(zhēng)對(duì)手——AMD也將在12月6日推出面向數(shù)據(jù)中心的“Antares”GPU加速器家族，包括帶有192 GB HBM3內(nèi)存的Instinct MI300X和帶有128 GB HBM3內(nèi)存的CPU-GPU混合MI300A。

算力帶動(dòng) HBM 需求井噴，HBM 持續(xù)迭代升級(jí)。

與 DDR 對(duì)比，HBM 基于 TSV 工藝與處理器封裝于同一中介層，在帶寬、面積、功耗等多方面更具優(yōu)勢(shì)，緩解了數(shù)據(jù)中心能耗壓力及帶寬瓶頸。訓(xùn)練、推理環(huán)節(jié)存力需求持續(xù)增長(zhǎng)、消費(fèi)端及邊緣側(cè)算力增長(zhǎng)打開(kāi) HBM 市場(chǎng)空間。2022 年全球 HBM 市場(chǎng)規(guī)模約為36.3 億美元，預(yù)計(jì)至 2026 年市場(chǎng)規(guī)模將達(dá) 127.4 億美元，CAGR 達(dá) 37%。HBM 持續(xù)迭代升級(jí)，2023 年主流 HBM 從 HBM2E 升級(jí)為 HBM3 甚至 HBM3E，HBM3比重預(yù)估約為 39%，2024 年提升至 60%。當(dāng)前 HBM 市場(chǎng)仍由三大家主導(dǎo)，2022 年全年 SK 海力士占 50%，三星占 40%，美光占 10%。

SK 海力士技術(shù)領(lǐng)先，三星/美光加速追趕。

1）SK 海力士：

技術(shù)領(lǐng)先，核心在于 MR-MUF 技術(shù)，MR-MUF 能有效提高導(dǎo)熱率，并改善工藝速度和良率。SK海力士于 2021 年 10 月率先發(fā)布 HBM3，2023 年 4 月公司實(shí)現(xiàn)了全球首創(chuàng) 12層硅通孔技術(shù)垂直堆疊芯片，容量達(dá)到 24GB，比上一代 HBM3 高出 50%，SK海力士計(jì)劃在 2023 年年底前提供 HBM3E 樣品，并于 2024 年量產(chǎn)，公司目標(biāo) 2026 年生產(chǎn) HBM4；

2）三星：

萬(wàn)億韓元新建封裝線(xiàn)，預(yù)計(jì) 25 年量產(chǎn) HBM4。 為應(yīng)對(duì) HBM 市場(chǎng)的需求，三星電子已從三星顯示（Samsung Display）購(gòu)買(mǎi)天安廠(chǎng)區(qū)內(nèi)部分建筑物和設(shè)備，用于建設(shè)新HBM封裝線(xiàn)，總投資額達(dá)到7000-10000 億韓元。三星預(yù)計(jì)將在 2023Q4 開(kāi)始向北美客戶(hù)供應(yīng) HBM3；

3）美光：

2024 年量產(chǎn) HBM3E，多代產(chǎn)品研發(fā)中。美光在此前的財(cái)報(bào)會(huì)議上表示將在 2024 年通過(guò) HBM3E 實(shí)現(xiàn)追趕，預(yù)計(jì)其 HBM3E 將于 2024Q3 或者 Q4 開(kāi)始為英偉達(dá)的下一代 GPU 供應(yīng)。11 月 6 日美光在臺(tái)灣臺(tái)中四廠(chǎng)正式開(kāi)工，宣布將集成先進(jìn)的探測(cè)和封裝測(cè)試功能，生產(chǎn) HBM3E 等產(chǎn)品。

國(guó)內(nèi)產(chǎn)業(yè)鏈有望在各品類(lèi)半導(dǎo)體設(shè)備、材料受益。

1）固晶機(jī)：新益昌；

2）測(cè)試機(jī)、分選機(jī)等：長(zhǎng)川科技；

3）特種氣體：華特氣體；

4）電子大宗氣體：金宏氣體、廣鋼氣體；

5）前驅(qū)體：雅克科技；

6）電鍍液：天承科技；

7）環(huán)氧塑封料：華海誠(chéng)科。

------------------------------------------------------------------

*免責(zé)聲明：文章內(nèi)容僅供參考，不構(gòu)成投資建議

*風(fēng)險(xiǎn)提示：股市有風(fēng)險(xiǎn)，入市需謹(jǐn)慎