亚洲后入式疯狂黑人,波多野结字衣中文字幕,中文字幕亚洲欧美日韩在线不卡,国产精品第110,国产亚洲精品久久一区二区三区

用微信掃描二維碼

分享至好友和朋友圈

橫空出世——H200!英偉達終于加內(nèi)存了!

現(xiàn)在囤貨沒有性價比,下一代B100 GPU更香?

人工智能浪潮席卷全球,AI服務(wù)器需求井噴,同時也帶火了擁有超高帶寬的HBM芯片。

周二,英偉達官網(wǎng)官宣史上最強的AI芯片H200,其基于Hopper架構(gòu),配備英偉達H200 Tensor Core GPU,可以為生成式AI和高性能計算工作負載處理海量數(shù)據(jù)。

其中值得一提的是,H200是全球首款配備HBM3e內(nèi)存的GPU,擁有高達141GB的顯存。據(jù)SK海力士介紹,HBM3e芯片擁有更快的速度,容量也更大,在速度、發(fā)熱控制和客戶使用便利性等所有方面都達到了全球最高水平。

一直以來,由于高成本等制約因素,企業(yè)往往選擇提高處理器的計算能力性能,而忽略了內(nèi)存帶寬性能。隨著AI服務(wù)器對高性能內(nèi)存帶寬提出更高要求,HBM(高帶寬內(nèi)存)成了“香餑餑”。

 

H200最大升級:HBM3e

相比于前一代H100,H200在哪些方面進行了升級?

H100相比,H200 的性能提升主要體現(xiàn)在推理性能表現(xiàn)上。在處理 Llama 2 等大語言模型時,H200 的推理速度比 H100 提高了接近 2 倍。

相同的功率范圍之內(nèi)實現(xiàn) 2 倍的性能提升,意味著實際能耗和總體成本降低了50%。

得益于 Tansformer 引擎、浮點運算精度的下降以及更快的 HBM3內(nèi)存 ,H100 在 GPT-3 175B 模型的推理性能方面已經(jīng)較 A100 提升至 11 倍。而憑借更大、更快的 HBM3e 內(nèi)存,無需任何硬件或代碼變更的 H200 則直接把性能提高至 18 倍。

從 H100 到 H200,性能提高了 1.64 倍,這一切都歸功于內(nèi)存容量和帶寬的增長。

H100 具有 80 GB 和 96 GB 的 HBM3 內(nèi)存,在初始設(shè)備中分別提供 3.35 TB/秒和 3.9 TB/秒的帶寬,而 H200 具有 141 GB 更快的 HBM3e 內(nèi)存,帶寬為 4.8總帶寬 TB/秒。

其他方面,據(jù)媒體分析,H200 迄今為止僅適用于 SXM5 插槽,并且在矢量和矩陣數(shù)學(xué)方面具有與 Hopper H100 加速器完全相同的峰值性能統(tǒng)計數(shù)據(jù)。

什么是HBM?

出于一系列技術(shù)和經(jīng)濟因素的考量,存儲性能的提升速度往往跟不上處理器,過去20年硬件的峰值計算能力增加了90000倍,但是內(nèi)存/硬件互連帶寬卻只是提高了30倍。

而當存儲的性能跟不上處理器,讀寫指令和數(shù)據(jù)的時間將是處理器運算所消耗時間的幾十倍乃至幾百倍。想象一下,數(shù)據(jù)傳輸就像處在一個巨大的漏斗之中,不管處理器灌進去多少,存儲器都只能“細水長流”。

為了減少能耗和延遲,將很多個普通DDR芯片堆疊在一起后和GPU封裝在一起,就得到了所謂的HBM(高帶寬內(nèi)存)。HBM通過增加帶寬,擴展內(nèi)存容量,讓更大的模型,更多的參數(shù)留在離核心計算更近的地方,從而減少內(nèi)存和存儲解決方案帶來的延遲。

不過,這也意味著更高的成本,在沒有考慮封測成本的情況下,HBM的成本是GDDR的三倍左右。HBM發(fā)展制約因素正是高成本,一些高級計算引擎上的HBM內(nèi)存成本往往比芯片本身還要高,因此添加更多內(nèi)存自然面臨很大的阻力。

媒體進一步分析指出,如果添加內(nèi)存就能讓性能翻倍,那同樣的 HPC 或 AI 應(yīng)用性能將只需要一半的設(shè)備即可達成,這樣的主意顯然沒法在董事會那邊得到支持。這種主動壓縮利潤的思路,恐怕只能在市場供過于求,三、四家廠商爭奪客戶預(yù)算的時候才會發(fā)生。

接下來到了拼內(nèi)存突破的階段?

然而,隨著AI的爆火,對帶寬的要求更高,HBM需求激增。市場規(guī)模上,有分析預(yù)計預(yù)計2023年全球HBM需求量將增近六成,達到2.9億GB,2024年將再增長30%,2025年HBM整體市場有望達到20億美元以上。SK海力士已表示,2024年的HBM3訂單已經(jīng)排滿,而同樣的情況現(xiàn)在也出現(xiàn)在三星身上。

同時分析指出,無論英偉達接下來的 Blackwell B100 GPU 加速器具體表現(xiàn)如何,都基本可以斷定會帶來更強大的推理性能,而且這種性能提升很可能來自內(nèi)存方面的突破、而非計算層面的升級。因此,從現(xiàn)在到明年夏季之間砸錢購買英偉達 Hopper G200沒有什么性價比可言,但快速發(fā)展也是數(shù)據(jù)中心硬件技術(shù)的常態(tài)。

此外,英偉達的競爭對手——AMD也將在12月6日推出面向數(shù)據(jù)中心的“Antares”GPU加速器家族,包括帶有192 GB HBM3內(nèi)存的Instinct MI300X和帶有128 GB HBM3內(nèi)存的CPU-GPU混合MI300A。

算力帶動 HBM 需求井噴,HBM 持續(xù)迭代升級。

與 DDR 對比,HBM 基于 TSV 工藝與處理器封裝于同一中介層,在帶寬、面積、功耗等多方面更具優(yōu)勢,緩解了數(shù)據(jù)中心能耗壓力及帶寬瓶頸。訓(xùn)練、推理環(huán)節(jié)存力需求持續(xù)增長、消費端及邊緣側(cè)算力增長打開 HBM 市場空間。2022 年全球 HBM 市場規(guī)模約為36.3 億美元,預(yù)計至 2026 年市場規(guī)模將達 127.4 億美元,CAGR 達 37%。HBM 持續(xù)迭代升級,2023 年主流 HBM 從 HBM2E 升級為 HBM3 甚至 HBM3E,HBM3比重預(yù)估約為 39%,2024 年提升至 60%。當前 HBM 市場仍由三大家主導(dǎo),2022 年全年 SK 海力士占 50%,三星占 40%,美光占 10%。

 

SK 海力士技術(shù)領(lǐng)先,三星/美光加速追趕。

1)SK 海力士:

技術(shù)領(lǐng)先,核心在于 MR-MUF 技術(shù),MR-MUF 能有效提高導(dǎo)熱率,并改善工藝速度和良率。SK海力士于 2021 年 10 月率先發(fā)布 HBM3,2023 年 4 月公司實現(xiàn)了全球首創(chuàng) 12層硅通孔技術(shù)垂直堆疊芯片,容量達到 24GB,比上一代 HBM3 高出 50%,SK海力士計劃在 2023 年年底前提供 HBM3E 樣品,并于 2024 年量產(chǎn),公司目標 2026 年生產(chǎn) HBM4;

2)三星:

萬億韓元新建封裝線,預(yù)計 25 年量產(chǎn) HBM4。 為應(yīng)對 HBM 市場的需求,三星電子已從三星顯示(Samsung Display)購買天安廠區(qū)內(nèi)部分建筑物和設(shè)備,用于建設(shè)新HBM封裝線,總投資額達到7000-10000 億韓元。三星預(yù)計將在 2023Q4 開始向北美客戶供應(yīng) HBM3;

3)美光:

2024 年量產(chǎn) HBM3E,多代產(chǎn)品研發(fā)中。美光在此前的財報會議上表示將在 2024 年通過 HBM3E 實現(xiàn)追趕,預(yù)計其 HBM3E 將于 2024Q3 或者 Q4 開始為英偉達的下一代 GPU 供應(yīng)。11 月 6 日美光在臺灣臺中四廠正式開工,宣布將集成先進的探測和封裝測試功能,生產(chǎn) HBM3E 等產(chǎn)品。

 

國內(nèi)產(chǎn)業(yè)鏈有望在各品類半導(dǎo)體設(shè)備、材料受益。

1)固晶機:新益昌;

2)測試機、分選機等:長川科技;

3)特種氣體:華特氣體;

4)電子大宗氣體:金宏氣體、廣鋼氣體;

5)前驅(qū)體:雅克科技;

6)電鍍液:天承科技;

7)環(huán)氧塑封料:華海誠科。

------------------------------------------------------------------

*免責(zé)聲明:文章內(nèi)容僅供參考,不構(gòu)成投資建議

*風(fēng)險提示:股市有風(fēng)險,入市需謹慎

更多精彩內(nèi)容,關(guān)注云掌財經(jīng)公眾號(ID:yzcjapp)

以上內(nèi)容由投資顧問劉***(執(zhí)業(yè)編號:A079******)提供,以上建議僅供參考,據(jù)此操作,盈虧自擔(dān)!股市有風(fēng)險,投資需謹慎!珞珈投資ZX0077 售后投訴電話:0755-61957028 0755-25880000 點擊查看風(fēng)險提示及免責(zé)聲明
熱股榜
代碼/名稱 現(xiàn)價 漲跌幅
加載中...
加載中 ...
加載中...

二維碼已過期

點擊刷新

掃碼成功

請在手機上確認登錄

云掌財經(jīng)

使用云掌財經(jīng)APP掃碼登錄

在“我的”界面右上角點擊掃一掃登錄

  • 驗證碼登錄
  • 密碼登錄

注冊/登錄 即代表同意《云掌財經(jīng)網(wǎng)站服務(wù)使用協(xié)議》

找回密碼

密碼修改成功!請登錄(3s)

用戶反饋

0/200

云掌財經(jīng)APP下載

此為會員內(nèi)容,加入后方可查看,請下載云掌財經(jīng)APP進行加入

此為會員內(nèi)容,請下載云掌財經(jīng)APP加入圈子

云掌財經(jīng)
掃碼下載

更多功能與福利盡在APP端:

  • 精選會員內(nèi)容實時推送
  • 視頻直播在線答疑解惑
  • 達人一對一互動交流
關(guān)閉
/