HBM 是什麼？AI 的記憶體
HBM 把多層 DRAM 用 TSV 疊起來、經 CoWoS 以上千條線接到 GPU，本文整理頻寬演進、製程與三種鍵合、HBM4 與客製 base die，以及散熱瓶頸。
【HBM 是什麼？ AI 的記憶體】
AI 算得多快，常常卡在記憶體餵得多快。HBM 就是專門解這個瓶頸的記憶體
1. 把 DRAM 疊成大樓
8–12 層 DRAM 用 TSV 矽穿孔上下打通，最底下一顆 base die，透過 CoWoS 貼在 GPU 旁邊。
圖中文字
HBM：把 DRAM 疊成大樓
8–12 層記憶體晶片垂直疊起來，用上千條直通電梯連到 GPU 旁
左：GPU 旁的 HBM；右：一疊 HBM 剖開（示意）
- DRAM 晶粒 ×8：16 層版要磨到 40μm 以下
- TSV 矽穿孔：銅柱直接穿過晶片，上下層對接
- 微凸塊＋填充：層間焊點，接法一代代換
- base die 底層邏輯：管進出；HBM4 起改用邏輯製程
結構依 SK hynix／Samsung 公開資料、ECTC 2026 重繪；層數與厚度為示意
先講結論：
- HBM 是「寬」不是「快」：一疊 1,024 條線同時傳（HBM4 加到 2,048 條），靠線多換頻寬
- 要靠 CoWoS 才接得上：這麼多線只有矽中介層拉得出來，所以 HBM 和 CoWoS 一起缺貨
- 越疊越高，難在鍵合與散熱：層數越多越薄越密，接法從 NCF、MR-MUF 走向混合鍵合
2. 頻寬靠「線多」不是「線快」
頻寬＝線數×每條速度÷8。GDDR 一顆 32 條線約 0.12 TB/s；HBM3E 一疊 1,024 條線約 1.2 TB/s，差 10 倍。
圖中文字
頻寬怎麼算：線多 vs. 線快
HBM 每條線不快，靠一次開上千條線取勝
同樣接到 GPU：GDDR 走主機板，HBM 走中介層（示意）
| 類型 | 線數 × 速度 | 頻寬 | 說明 |
|---|---|---|---|
| GDDR（遊戲顯卡） | 32 條線 × 約 30 Gb/s | ≈ 0.12 TB/s／顆 | 線少、每條跑很快，耗電也高；距離幾公分 |
| HBM（AI 加速器） | 1,024 條線 × 約 9.6 Gb/s | ≈ 1.2 TB/s／疊 | HBM3E 一疊就是 GDDR 一顆的 10 倍；距離幾 mm |
HBM3E 為 JEDEC 公開規格；GDDR 以 GDDR7 約 28–32 Gb/s 估；線路走法為示意
三件事：
- 公式：線數 × 每條速度 ÷ 8：Gb/s 是位元，÷8 換成位元組；1,024 × 9.6 ÷ 8 ≈ 1,229 GB/s ≈ 1.2 TB/s
- 上千條線只有矽中介層拉得出來：主機板線太粗，所以 HBM 一定要和 GPU 一起封在 CoWoS 裡、貼著放
- 記憶體牆：GPU 常在等資料：HBM 容量 A100 40GB → Rubin 288GB，7.2 倍（MS 2026-06-02）
HBM 的「高頻寬」來自線多，不是線快；代價是一定要靠先進封裝才接得上
3. 頻寬一路翻倍
單疊從 HBM2 的 0.26 TB/s 到 HBM4E 的 3.6–4.1 TB/s；一顆 GPU 從 H100 的 3.35 TB/s 到 Rubin 目標 22 TB/s。
圖中文字
頻寬一路翻倍：每一疊、每一顆
單疊 HBM 十年快 15 倍，GPU 再靠多疊放大
每一疊 HBM 的頻寬（TB/s）：
| 世代 | 頻寬（TB/s） |
|---|---|
| HBM2 | 0.26 |
| HBM2E | 0.46 |
| HBM3 | 0.82 |
| HBM3E | 1.2 |
| HBM4 | 2.0–3.3 |
| HBM4E | 3.6–4.1 |
| 下一代 | 5.3–7.2 |
一顆 GPU 的 HBM 總頻寬（TB/s）：
| GPU | 時間 | 頻寬（TB/s） |
|---|---|---|
| A100 | 2020 | 2 |
| H100 | 2022 | 3.35 |
| H200 | 2024 | 4.8 |
| B200 | 2025 | 8 |
| Rubin | 2H26 | 22（目標） |
HBM2–3E：JEDEC；HBM4 起：Marvell、創意 OCP 2026 引用區間；GPU：NVIDIA 官方、BofA 2026-07
怎麼看這兩張：
- HBM4 是線數翻倍的那一代：從 1,024 條變 2,048 條，頻寬一次跳上去；淺色段是各家速度不同的區間
- GPU 進步比單疊快：H100 到 Rubin 約 6.5 倍：單疊變快之外，每顆 GPU 也一直加疊數（B200 是 8 疊）
- 規格是目標，出貨可能打折：SemiAnalysis：Rubin 目標 22 TB/s，初期部分供應商約 20 TB/s
AI 晶片每一代，記憶體頻寬都要跟著翻倍；不然算力再強也是在空轉
4. 製程與鍵合
打孔、磨薄、切開、堆疊、封裝、測試，良率一層層相乘。層間接法從 TC-NCF、MR-MUF 走向混合鍵合。
圖中文字
一疊 HBM 怎麼做出來
六個步驟：打孔、磨薄、切開、疊起來、封起來、測試
HBM 堆疊流程（示意）：
- DRAM 晶圓打 TSV：挖深孔填銅，先不穿透
- 背面磨薄、長凸塊：磨到銅柱露出來，再長微凸塊
- 切成單顆晶粒：挑出好的晶粒才往上疊
- 一層層疊上去：疊在 base die 上逐層鍵合
- 填充、模封、切割：填縫、包膠，再切開
- 整疊測試出貨：測過的整疊（KGSD）交給 CoWoS
流程依 SK hynix、Samsung 公開製程說明整理；厚度、層數為示意
難在哪：
- 良率是一層一層乘上去：任何一層壞掉整疊報廢，所以每片晶圓產出的 HBM bit 遠少於一般 DRAM
- 同樣的 bit，HBM 要吃掉更多晶圓：MS 估約一般 DRAM 的 3 倍，2028 年升到 4.3 倍，所以 HBM 一擴產就排擠一般 DRAM
- base die 在最底層：負責訊號進出與測試；HBM4 起改給晶圓代工做（第 6 頁）
HBM 比一般 DRAM 多了打孔、磨薄、堆疊三道工；越疊越高，良率越難顧
圖中文字
層與層怎麼接：三種鍵合
接點越密、縫越小，才疊得更高
兩層 DRAM 之間的接點放大（示意）：
| 鍵合方式 | 縫 | 說明 |
|---|---|---|
| TC-NCF 熱壓＋薄膜 | 縫約 10–15μm | 貼不導電膜，一層層熱壓；Samsung、Micron 主力 |
| MR-MUF 回焊＋灌膠 | 縫約 13μm | 整疊一次回焊再灌膠填縫；SK hynix 主力 |
| 混合鍵合 Hybrid | 縫＝0 | 銅對銅直接接合、不用凸塊；更高層數的方向 |
依 ECTC 2026（SemiAnalysis 整理）、JPM 2026-09-22 與各廠公開資料；縫寬為業界常見口徑
為什麼一直換：
- 封裝高度有上限，層數一多每層都要更薄：16 層若還用凸塊，縫要壓到 10μm、DRAM 要磨到 40μm 以下
- 混合鍵合還沒那麼快：JPM：16 層最快 2029 年，可見未來熱壓（TCB）仍是主流
- MR-MUF 散熱較好：膠把縫填滿，熱比較好往上傳；這是 SK hynix 在 HBM3／3E 領先的原因之一
鍵合技術決定能疊幾層；也是三大記憶體廠拉開差距的地方
5. HBM4 與客製化
線數翻倍到 2,048 條，中介層更複雜；base die 改用邏輯製程，NVIDIA 的 NVHBM 讓客戶自己設計底層。
圖中文字
HBM4 換了什麼
線數翻倍、中介層變複雜、base die 改給晶圓代工做
每一代的規格需求（右兩張以 HBM2＝1）：
- 介面線數（條）：HBM3 1,024；HBM4 2,048
- 矽中介層層數：HBM2 1；HBM3 2；HBM3E 2.5；HBM4E 5
- 介面功耗：HBM2 1；HBM3 2；HBM3E 3；HBM4E 5.6
中介層層數、介面功耗：Samsung, ECTC 2026（SemiAnalysis 2026-07-02 整理）
base die 改用邏輯製程：三家做法不同
| 廠商 | 做法 |
|---|---|
| SK hynix | 交給台積電 12nm，最早外包 |
| Samsung | 自家晶圓代工 4nm，唯一自己做 |
| Micron | HBM4 沿用 DRAM 製程，HBM4E 起轉台積電 |
原因：線數翻倍後，DRAM 製程做邏輯電路又大又慢（Damnang 2026-07-09）
中介層跟著變難：CoWoS 的負擔加重：Samsung 提 8 層矽中介層方案，比估計需求少 20% 層數
HBM4 起，base die 也開始交給台積電做；記憶體與邏輯的界線開始模糊
圖中文字
客製 HBM：底層換客戶自己設計
標準品 base die 是記憶體廠的；客製版把客戶的電路放進去
左：標準 HBM；右：客製 HBM（示意）
- 標準 HBM：GPU 邊緣要放很大一塊 PHY，專門跟 JEDEC 標準 HBM 對話；HBM 底層標示「記憶體廠設計」
- 客製 HBM：PHY 縮小、空間還給運算，控制器搬進 base die，用自訂介面；HBM 底層標示「客戶設計」
Marvell：GPU 端 PHY 面積 −60%、中介層走線 6.5mm → 1.5mm、一疊 4.1 TB/s
Marvell, ECTC 2026（SemiAnalysis 2026-07-02）；Damnang 2026-07-09；JPM 2026-09-22
誰在做：
- NVIDIA 主導 NVHBM，聯發科合作：JPM：預計 2028 年底發布、2029 年量產，base die 可能用台積電 3nm
- 設計價值從記憶體廠移到客戶手上：記憶體廠仍負責 DRAM 與最終驗證，但 base die 的設計權交出去了
- 製程換了不等於客製：仍是記憶體廠設計、符合 JEDEC 的叫標準 HBM；客戶設計進 base die 才算客製
客製 HBM 讓 GPU 省下面積、記憶體更貼合需求；也讓台積電、IC 設計公司分到 HBM 的一塊
6. 越疊越熱
Samsung：HBM 占封裝熱阻 57%，混合鍵合可降整疊熱阻 19%。
圖中文字
越疊越熱：HBM 成了散熱瓶頸
最後把這篇的重點整理一次
- 封裝內部熱阻占比：ASIC 13%；HBM 57%
| 整疊熱阻（越低越好） | 數值 |
|---|---|
| 熱壓 TCB | 1.00 |
| 混合鍵合 | 0.81 |
| 接點 ×2 | 0.78 |
| 接點 ×4 | 0.71 |
Samsung, ECTC 2026（SemiAnalysis 2026-07-02 整理）；混合鍵合「×2、×4」為接點密度
重點整理：
- 熱卡在 HBM，不在 GPU：Samsung：HBM 占封裝熱阻 57%；16 層還行，20、24 層要新方案；混合鍵合可降整疊熱阻 19%
- HBM＝把 DRAM 疊高、用上千條線接到 GPU：頻寬靠線多：一疊從 0.26 TB/s（HBM2）到 3.6–4.1 TB/s（HBM4E）
- 每一代都在改封裝：鍵合從 NCF、MR-MUF 走向混合鍵合；HBM4 線數翻倍，中介層、base die 一起升級
- 底層正在被客製化：base die 改給晶圓代工做，NVIDIA 的 NVHBM 讓客戶自己設計底層
HBM 的瓶頸，一半在記憶體、一半在封裝；頻寬、鍵合、散熱，每一代都要一起往前推