中介層是什麼？一次看懂晶圓先進封裝如何提升 AI 晶片效能

先說結論：中介層不會直接增加 AI 晶片內部的運算單元，卻能讓運算晶粒與高頻寬記憶體（HBM）以更密集的方式互連，減少資料在晶片與記憶體之間傳輸時的瓶頸。當 AI 工作負載正受記憶體頻寬、晶粒間連線或封裝尺寸限制時，晶圓級先進封裝中的中介層可能帶來更高的有效吞吐量與較低的資料搬移成本；如果瓶頸在模型、軟體、散熱或其他系統環節，單靠中介層不會保證效能提升。

可以把它想成晶粒之間的「高密度道路網」。道路變多、連線更靠近，可能讓更多資料及時抵達運算晶粒；但道路設計、供電、散熱和整體交通需求也必須配合。以下以 AI 加速器連接 HBM 為例，說明中介層如何工作、何時值得採用，以及實際評估時應看哪些數據。本文資料核對日期為 2026 年 10 月 12 日。

中介層是什麼？先分清三個結構

晶粒（die）是從晶圓切割出的半導體裸晶，例如執行矩陣運算的 GPU 或 AI ASIC。高頻寬記憶體 HBM 則由多層記憶體晶粒堆疊而成，靠近運算晶片配置時，可用大量連線交換模型權重、輸入資料與中間結果。封裝基板負責把封裝內的訊號與電源接到電路板。中介層（interposer）通常位於晶粒與封裝基板之間，提供比一般封裝基板更細密的布線，讓多個晶粒彼此連接。

以常見的矽中介層為例，晶粒與 HBM 可並排安裝在中介層上，表面的金屬重佈線層（RDL，redistribution layer）建立晶粒間的橫向連線。穿矽通孔（TSV，through-silicon via）則是在矽中介層中形成垂直導電通道，將訊號或電源從上方晶粒側引到下方封裝基板。微凸塊等接點則把不同層連起來。不是每種中介層或封裝都採用相同材料與結構；「中介層」描述的是整合和布線角色，不等於特定一種矽製程。

所謂 2.5D 封裝，通常是多個晶粒並排放在中介層或相近的高密度互連平台上；「2.5D」不是指晶片只有二點五層。3D 封裝則更強調晶粒垂直堆疊，可能採用矽穿孔或混合鍵合等技術。實際產品也可能把橫向與垂直整合結合，因此要看封裝剖面與連線方式，不宜只由 2.5D 或 3D 名稱推論性能。

中介層如何幫助 AI 晶片？

讓運算晶粒更快取得 HBM 資料

大型 AI 模型會在運算過程中反覆讀寫大量權重、活化值與快取資料。若運算單元的吞吐量高於記憶體子系統供資料的速度，處理器就可能出現等待，無法持續以高效率運作。把 HBM 放在運算晶粒附近，再透過高密度的中介層互連，可提供更多晶粒到記憶體的連線，協助提高可用頻寬並縮短部分傳輸路徑。

但「封裝規格標示的峰值頻寬」不等於模型執行時實際得到的吞吐量。實際表現還受記憶體容量、存取模式、資料局部性、晶片互連協定、批次大小、模型精度和軟體排程影響。若工作負載主要受運算核心限制，增加記憶體頻寬可能不會顯著改變每秒輸出的 token 數或訓練時間。

縮短晶粒間資料往返，降低部分互連負擔

晶粒間路徑越長、連接方式越不適合高頻訊號，通常越需要留意延遲、訊號完整性和傳輸功耗。中介層可在封裝內提供細密的短距離連線，讓運算晶粒與 HBM、小晶片或其他邏輯區塊更緊密地交換資料。台積電將 CoWoS 描述為整合 SoC 與 HBM 等小晶片的 2.5D 封裝，也指出 3DFabric 的高密度互連可針對頻寬、延遲和電源效率需求進行系統整合。

這些是封裝架構能提供的設計條件，不是對每款產品的效能保證。封裝走線改善後，電源供應若不穩、散熱器無法帶走熱量，或軟體無法讓運算與資料傳輸有效重疊，整體效能仍可能受其他環節限制。

把不同功能與製程的晶粒整合在一起

AI 加速器不一定要把所有功能做進一顆大型單晶片。設計者可以把運算、記憶體控制、I/O 或其他功能分到不同小晶片，再依其效能和成本需求選擇製程，最後透過封裝互連成一個模組。這種異質整合（heterogeneous integration）可以把最先進製程留給需要高密度運算的區塊，其餘功能用較合適的技術實作。代價是晶粒間介面、封裝、測試與系統共同設計都更複雜。

一個具體例子：GPU 與 HBM 並排封裝

假設一張 AI 加速器模組由一顆大型 GPU 晶粒與多組 HBM 堆疊構成。若把 HBM 放在另一塊電路板上，資料需經過較長的板級路徑與相對有限的外部連線。採用矽中介層的 2.5D 封裝時，GPU 與 HBM 可並排放置，透過中介層上的密集導線進行封裝內互連，再由 TSV 和封裝基板連到系統電路板。這能為高資料需求提供較高的封裝內連線密度。

這個例子只有在應用需要大量、快速的記憶體資料交換時才有明顯理由。例如，若效能計數器顯示 GPU 經常因等待記憶體而閒置，並且增加記憶體頻寬後，受控測試中的持續吞吐量改善，才有證據支持「頻寬是瓶頸」的判斷。相反地，如果 GPU 已長時間維持高運算使用率，或實際延遲主要由網路、CPU、資料前處理或軟體排程造成，中介層本身就未必是最優先的改善項目。

台積電的 CoWoS-S 以大面積矽中介層連接邏輯小晶片與 HBM。台積電目前列出的方案還包括 CoWoS-R 的 RDL 中介層，以及結合 RDL 和局部矽互連的 CoWoS-L。不同架構是為不同整合尺度和性能目標設計，不能簡化成某一種全面勝出。詳情可參考台積電 CoWoS 官方技術說明及台積電 3DFabric 技術平台介紹。

完整矽中介層一定最好嗎？

不一定。完整矽中介層的優勢是能在較大區域提供高密度布線，適合多晶粒和 HBM 需要廣泛互連的設計；限制包括面積與製程成本、矽晶圓可製造尺寸、TSV 與微凸塊整合、組裝良率，以及封裝散熱和翹曲等問題。封裝越大、晶粒越多，設計和測試通常越需要在早期協同規劃。

可比較的方案包含：

• 完整矽中介層：適合多個運算晶粒與 HBM 需要大範圍細密互連的產品；需要接受較複雜的矽中介層製程與成本考量。
• RDL 或扇出型中介層：以重佈線提供晶粒間連接，可能減少對完整矽中介層的依賴；可達線寬、面積、電氣特性和量產條件仍須依平台驗證。
• 局部矽橋：只在特定晶粒之間需要高密度連線的區域放置小型矽橋，其餘區域可由封裝基板或 RDL 承接。Intel 的 EMIB 即採嵌入式矽橋連接多顆晶片，日月光也有 FOCoS-Bridge 方案。
• 3D 堆疊：將晶粒垂直堆疊，可縮短垂直互連並提高整合密度，但熱量移除、堆疊良率、測試與維修難度需要特別評估。

日月光指出，完整矽中介層面積增大時，每片晶圓可切出的中介層數量會減少，可能拉高成本；其方案組合包括扇出型 RDL 與局部矽橋。Intel 的 EMIB 則以較小的橋接晶粒取代部分設計中的大面積矽中介層。這些廠商例子說明架構取捨，並不代表不同廠商公布的線寬、良率或成本可直接當作同條件比較。可閱讀日月光異質整合封裝設計說明與Intel EMIB 技術介紹。

怎麼判斷中介層有沒有帶來實際效能？

評估時要把「封裝能力」與「應用結果」分開。建議在相同模型、精度、批次大小、輸入長度、軟體版本與功耗條件下，比較封裝或平台變動前後的數據；若測試條件不同，就很難判斷提升是來自中介層，還是其他因素。

如果更高的 HBM 頻寬沒有改善模型吞吐量、延遲或每單位耗電，可能表示瓶頸不在封裝互連，或軟體沒有有效運用帶寬。若基準測試改善，但長時間推論因溫度升高而降頻，應一併看穩態效能，而不只引用短時間峰值。封裝評估也須納入訊號完整性、電源完整性、散熱、組裝良率和測試策略；日月光的資料同樣強調晶片、封裝與系統需要共同設計。

哪些情況適合投資中介層封裝？

若產品要把多個運算晶粒和 HBM 放在同一模組、工作負載確實受記憶體頻寬限制，且量測顯示更密集的晶粒間連線能改善實際吞吐量或能源效率，中介層值得評估。若所需密集連線只集中在兩顆晶粒之間，局部矽橋或扇出型平台可能更符合面積與成本目標。若系統是單一晶粒、資料需求不高，或主要瓶頸在模型演算法、網路、軟體排程或散熱，先改善那些環節通常更直接。

總結：中介層的價值在於把運算晶粒、HBM 與其他小晶片以高密度方式整合，協助 AI 晶片減少資料傳輸瓶頸；它改善的是晶粒間的互連條件，不是直接增加運算核心。選型要看頻寬瓶頸是否真實存在、受控工作負載是否改善，以及散熱、功耗、良率、成本和供應能否配合。只有這些條件同時合理，先進封裝帶來的效能才可能轉化成可持續的系統效益。