AI算力競賽延伸至資料傳輸 Slow-and-Wide開啟互連新思維

AI資料中心的瓶頸正從運算能力延伸至資料傳輸。面對PCIe 6.0/7.0與CXL的頻寬、延遲及距離挑戰,艾邁斯歐司朗提出microLED「低速寬通道」光互連架構,透過大規模並行傳輸,提升頻寬密度、降低功耗與成本,並以冗餘通道強化可靠性。結合車用技術經驗,未來可望拓展至晶片、記憶體及AI資料中心互連應用。

AI算力持續提升,資料中心的競爭焦點也從運算能力延伸至資料傳輸。當GPU、NPU效能不斷提高,若互連頻寬無法跟上,運算資源就難以充分發揮。

「現在的GPU、NPU資料處理能力已經非常高,如果資料傳輸跟不上,運算能力再強也沒有辦法完全發揮。」艾邁斯歐司朗(ams OSRAM)光互聯首席工程師趙自皓指出,互連架構必須隨AI運算走向高度平行而演進。

艾邁斯歐司朗(ams OSRAM)光互聯首席工程師趙自皓:microLED應用到資料中心的光學互連重點技術包括高頻驅動整合、封裝優化,以及如何進一步與光連接器和光纖系統整合。

從「更快」轉向「更寬」

目前高速光互連主流採取Fast-and-Narrow策略,持續提高單一通道的傳輸速率。然而,單通道越快,對功耗、散熱、訊號完整性、封裝及驅動電路的要求也越高。

對此,艾邁斯歐司朗提出Slow-and-Wide思維,透過更多條相對低速的通道,累積更高的總頻寬,並以2D Photonics Engine探索高度平行的光互連架構,應用涵蓋Scale-Up、Scale-In、Intra-rack、Intra-row及Chip-to-Chip。

這項策略的核心,是將互連競爭從單一元件效能轉向系統效率,評估指標除了Gbps,也包括pJ/bit、頻寬密度、延遲、封裝複雜度與可靠性。

AI資料高度平行,互連也應平行化

GPU擁有大量運算核心,HBM則採用高度平行的記憶體架構,AI工作負載天然具有大量平行資料流。傳統互連卻往往透過SerDes將資料序列化,再以高速傳輸。

「既然AI的資料本來就是Parallel,為什麼我們一定要把它變成Serial,然後再想辦法把Serial做得非常快?」趙自皓表示。

艾邁斯歐司朗認為,透過大量平行通道分擔資料流,有機會降低單一高速鏈路的設計壓力。趙自皓強調:「我比較在意的是系統最後到底花多少功耗,才能把一個Byte送到目的地。」

因此,未來互連競爭不只是提高Gbps,更在於如何以較低功耗與整體成本搬運更多資料。

microLED的優勢在於大規模整合

短距離與成本敏感的應用中,銅線仍具成本及整合優勢;但隨傳輸距離與速率提高,訊號損耗、功耗、訊號調理及散熱問題也會加劇。艾邁斯歐司朗因此主張,互連選擇應從電源、散熱、機櫃功率及整體TCO評估,而非只比較元件成本。

這也是公司探索microLED光互連的原因。其吸引力不只在單一Emitter(發射器)的功耗,更在於尺寸小、可大量整合,適合高度平行的架構。「如果今天只需要一個Emitter,microLED不一定有什麼特別;但如果今天需要幾百個、幾千個Emitter,事情就不一樣了。」趙自皓說。

艾邁斯歐司朗過去在車用照明累積的EVIYOS經驗,提供大量microLED整合、控制與可靠性驗證的基礎。單一EVIYOS晶片最多可整合25,600個可獨立控制的microLED像素。

microLED本身已經具備量產能力,且在車用市場完成了實際驗證。不過,應用到資料中心的光學互連,相關技術仍然需要持續發展。資料通訊仍須解決晶片分離、基板整合、光纖或光波導耦合,以及高速驅動與封裝等問題。車用照明經驗可提供部分技術基礎,但不能直接等同於資料通訊能力。

圖:Slow-and-Wide低速寬通道架構利用大量microLED並行傳輸資料,突破傳統高速窄通道在功耗、成本與系統複雜度上的限制,為AI資料中心提供高頻寬、低功耗且具備冗餘設計潛力的光學互連方案。(AI示意圖)

3 Gbit/s不是終點,Scaling才是關鍵

艾邁斯歐司朗公布的microLED光互連測試,在約10公尺完整鏈路下,單通道速度達3.0 Gbit/s以上,能耗低於2 pJ/bit,BER低於10⁻¹⁵。

相較於現有高速光互連,3 Gbit/s並非單通道速度的領先水準,但Slow-and-Wide本就不以單Lane速率為主要目標。

「我們不是想證明一顆microLED可以跑到多快。」趙自皓表示,真正需要驗證的是,單一Emitter能否在相對低速下運作,再透過大量複製擴充整體頻寬。

大量平行通道也可能帶來備援優勢。相較於高度依賴單一高速鏈路的架構,多通道系統有機會在部分Lane故障時維持運作,提高容錯能力。

從光模組走向光進入封裝

從矽光子、CPO到Optical I/O,產業正將光源與光學元件逐步靠近運算核心。艾邁斯歐司朗預期,光互連將從機櫃內傳輸延伸至Chip-to-Chip,並進一步與2.5D、3D異質整合封裝共同設計。

「光源一定會越來越靠近Compute。」趙自皓指出,當光學元件成為封裝與運算架構的一部分,互連就不再只是外加介面。

艾邁斯歐司朗並未將microLED定位為取代雷射的單一答案。Fast-and-Narrow仍適用於需要極高單通道速率的場景;Slow-and-Wide則有機會在高密度、低功耗及高度平行的AI資料傳輸中發揮優勢。

未來值得關注的,不只是microLED能否達到更高速度,而是能否以合理成本、足夠密度與長期可靠性,整合數百甚至數千個Emitter。當AI運算持續走向高度平行,資料搬運是否也能透過更多通道,以更低能耗、更高密度及更好的容錯能力共同完成,將是下一代AI互連的重要課題。