AI大模型訓(xùn)練、超算中心算力迭代推動(dòng)單機(jī)柜功率從傳統(tǒng)10kW躍升至60kW以上，部分高端智算場(chǎng)景甚至向100kW級(jí)突破。傳統(tǒng)風(fēng)冷與可插拔光模塊架構(gòu)，已在散熱效率、功耗控制、帶寬密度上觸及物理極限。高密機(jī)柜的技術(shù)升級(jí)核心，正聚焦于光電共封裝（CPO）與液冷技術(shù)的深度兼容，二者的協(xié)同落地不僅是突破算力瓶頸的關(guān)鍵，更成為高負(fù)載場(chǎng)景下設(shè)備長(zhǎng)期穩(wěn)定運(yùn)行的核心支撐。
技術(shù)協(xié)同：CPO與液冷的互補(bǔ)邏輯
高算力場(chǎng)景的核心矛盾的是“算力密度提升與能耗、散熱的失衡”，CPO與液冷技術(shù)分別從網(wǎng)絡(luò)架構(gòu)與熱管理維度破局，形成精準(zhǔn)互補(bǔ)。CPO技術(shù)通過(guò)將光引擎與ASIC芯片共封裝，摒棄傳統(tǒng)可插拔光模塊，從源頭解決信號(hào)損耗、功耗過(guò)高與帶寬擴(kuò)展難題；而液冷技術(shù)則承接CPO集成帶來(lái)的局部熱密度激增，構(gòu)建高效散熱體系，二者缺一不可。
從能耗維度看，傳統(tǒng)128端口400G可插拔光模塊交換機(jī)功耗可達(dá)3267瓦，而CPO方案可將功耗控制在1626瓦以?xún)?nèi)，降幅超50%。但這種高密度集成使芯片熱流密度突破1-2 W/mm2，風(fēng)冷系統(tǒng)根本無(wú)法滿足散熱需求，液冷的介入成為強(qiáng)制性條件。實(shí)測(cè)數(shù)據(jù)顯示，CPO交換機(jī)搭配液冷系統(tǒng)后，不僅能維持芯片工作溫度在85℃安全閾值以下，更能進(jìn)一步降低設(shè)備整體功耗5%，在吉瓦級(jí)集群中可釋放顯著算力增量。
在架構(gòu)適配層面，CPO的封裝設(shè)計(jì)需與液冷系統(tǒng)深度耦合。無(wú)論是2.5D共封裝的基板互聯(lián)，還是3D共封裝的硅中介層立體堆疊，都需要液冷系統(tǒng)精準(zhǔn)覆蓋核心發(fā)熱區(qū)域。華為CloudEngine 16800液冷CPO交換機(jī)便采用定制化冷板設(shè)計(jì)，將液冷回路直接延伸至光引擎與芯片結(jié)合處，實(shí)現(xiàn)熱量的點(diǎn)對(duì)點(diǎn)導(dǎo)出，保障51.2Tb/s單機(jī)端口速率穩(wěn)定輸出。
液冷方案選型：適配高密機(jī)柜的工程實(shí)踐
高密機(jī)柜的液冷方案需兼顧散熱效率、運(yùn)維便捷性與成本可控，當(dāng)前冷板式與浸沒(méi)式成為主流路徑，二者在CPO場(chǎng)景的適配性各有側(cè)重。
冷板式液冷作為成熟度最高的方案，憑借“間接散熱、可靠性強(qiáng)”的優(yōu)勢(shì)成為當(dāng)前CPO機(jī)柜的首選。其通過(guò)在CPO封裝模塊上方貼合精密微通道冷板，利用去離子水作為冷卻液，通過(guò)對(duì)流與導(dǎo)熱帶走熱量，無(wú)需對(duì)電子元件做絕緣處理，運(yùn)維成本與傳統(tǒng)設(shè)備接近。Supermicro的B200液冷服務(wù)器配套冷板方案，已在大規(guī)模AI集群中驗(yàn)證，可支持單機(jī)柜60kW功率密度，且通過(guò)快速接頭設(shè)計(jì)實(shí)現(xiàn)設(shè)備熱插拔維護(hù)，不影響同機(jī)柜其他設(shè)備運(yùn)行。
浸沒(méi)式液冷則面向更高熱密度場(chǎng)景，通過(guò)將CPO交換機(jī)主板浸沒(méi)在氟化液等絕緣冷卻液中，實(shí)現(xiàn)全域均勻散熱，散熱效率較冷板式提升數(shù)倍，適合100kW級(jí)機(jī)柜或相變散熱需求。但該方案存在成本高、材料兼容性要求苛刻等問(wèn)題，目前多應(yīng)用于超算中心等尖端場(chǎng)景。百度智能云已規(guī)劃全浸沒(méi)無(wú)風(fēng)扇數(shù)據(jù)中心，預(yù)計(jì)2027年落地，屆時(shí)將實(shí)現(xiàn)CPO與浸沒(méi)式液冷的全場(chǎng)景適配。
值得注意的是，液冷系統(tǒng)的回路設(shè)計(jì)直接影響CPO設(shè)備穩(wěn)定性。一級(jí)側(cè)封閉回路負(fù)責(zé)帶走CPO模塊熱量，二級(jí)側(cè)回路通過(guò)熱交換器將熱量排至室外，雙回路架構(gòu)可有效避免冷卻液污染與溫度波動(dòng)，保障CPO光引擎的激光源穩(wěn)定性——經(jīng)實(shí)測(cè)，該設(shè)計(jì)可使激光源運(yùn)行壽命延長(zhǎng)至5000萬(wàn)小時(shí)以上，端口波動(dòng)故障率趨近于零。
CPO集成關(guān)鍵：從封裝到運(yùn)維的全鏈條保障
CPO與高密機(jī)柜的兼容，并非簡(jiǎn)單的技術(shù)疊加，而是從封裝設(shè)計(jì)、設(shè)備適配到運(yùn)維體系的全鏈條優(yōu)化。在封裝環(huán)節(jié)，激光源的分離式設(shè)計(jì)成為平衡性能與維護(hù)性的關(guān)鍵——將激光源前置為可插拔模塊，既規(guī)避了與ASIC芯片的熱干擾，又解決了傳統(tǒng)CPO維護(hù)難度大的痛點(diǎn)，這一設(shè)計(jì)已通過(guò)超大規(guī)模用戶(hù)400萬(wàn)小時(shí)無(wú)故障運(yùn)行驗(yàn)證。
設(shè)備適配層面，CPO交換機(jī)需與液冷機(jī)柜的供電、布線體系協(xié)同設(shè)計(jì)。英偉達(dá)Quantum-X平臺(tái)的Q3450-LD交換機(jī)，搭載144個(gè)800Gb/s InfiniBand端口，通過(guò)板載硅光器件與液冷冷板的一體化設(shè)計(jì)，支持兩級(jí)胖樹(shù)無(wú)阻塞拓?fù)洌芍苯舆m配高密機(jī)柜的高密度布線需求，無(wú)需額外占用風(fēng)道空間，使機(jī)柜空間利用率提升3倍。
運(yùn)維體系的升級(jí)同樣不可或缺。Micas與Supermicro聯(lián)合構(gòu)建的L11節(jié)點(diǎn)級(jí)與L12集群級(jí)雙重測(cè)試標(biāo)準(zhǔn)，為CPO+液冷方案落地提供了保障：L11級(jí)通過(guò)30余項(xiàng)自動(dòng)化檢測(cè)驗(yàn)證組件兼容性，L12級(jí)覆蓋56種以上AI工作負(fù)載測(cè)試，確保系統(tǒng)在ResNet訓(xùn)練、NCCL通信等實(shí)際場(chǎng)景中穩(wěn)定運(yùn)行。現(xiàn)場(chǎng)部署階段，通過(guò)全流程駐場(chǎng)支持，可將設(shè)備運(yùn)輸與安裝故障率從傳統(tǒng)的5-8%降至接近零，大幅縮短集群上線周期。
落地價(jià)值：從成本優(yōu)化到算力釋放
CPO與液冷的兼容升級(jí)，最終通過(guò)技術(shù)協(xié)同實(shí)現(xiàn)成本與性能的雙重優(yōu)化。在資本支出（CAPEX）方面，一個(gè)27000個(gè)GPU的大規(guī)模集群，采用CPO交換機(jī)與液冷方案后，可節(jié)省物料成本3710萬(wàn)美元；運(yùn)營(yíng)支出（OPEX）層面，僅電費(fèi)一項(xiàng)，3年累計(jì)節(jié)省可達(dá)250萬(wàn)美元。對(duì)于阿里云智算中心這類(lèi)場(chǎng)景，部署該方案后PUE從1.6降至1.12，年節(jié)省電費(fèi)6800萬(wàn)元，投資回收期僅1.8年。
在算力釋放上，液冷帶來(lái)的散熱突破使CPO的性能優(yōu)勢(shì)充分發(fā)揮。中國(guó)移動(dòng)長(zhǎng)三角數(shù)據(jù)中心采用中興液冷CPO交換機(jī)后，單機(jī)柜功率從10kW提升至60kW，同等空間算力密度提升6倍，每年減少碳排放1.2萬(wàn)噸；騰訊天津數(shù)據(jù)中心則通過(guò)該方案將PUE降至1.08，年節(jié)電1200萬(wàn)度，實(shí)現(xiàn)綠色算力與運(yùn)營(yíng)效率的雙贏。
行業(yè)趨勢(shì)：技術(shù)融合與標(biāo)準(zhǔn)統(tǒng)一
隨著6000W級(jí)芯片的逐步落地，CPO與液冷的融合將向更深層次演進(jìn)。材料層面，石墨烯導(dǎo)熱板的應(yīng)用可使液冷效率再提升20%；智能控制層面，AI流量預(yù)測(cè)系統(tǒng)能實(shí)現(xiàn)液冷流量的動(dòng)態(tài)調(diào)節(jié)，進(jìn)一步降低能耗。標(biāo)準(zhǔn)層面，國(guó)內(nèi)《液冷數(shù)據(jù)中心技術(shù)要求》已實(shí)施，CPO相關(guān)標(biāo)準(zhǔn)將于2025年底完成報(bào)批，OCP組織也發(fā)布了液冷接口規(guī)范1.1版，行業(yè)規(guī)范化將加速技術(shù)規(guī)模化落地。
未來(lái)，高密機(jī)柜的技術(shù)競(jìng)爭(zhēng)將聚焦于CPO與液冷的協(xié)同優(yōu)化能力，從芯片封裝、液冷回路設(shè)計(jì)到全生命周期運(yùn)維，形成一體化解決方案。對(duì)于高算力場(chǎng)景而言，這種技術(shù)升級(jí)不僅是突破物理極限的必然選擇，更將成為企業(yè)構(gòu)建算力競(jìng)爭(zhēng)壁壘的核心支撐。
關(guān)注微信訂閱號(hào)
