數(shù)據(jù)中心的黑科技——到底什么是NPO/CPO?
大家好,我是小棗君。
今天,在這篇文章中,我們來談?wù)剶?shù)據(jù)中心的兩項最新黑科技——NPO/CPO。
故事還是要從頭說起。
去年國家出臺了算東算西戰(zhàn)略,引起了全社會的關(guān)注。
所謂東算西算,其實就是數(shù)據(jù)中心的任務(wù)分工調(diào)整我們會把東部沿海地區(qū)的部分計算能力需求轉(zhuǎn)移到西部地區(qū)的數(shù)據(jù)中心
之所以這樣,是因為西部地區(qū)能源資源豐富,自然溫度低,可以大大減少電費和碳排放。
眾所周知,數(shù)據(jù)中心是計算能力的載體現(xiàn)階段我們在搞數(shù)字化轉(zhuǎn)型和數(shù)字經(jīng)濟(jì),離不開計算能力和數(shù)據(jù)中心可是,數(shù)據(jù)中心的功耗也不容忽視
數(shù)據(jù)顯示,2021年,全國數(shù)據(jù)中心總用電量為2166億千瓦時,占全國總用電量的2.6%,相當(dāng)于兩個三峽水電站的年發(fā)電量和1.8個北京地區(qū)的總用電量。
如此可怕的電力消耗,給我們實現(xiàn)雙碳的目標(biāo)帶來了巨大的壓力。
因此,業(yè)界開始加緊研究如何降低數(shù)據(jù)中心的能耗。
數(shù)據(jù)中心
大家都知道,數(shù)據(jù)中心有一個重要的參數(shù)指標(biāo),那就是PUE。
PUE =數(shù)據(jù)中心總能耗/IT設(shè)備能耗數(shù)據(jù)中心的總能耗包括IT設(shè)備的能耗,以及制冷,配電等其他系統(tǒng)的能耗
我們可以看到,除了主要設(shè)備上用的電,很大一部分能耗是用于散熱和照明。
因此,數(shù)據(jù)中心的節(jié)能減排有兩種思路:
1.降低主要設(shè)備的功耗。
2.降低散熱和照明的功耗。
主設(shè)備的功耗挑戰(zhàn)
說到主設(shè)備,大家馬上想到了服務(wù)器是的,服務(wù)器是數(shù)據(jù)中心最重要的設(shè)備它承載了各種業(yè)務(wù)服務(wù),包括CPU,內(nèi)存等硬件,可以輸出計算能力
但實際上,主要設(shè)備還包括一類重要設(shè)備,即網(wǎng)絡(luò)設(shè)備,即交換機(jī),路由器,防火墻等。
目前AI/ML的加速,加上物聯(lián)網(wǎng)的快速發(fā)展,使得數(shù)據(jù)中心的業(yè)務(wù)壓力越來越大。
這種壓力不僅體現(xiàn)在對計算能力的需求上,還體現(xiàn)在網(wǎng)絡(luò)流量上數(shù)據(jù)中心的網(wǎng)絡(luò)接入帶寬標(biāo)準(zhǔn)從過去的10G,40G升級到現(xiàn)在的100G,200G甚至400G
為了滿足流量增長的需求,網(wǎng)絡(luò)本身需要不斷迭代升級因此,更強(qiáng)大的交換芯片和更高速的光模塊都已投入使用
我們先來看看交換芯片。
芯片是網(wǎng)絡(luò)設(shè)備的心臟,其處理能力直接決定了設(shè)備的性能。最近幾年來,交換芯片的功耗有所增加,如下圖所示:
開關(guān)芯片功耗的變化趨勢
值得一提的是,雖然網(wǎng)絡(luò)設(shè)備整體功耗持續(xù)增加,但單比特功耗持續(xù)降低換句話說,能效越來越高
再看光模塊。
光模塊在光通信領(lǐng)域起著重要的作用,它直接決定了網(wǎng)絡(luò)通信的帶寬。
早在2007年,10千兆位光模塊的功率只有1W左右。
從40G,100G到現(xiàn)在的400G,800G甚至后來的1.6T光模塊,功耗提升的速度就像坐上了火箭,一路飆升到30W如您所知,一臺交換機(jī)可以有多個光模塊滿載時,往往有幾十個光模塊
一般來說,光模塊的功耗占總功耗的40%以上這意味著整機(jī)功耗將可能超過3000 W
擁有多臺交換機(jī)的數(shù)據(jù)中心這背后的功耗想想都可怕
除了交換芯片和光模塊,還有一個你可能不熟悉的網(wǎng)絡(luò)設(shè)備耗電大戶,那就是SERDES。
SerDes是英文SERializer/DESerializer的縮寫在網(wǎng)絡(luò)設(shè)備中,它是一個重要的器件,主要負(fù)責(zé)連接光模塊和網(wǎng)絡(luò)交換芯片
簡單來說,就是把來自交換芯片的并行數(shù)據(jù)轉(zhuǎn)換成串行數(shù)據(jù)進(jìn)行傳輸然后,在接收端,串行數(shù)據(jù)被轉(zhuǎn)換成并行數(shù)據(jù)
如前所述,網(wǎng)絡(luò)交換芯片的能力在不斷提高因此,必須提高SerDes的速度以滿足數(shù)據(jù)傳輸?shù)囊?/p>
SerDes速度的提高自然導(dǎo)致功耗的增加。
102.4Tbps時代,SerDes速率需要達(dá)到224G,SerDes芯片功耗預(yù)計達(dá)到300W。
需要注意的是,SerDes的速度和傳輸距離會受到PCB材料工藝的影響,不能無限提高換句話說,當(dāng)SerDes速率增加,功耗增加時,PCB銅箔的能力不足,無法使信號進(jìn)一步傳播只有縮短傳輸距離,才能保證傳輸效果
有點像鉛球比賽鉛球越重,能投的距離越短
具體來說,當(dāng)SerDes速率達(dá)到224G時,最多只能支持5~6英寸的傳輸距離。
這意味著在SerDes沒有任何技術(shù)突破的情況下,必須縮短網(wǎng)絡(luò)交換芯片和光模塊之間的距離。
綜上所述,交換芯片,光模塊,SerDes是網(wǎng)絡(luò)設(shè)備的三座功耗大山。
根據(jù)設(shè)備廠商的數(shù)據(jù),12年來,數(shù)據(jù)中心的網(wǎng)絡(luò)交換帶寬增長了80倍,背后的代價是交換芯片功耗增長了8倍左右,光模塊增長了26倍,SerDes增長了25倍。
在這種情況下,數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)備的功耗不斷增加。
小早君詳細(xì)介紹了網(wǎng)絡(luò)設(shè)備的功耗挑戰(zhàn)接下來,我們來看散熱
其實相對于網(wǎng)絡(luò)設(shè)備的功耗,散熱的功耗才是真正的大頭。
據(jù)統(tǒng)計,交換設(shè)備在典型數(shù)據(jù)中心總能耗中的比例僅為4%左右,不到服務(wù)器的1/10。
但是散熱呢?fù)?jù)CCID統(tǒng)計,2019年中國數(shù)據(jù)中心約43%的能耗用于IT設(shè)備散熱,與45%的IT設(shè)備本身能耗基本持平
即使是現(xiàn)在,國家也對PUE提出了嚴(yán)格的要求按照三級能效計算,散熱占近40%
傳統(tǒng)的散熱方式已經(jīng)不能滿足當(dāng)前高密度數(shù)據(jù)中心的業(yè)務(wù)發(fā)展需求因此,我們引入了液體冷卻技術(shù)
液冷是一種利用液體作為制冷劑為發(fā)熱部件散熱的新技術(shù)液冷的引入可以降低數(shù)據(jù)中心近90%的能耗數(shù)據(jù)中心的整體能耗可降低近36%
這個節(jié)能效果可以說是非常厲害,直接省電三分之一。
液冷除了散熱更強(qiáng),耗電更少之外,在噪音,選址,建設(shè)成本方面也有明顯優(yōu)勢。
所以現(xiàn)在幾乎所有的數(shù)據(jù)中心都在采用液冷一些液冷數(shù)據(jù)中心甚至可以將PUE干燥到1.1左右,接近極限值1
液冷,是不是整個設(shè)備都浸在液體里。
不一定。
液體冷卻方案一般包括兩種類型,即浸沒式和冷板式。
浸入式,也叫直接式,是將主設(shè)備中發(fā)熱量高的部件全部浸入冷卻液中進(jìn)行散熱。
冷板式也叫間接式,是將主要的散熱部件附著在一塊金屬板上,然后制冷劑液體在金屬板中流動帶走熱量現(xiàn)在很多DIY組裝的電腦都是冷板
服務(wù)器采用液冷是一項非常成熟的技術(shù)那么,既然要液冷,當(dāng)然如果服務(wù)器和網(wǎng)絡(luò)設(shè)備一起用就更好了否則,將需要兩套系統(tǒng)
問題來了我們的網(wǎng)絡(luò)設(shè)備可以液冷嗎
NPO/CPO,首次亮相
當(dāng)當(dāng)!經(jīng)過種種鋪墊,我們的主角終于要登場了。
為了盡可能降低網(wǎng)絡(luò)設(shè)備的工作功耗和散熱功耗,在OIF的帶領(lǐng)下,業(yè)內(nèi)多家廠商聯(lián)合推出——NPO/CPO技術(shù)。
2021年11月,國內(nèi)設(shè)備廠商銳捷網(wǎng)絡(luò)發(fā)布全球首款25.6T NPO冷板液冷開關(guān)2022年3月,他們發(fā)布了51.2T NPO冷板液冷開關(guān)
核電站冷板液冷開關(guān)
NPO,英文全稱Near packaged optics,近封裝光學(xué)CPO,英文全稱Co—packaged optics,共同封裝光學(xué)
簡單來說,NPO/CPO就是包裝網(wǎng)絡(luò)交換芯片和光引擎的技術(shù)。
我們傳統(tǒng)的連接方式叫做可插拔光引擎是可插拔的光學(xué)模塊光纖來了之后,插入光模塊,然后通過SerDes通道送到網(wǎng)絡(luò)交換芯片
CPO是將交換芯片和光引擎組裝在同一個插座上,形成芯片和模塊的共封裝。
NPO是將光引擎從交換芯片中分離出來,組裝在同一個PCB基板上。
你可以看到CPO是終極形態(tài),NPO是過渡階段NPO更容易實現(xiàn),也更開放
集成的目的很明確,就是縮短交換芯片與光引擎之間的距離,使高速電信號在兩者之間高質(zhì)量傳輸,并滿足系統(tǒng)的BER要求。
縮短距離,保證高速信號的高質(zhì)量傳輸。
集成后可以實現(xiàn)更高密度的高速端口,提高整機(jī)的帶寬密度。
此外,集成使得元件更加集中,也有利于引入冷板液冷。
o在NPO開關(guān)內(nèi)部,可以看到開關(guān)芯片與光引擎之間的距離大大縮短。
NPO/CPO技術(shù)的背后,其實是一種非常流行的硅光技術(shù)。
硅是以光子和電子為信息載體的硅基光電子大規(guī)模集成技術(shù)簡單來說,就是在一個硅基襯底上集成多種光器件,成為一個集成的光電路這是一個微型光學(xué)系統(tǒng)
硅之所以如此受歡迎,根本原因是微電子技術(shù)已經(jīng)逐漸逼近性能極限,傳統(tǒng)的電子芯片在帶寬,功耗,時延等方面越來越顯得力不從心所以光學(xué)芯片的新賽道被改了
NPO/CPO轉(zhuǎn)換的進(jìn)展
NPO/CPO技術(shù)是目前各大廠商的熱門研究方向尤其是NPO,因為擁有最好的開放生態(tài),產(chǎn)業(yè)鏈更成熟,能最快獲得成本和功耗的收益,所以發(fā)展更快
前面提到了銳捷網(wǎng)絡(luò)的25.6T硅NPO冷板液冷交換機(jī)。
這款NPO交換機(jī)基于112G SerDes的25.6T交換芯片,高度為1RU前面板支持帶有64個連接器的400G光纖接口它由16個1.6T NPO模塊組成,支持8個ELS/RLS
在散熱方面,采用不導(dǎo)電冷卻液的冷板冷卻方式。
51.2T硅光NPO冷板液冷交換機(jī)高度不變,NPO模塊由1.6T升級為3.2T前面板支持64個800G連接器,每個連接器可分為兩個400G端口,實現(xiàn)前向兼容外部光源模塊的數(shù)量已經(jīng)增加到16個
51.2噸NPO冷板液冷式換熱器
在實際組網(wǎng)中,51.2T NPO交換機(jī)可以作為接入放大器應(yīng)用于100G/200G接入網(wǎng),設(shè)備,并實現(xiàn)高速互聯(lián)。
值得一提的是,NPO/CPO的技術(shù)和產(chǎn)品研發(fā)并不是一件簡單的事情,其背后是對一個企業(yè)整體R&D實力的考驗。
此次銳捷網(wǎng)絡(luò)能夠在全球推出NPO/CPO產(chǎn)品,是他們持續(xù)投入艱苦研發(fā)和創(chuàng)新的結(jié)果,也體現(xiàn)了他們在該領(lǐng)域的技術(shù)領(lǐng)先性。
銳捷網(wǎng)絡(luò)2019年開始關(guān)注硅光領(lǐng)域的技術(shù),2020年6月正式成立R&D和產(chǎn)品團(tuán)隊作為OIF/COBO的成員,他們一直參加工作組的全球性會議,并參與有關(guān)標(biāo)準(zhǔn)的討論和制定
OIF工作組全球會議現(xiàn)場
在硅光方向,銳捷網(wǎng)絡(luò)已經(jīng)走在世界前列,未來可期。
結(jié)論
好了,介紹了這么多,相信你已經(jīng)明白什么是NPO/CPO了。
這兩項技術(shù)無疑是數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)備的發(fā)展方向在當(dāng)前的數(shù)字化浪潮中,我們對計算能力和網(wǎng)絡(luò)通信能力的追求是無止境的在追求性能的同時,也要努力平衡功耗畢竟要走可持續(xù)發(fā)展的道路
希望以NPO/CPO為代表的硅光科技能夠進(jìn)一步加速落地,為綠色低碳的信息基礎(chǔ)設(shè)施做出貢獻(xiàn)。
未來硅光技術(shù)會帶來怎樣的技術(shù)創(chuàng)新。讓我們拭目以待!
——全文完畢——
免責(zé)聲明:此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊,僅代表作者個人觀點,與本網(wǎng)無關(guān)。僅供讀者參考,并請自行核實相關(guān)內(nèi)容。




