邁向家用10GbE網路(下)—CISCO & Intel參戰!

▼前幾年硬碟大廠還沒有推出NAS專用硬碟時,消費者只能購買一般桌上型硬碟,不然就是買企業級硬碟。站長在使用TS-459 ProII時,就曾經導入過四顆Seagate的星座系列企業級3TB硬碟。當時的考量是希望硬碟能夠比較耐操一點。但這種企業級的硬碟是不會考慮靜音效果的,結果就是硬碟的運作噪音讓站長無法忍受。當時是將NAS放在書房裡,所以使用電腦時都會聽到硬碟的聲音。沒辦法,只好認賠再買了四顆Seagate的桌上型3TB硬碟。偏偏當年是Seagate氣勢最盛的年代,Seagate只願意提供一年保固,果不其然,過了一年之後,四顆桌上型硬碟陸續故障。當時站長同樣使用RAID-5機制,只是運氣好,硬碟沒有同時故障兩顆以上,所以還有時間陸續抽換並重建RAID。

這項歷史教訓隨著時間的過去而淡忘了,站長在TVS-471上原本安裝了四顆Seagate 6TB NAS硬碟,看到8TB NAS硬碟在特價,就一口氣買了四顆。QNAP的NAS在硬碟擴充容量這方面做得不錯,站長陸續以擴容方式將四顆8TB NAS硬碟換上。但這時候卻發現一個問題。怎麼TVS-471的運轉聲音比之前更大聲?那陣子遇上秋老虎,氣溫升高不少,站長以為是風扇轉速過高造成的,在系統調整了好一陣子,發現其實音量不是來自於風扇,而是硬碟…。

10g-nas-pic-09

▼站長此時才想起了多年前的噪音噩夢,但上網看了一下Seagate的原廠數據,8TB的NAS硬碟((ST8000VN0002)運轉音量為2.6貝耳,這數值跟6TB版本是相同的。可是實際使用上,會發覺8TB NAS硬碟真的吵多了,何況是四顆硬碟。由於Seagate的8TB NAS硬碟只有7200RPM高轉速版本,站長趕緊去查同樣有作NAS硬碟的WD,果然WD的「Red」系列有推出8TB版本,而且轉速僅5400轉。如果需要7200轉的使用者可以改買「Red Pro」。站長趕緊買了兩顆俗稱「紅標」的8TB NAS硬碟,然後再透過RAID重建方式,將TVS-471的第一組RAID-1順利換成了WD Red 8TB硬碟,此時噪音問題果然有明顯的改進。

但剩下的兩顆8TB 7200RPM硬碟還是會產生惱人的馬達轉速噪音,為避免錢花太兇,站長只好將原本的Seagate 6TB NAS硬碟再換上去。由於QNAP的硬碟擴容或是重建無法接受比8TB更小容量的6TB硬碟,考量第二組RAID-1還沒裝資料,乾脆整個打掉重組RAID-1了。重新整理後的TVS-471等於有兩組不同轉速的RAID-1。即使是5400轉硬碟,傳輸速度仍舊比1Gbps要快,所以這並不影響站長朝10G網路的方向前進。重點是,整個NAS運作音量幾乎無聲了,站長非常滿意,就看未來WD的紅標5400轉硬碟何時再推出更大容量。

這次更換硬碟的經驗,讓站長對「最強的規格,不見得是最適合的」感慨良多。畢竟NAS硬碟轉速越高,速度越快,的確是許多使用者所盼望的,只是如果把使用情境列入考量時,高轉速帶來的噪音問題就不得不妥協了。如果網友部署NAS的地點在機房或是遠離辦公區域、客廳、書房等處,在預算足夠的狀況下,不妨使用高轉速的NAS級甚至企業型硬碟。其實高轉速並非原罪,Seagate的7200rpm 6TB NAS硬碟就滿安靜的,希望未來Seagate或是WD在推出高容量、高轉速硬碟時,也能控制馬達音量。

10g-nas-pic-08

 

▼話說TVS-471的硬碟噪音問題解決了之後,站長也收到了訂購的CISCO Catalyst L3 Switch。站長並沒學過CISCO的IOS操作,所以收到Switch之後就請同事幫忙看一下,要如何進入「WebGUI」。只見同事熟練的用Console線連進C3560CX-8XPD-S,然後問站長想設定哪些功能。呃……此時站長才知道….難怪要用CISCO的設備要先去上課~~~!

「請幫我將預設的登入密碼改掉」「幫我設Jumbo Frame為9014」,同事設定完後便問「那有要設VLAN嗎?」「要開哪些L3功能嗎?」呃…不用了,「因為我只是在家裡拿來當L2 Switch用而已!」同事想笑又憋住的表情頗有趣……|||

下圖是使用了三年勞苦功高的HP 1810-24G L2 Switch管理介面特寫,從畫面中可以看到,亮起綠色的網路埠代表正在運作中。為何要特別放這張圖呢?因為CISCO的L3 Switch沒有這種精美WebGUI呀~~~~!

10g-nas-pic-10

 

▼下圖就是HP 1810-24G與CISCO C3560CX-8XPD-S的實機特寫。CISCO的Catalyst 3560-CX系列是新推出的compact size Switch,型號相當多樣化,但只有C3560CX-8XPD-S搭載了「NBASE-T」(Cisco稱為Catalyst Multigigabit Technology)規格的網路埠,在10Gbps以及1Gbps網路速度中間,增加了2.5Gbps以及5Gbps這兩種速度,而且可以使用現行的Cat5e以及Cat6網路線進行2.5Gbps甚至5Gbps的高速傳輸任務。C3560CX-8XPD-S配備了兩個1Gbps的RJ45網路埠,而且都支援PoE+供電(每埠最高可供電30W),還配備了兩個10G/5G/2.5G/1G的RJ45網路埠(支援PoE+),以及兩個10Gbps的SFP+光纖接頭。C3560CX-8XPD-S對站長而言,就等於是一台具備2埠10G介面的Switch。(另外兩個SFP+ 10G光纖埠因網卡不支援,故暫時用不上)

10g-nas-pic-13

 

▼Catalyst 3560-CX系列如果有支援PoE供電功能,機體後方就會安裝巨大的黑色散熱片。站長對於電源供應器內建的設計感到滿意,畢竟主機已經夠大台了,如果還要外接變壓器就太佔空間了。

C3560CX-8XPD-S雖然是企業用的L3 Switch,但其造型設計的確滿討喜的,長度也比一般的24埠Switch要短一些,但從機體上的密集散熱孔設計,不難想見這是為了配合「無風扇」設計。

當家裡或公司需要採用10G連接的主機數量不多,而且同時有相關周邊需要透過網路線供電時(例如ThinAP、IPCam等),C3560CX-8XPD-S就滿適合的。所以網友如果也想建構10G網路,站長會建議優先考慮國產或是Netgear的10G Switch,一來是價格會比C3560CX-8XPD-S便宜,而且至少有10個以上的10G埠,並提供WebGUI方便設定。畢竟C3560CX-8XPD-S只有四個10G埠(兩個RJ45 + 兩個SFP+),10G埠數量並不足。

只是站長家裡的狀況比較特殊,只有一台電腦以及一台NAS需要用到10G速度,然後電器櫃無法塞入標準19吋機箱尺寸的設備,同時還希望能夠直接從Switch供電給裝在天花板的ThinAP,由於擺在客廳,最好是無風扇設計。綜合上述需求,CISCO的C3560CX-8XPD-S完美地符合需求,站長也只好被迫去扛了這台L3 Switch回家使用了XDDD。

10g-nas-pic-15

 

▼站長家裡的網路線多數採用了臺灣大同公司的Cat6網路線,但是連接到站長個人電腦以及NAS則採用Cat7網路線。站長並不使用扁平的網路線,還是寧可使用傳統的圓形線材。下面這張卡是市面上少數有支援NBASE-T的網路卡,站長特別從美國網站訂購的。後來站長才發現,其實這張網卡跟QNAP 10G網卡(LAN-10G1T-D)使用同樣的控制器(Tehuti TN4010),差別在於這張使用Aquantia公司的AQR105擔任PHY transceiver。

坊間不乏10G的桌上型網路卡,站長家中即使布建了Cat6以上的網路線,也會擔心如果因為線材問題,導致網卡跟Switch無法順利溝通,最後降速成1Gbps來跑,豈不是徒勞無功。所以站長看到這張支援2.5Gbps與5Gbps網卡時,認為運氣再差至少也有機會能夠以2.5Gbps速度運作才對,這時候才去調查坊間有支援NBASE-T的Switch,最後終於找到CISCO的C3560CX-8XPD-S。所以這次的10G網路升級都是從這張網卡為起點的。

10g-nas-pic-06

 

▼就在上個月(2016/09),國際電機電子工程師學會正式通過了「IEEE 802.3bz 」標準,規範出2.5Gbps(2.5GBASE-T,即 2500Mbps)與 5Gbps(5GBASE-T,即 5000Mbps)兩種傳輸速率規格,並且可以在現行的Cat5e達到2.5Gbps,或是Cat6網路線上達到5Gbps。聽起來很像NBASE-T規格吧,其實IT業界常常會先由一些大廠提倡某項規格,最後才成為IEEE標準規格。因此現在買的NBASE-T設備在「IEEE 802.3bz 」面前都是過渡產品,好在站長買的Switch跟網卡都支援IEEE 802.3an規格,即10Gbps。只要網卡能夠設定為10G速度運作,自然不需要刻意設成5G或2.5G。

既然業界已經有了10G規格,為何還要「降速」推出5G與2.5G規格呢?主要的原因跟無線網路速度急速發展有關。WiFi聯盟已推出了802.11ac Wave2規格,透過MU-MIMO 4×4天線,可讓無線傳輸理論速度達到2.6Gbps。但考量不同的產品區隔,如果是Wave2 3×3 MU-MIMO天線產品,搭配2.5Gbps網路埠就已經能夠符合需求,更高階的Wave2 4×4 MU-MIMO天線產品才有需要搭配5Gbps網路埠。如果要發揮10Gbps的速度,最好採用Cat6A線材,但考量實體網路線不容易抽換(牽涉辦公室佈線或家裡的裝潢),因此802.11ac WAVE2的新一代無線網路設備為了既有線材的相容性,便需要2.5Gbps或是5Gbps此類介於1Gbps與10Gbps的速率。其實另一方面,除非NAS採用SSD,不然以目前的7200RPM硬碟,即使是高速RAID-0組態,5Gbps的網路速度仍可符合需求,更何況正常狀態下,NAS不太會採用RAID-0的組態。

10g-nas-pic-07

 

▼接下來就實際上線了,很幸運地,無論是NAS或是桌上型電腦都設為「自動偵測」時,系統均自動判斷為10Gbps,可以順利跟Switch溝通。傳輸檔案的速度也輕鬆飆破1Gbps。但此時站長卻發現了兩個問題,第一個是DELL SonicWALL的SonicPoint ACi(無線網路基地台)雖然可以透過C3560CX-8XPD-S供電,但DELL TZ500(防火牆,內建Wireless Controller)卻完全找不到這台ThinAP。第二個問題更為惱人,就是接到C3560CX-8XPD-S的所有電腦,開機進入Win10作業系統時,乙太網路都是「無法辨識」,要等幾分鐘之後才恢復正常。因此許多開機就會啟動的即時通訊軟體、雲端備份軟體就會回報「電腦未連線」,得等到網路恢復後手動輸入密碼再重新登入。但別台電腦直接連到TZ500的網路埠就沒這問題。站長原本以為是NBASE-T網卡造成的,可是連續測試了兩台採用Intel網路晶片的ThinkPad,照樣發生同樣的問題,看來是CISCO Switch跟Dell SonicWALL之間溝通不良了,畢竟之前的HP Switch無此問題。

[後記]感謝網友非常熱心地提出說明,家中電腦開機時網路較慢連網的問題,可能肇因於C3560CX-8XPD-S預設開啟的Spanning-Tree機制還在偵測需要50秒,如果將此項這功能設定成PortFast應該就不需要等待。站長後來請同事設定為PortFast模式,果然連網問題迎刃而解,再次感謝網友的大力協助!

站長剛好這陣子正在試用Fortinet的FortiGate 90E防火牆(採用FortiOS 5.4版),就拿來進行交叉比對,果然開機時NBASE-T網卡乙太網路的狀況是正常的,相關軟體均可自動登入。至於ThinAP失聯的問題,之前曾聽學長提過,但沒想到還是得將ThinAP接在TZ500防火牆的特定網路埠上。站長只好先繼續使用PoE Injector供電器。先前已請同事測試過Fortinet FortiAP-221C(ThinAP),即使透過L2 Switch,仍可被FortiGate防火牆納管。

所以綜上所述,看來只要換掉防火牆跟ThinAP就可以解決問題了。將來可以將ThinAP直接連到C3560CX-8XPD-S的網路埠上,省下PoE Injector所佔的空間。但考量預算與需求,站長並不打算採用FortiGate 90E,會改用FortiGate 60E,FG-60E是最新發表的低階防火牆,採用了ARM架構的ASIC處理器,即使面對64byte小封包也能夠維持高速連網速度。FG-90E則使用Intel x86處理器,雖然在小封包處理上較不具優勢,但處理UTM等第七層功能時,效能遠勝FG-60E。站長家裡的網路速度是HiNet光世代500M/250M,如果要UTM功能開啟時仍可達到500M,這也不是FG-90E所能負擔的了。所以站長就把第七層的防禦交給了個人電腦上的資安軟體( SOPHOS Central EndPoint Advanced),至少家裡的電腦都是Core i7等級的。其實坊間很多數萬元的中低階UTM、防火牆僅使用到Celeron等級處理器,當然專業的UTM、防火牆有其必要性,企業不可能完全只靠個人電腦端這一層資安防護,但對於一般個人家庭來說,佈署一台低階的企業級防火牆,同時擔任Wireless Controller,並在不同房間部署ThinAP,是不錯的投資。不過擔心機體過熱當機,將來想升級新一代的WiFi規格也只需要更換ThinAP即可。

10g-nas-pic-16

 

▼行文至此,網友大概認為這次的「10G網路之旅」差不多到終點了,也該刊出幾張實際測速圖了吧(笑),但就在10月上旬,站長看到PC DIY!的一篇報導,裡面提到對岸有在賣超便宜的Intel 10G網卡。由於家裡的網路線已經可以讓網卡以10G速度溝通,所以站長也到淘寶挑了一張單埠的「X540 T1」網卡。之所以不買雙埠的X540 T2,實在是家裡無此需求,除非將來採用NVMe的M.2 SSD來組RAID,不然雙10Gbps的Link Aggregation還真派不上用場。

下單後一週內就收到這張不到台幣三千元的Intel 10G網卡,裝上系統後,透過Windows Update更新成最新版的驅動程式(2016/08/30 4.0.215.012版),運作一切正常。看來對岸可能是有人在倒貨吧,不然即使到美國Amazon買原廠盒裝的,也要208美金。站長收到的是散裝版,但有附矮檔板以及Inetl驅動程式光碟片。

10g-nas-pic-17

 

▼換裝X540 T1之後,電腦開機時有線網路暫時無法辨識的問題依舊,所以這部份就留待過陣子換裝防火牆來解決。至於傳輸速度的部分,其實最高速跟NBASE-T 10G網卡差不多,畢竟瓶頸在NAS的硬碟上。然而站長發現同樣從NAS下載相同的影片檔案,X540 T1傳輸速率比較平穩,畢竟薑是老的辣嗎?所以站長決定換下NBASE-T 10G網卡,改以Intel X540 T1擔任主力10G網卡。

10g-nas-pic-18

 

▼站長先前曾分別測過不同轉速的RAID-1速度,採用5400RPM WD RED的RAID-1速度都輸給了7200RPM的Seagate NAS RAID-1,詭異的是,後來站長請同事將CISCO C3560CX-8XPD-S的9K Jumbo Frame啟動之後,在同樣一個16GB的大檔案,兩個RAID-1的傳輸速度只差「1秒」,7200RPM RAID-1是64秒,相當於每秒256MB,而5400RPM的RAID-1則是65秒(252MB/s)。所以幾乎沒有太大的差別了。(網卡、Switch、NAS都有設9K Jumbo Frame)

如果兩組RAID-1同時傳輸檔案呢?站長的桌上型電腦有搭載USB 3.1 Gen2(10Gbps)連接埠,站長便準備了一個M.2 RAID-0外接盒(CyberSLIM M2R,內置兩片SATA3的256GB M.2 SSD,下一篇ThinkPad 13會介紹到),從NAS的兩個RAID-1同時下載16GB的檔案。如下圖所示,下載過程中經常突破3Gbps,有時候甚至可以達到4Gbps以上。因此以家用環境而言,IEEE 802.3bz定義的5Gbps速率可以應付大多數的需求,無論是未來的高速4×4 MU-MIMO WiFi或是NAS檔案傳輸。

今年IEEE 802.3bz規格剛通過,未來一年可支援2.5G/5G的網路控制晶片以及PHY transceiver也會陸續問世,如果不急著升級到1G以上速率的網友不妨再觀望一下,看支援IEEE 802.3bz(2.5G/5G)的Switch或是網卡是否有新品推出。如果網友不想等待,那10G乙太網路的設備都已經成熟了,只要Switch擺放位置沒有限制,坊間已經有許多10埠以上的Switch可供選擇。連原本昂貴的10G網卡,現在也有機會以破盤價購得。

經過了三年,終於10G網路宿願得償,雖然一路跌跌撞撞也破費不少,但至少最後終於能清楚,甚麼是適合自己需求的配置與設定(無論是NAS、Switch或是網卡)。業界未來也會開始推廣IEEE 802.3bz(2.5G/5G)的解決方案,網友就不用像站長一樣,為了找適合的Switch最後竟然得買台CISCO L3 Switch回家了(笑)。

10g-nas-pic-19

TPuser非官方情報站
TPuser非官方情報站
邁向家用10GbE網路(上)—從NAS RAID-5全毀開始說起…
ThinkPad預載Win10系統的USB還原隨身碟製作方法

Comments

  1. 站长所说的开机后网络「無法辨識」问题,极可能是高级Switch的STP功能,旨在避免网络环路,如果Switch的port直连终端设备,一般需要关闭相应端口的STP功能。
    您可以尝试将问题反馈给帮忙设定Switch的同事,并请他在相应switch port上设定spanning-tree portfast。

  2. 可能是3650上 沒有set spanning-tree postfast.

    spanning tree 是防止 sw looping, 沒有portfast 大約等30多秒查證沒loop, 才會真正用到.

    >>

    第二個問題更為惱人,就是接到C3560CX-8XPD-S的所有電腦,開機進入Win10作業系統時,乙太網路都是「無法辨識」,要等幾分鐘之後才恢復正常。因此許多開機就會啟動的即時通訊軟體、雲端備份軟體就會回報「電腦未連線」,得等到網路恢復後手動輸入密碼再重新登入。但別台電腦直接連到TZ500的網路埠就沒這問題。站長原本以為是NBASE-T網卡造成的,可是連續測試了兩台採用Intel網路晶片的ThinkPad,照樣發生同樣的問題,看來是CISCO Switch跟Dell SonicWALL之間溝通不良了,畢竟之前的HP Switch無此問題。
    <<

  3. 3560cx 上面把ethernet port的 spanning-tree 模式改成 portfast 讓該 port 直接進入 forwarding 模式就不會在有設備上線的時候去偵測連線模式了

    第二個問題更為惱人,就是接到C3560CX-8XPD-S的所有電腦,開機進入Win10作業系統時,乙太網路都是「無法辨識」,要等幾分鐘之後才恢復正常。因此許多開機就會啟動的即時通訊軟體、雲端備份軟體就會回報「電腦未連線」,得等到網路恢復後手動輸入密碼再重新登入。但別台電腦直接連到TZ500的網路埠就沒這問題。站長原本以為是NBASE-T網卡造成的,可是連續測試了兩台採用Intel網路晶片的ThinkPad,照樣發生同樣的問題,看來是CISCO Switch跟Dell SonicWALL之間溝通不良了,畢竟之前的HP Switch無此問題。

  4. 感謝大家的說明~!!!

  5. 請同事設定portfast之後,果然開機上網延遲的問題迎刃而解,感謝大家提供的寶貴建議~!

  6. ST8000VN0002的問題我也遇到。是間歇性的嘯叫。在NAS中運行半小時左右後出現,持續超過12小時無改善。已經退貨。

  7. 站長你好啊
    我是因為看到你的文章,所以想一嘗10G網卡
    我打算選購兩張 X540-T2,在雙工的情況下是不是可以達到20Gbps的傳輸速度?

    但是我對Switch方面有點不清楚,因為我沒有使用過Switch
    (我了解Router跟Switch的分別)

    假如我的Router只有1Gbps(ASUS AC87U),買一台10G Switch回來
    Switch接上Router其中一個的LAN接口,我兩台電腦在Switch能否達到10Gbps內網的傳輸速度,雙工能否達到20Gbps內網的傳輸速度?
    還是說會受限於Router所以只能發揮1Gbps的速度?

    初步打算跟你買同一型號的10G Switch(3560CX-8XPD-S Switch)
    另外設置Switch方面會不會很困難?

  8. 兩張10G網卡之前的互傳速率,關鍵其實在使用這兩張網卡的終端設備儲存媒體效能。

    您提到想買兩張X540-T2,似乎是要裝在兩台電腦上,如果要發揮最大效能,勢必得採用SSD,而且10Gbps=1.25GB/s,這代表最好使用讀寫都超過1.25GB/s的NVMe SSD,才有辦法「用滿」10G頻寬。但同時兩台電腦的CPU也不能太差,至少要Core i7等級。

    站長的CISCO L2 Switch也是接在只有1Gbps LAN的FG-60E防火牆上,因此兩台10G設備互傳時,不會被Router/Firewall的LAN Port速率限制住。至於全雙工的狀態下,理論值也頂多是上傳跟下載都達到10G,但實務層面不太可能達成,因為這等於要NVMe SSD同時進行高速下載以及上傳。

    至於3560CX-8XPD-S,如果您完全不會CISCO指令,非常不建議購買。自從站長買了3560CX-8XPD-S之後,開始有其他廠商推出平價的10G L2 Switch,例如:

    ASUS XG-U2008(尚未發售)
    http://edgeup.asus.com/2016/10/10/introducing-xg-u2008-10g-networking-249/

    Buffalo BS-XP20
    http://buffalo.jp/product/wired-lan/switch/bs-xp20/

  9. 謝謝站長的幫忙
    今天在淘寶下單了
    不過先下了一張X540-T2,打算先測試看看
    等ASUS XG-U2008開賣再購買另一張一起使用

    因為我沒使用過獨立的網卡不太清楚相關的設置
    在站長的文章也沒有看到相關設置的分享
    一般而言是不是接上就能使用,需不需要在軟體中設置什麼?
    (即使未來我也應該不使用link aggregation,asus只有兩插口)
    淘寶店家說這是OEM版本的,是不是同樣能在官網下載X540-T2的驅動?有沒有區分OEM版本的?
    如果Windows10是不是不用額外安裝驅動? 安裝驅動需要安裝那些?
    https://downloadcenter.intel.com/zh-tw/product/58954/Intel-X540-T2
    我在官裝看到很多驅動,那些是必需安裝的?

    最後,再一次感謝站長的幫忙。

  10. 站長本來有下載Intel官網的驅動程式,但不知為何,功能設定選項少很多,後來乾脆移除掉,只使用Win10內建的Intel驅動程式。

  11. 站長你好啊,我想詢問一下X540-T2(官方版本)是否支援link aggregation的功能
    正如你所說的,我在裝置管理員是找不到link aggregation(LACP)相關的設定介面
    是否因為淘寶這些X540版本是不支援
    因為我現在想利用LACP先組1Gbps+1Gbps,我的Switch是支援的,也能找到相關的設定
    問題是在Windows中intel的網卡設置找不到相關設定,是需要接上兩個網口,才會顯示出相關的設定?還是說淘寶這些真的不支援LACP

  12. 不好意思,由於站長是買X540-T1,所以不確定X540-T2是否支援LACP功能。

  13. 其實 Cisco 也有 Web GUI,要透過指令開啟,

    但有些功能還是要透過指令來下,

    Web 上沒有選項,所以很多人學 cisco 都只有學指令

發佈留言

TPuser非官方情報站

Your email address will not be published / Required fields are marked *

這個網站採用 Akismet 服務減少垃圾留言。進一步瞭解 Akismet 如何處理網站訪客的留言資料