1 概述
1.1 背景
借助SD-WAN技術(shù)，廣域網(wǎng)技術(shù)正在由傳統(tǒng)的封閉方式向靈活、連接混合（云）多數(shù)據(jù)中心及開放方式演進。并能根本地解決傳統(tǒng)廣域網(wǎng)面臨的一系列挑戰(zhàn)，諸如通過集中管理和零接觸部署，簡化部署、管理與維護。綜合利用MPLS、MSTP、Internet、4G等資源管道，提高傳輸效率，控制帶寬成本。通過DPI/流量規(guī)則（Traffic Path Rule）和網(wǎng)絡(luò)質(zhì)量的測量，實現(xiàn)面向業(yè)務(wù)/應(yīng)用的或基于鏈路質(zhì)量的路徑選擇。通過對流量的感知與統(tǒng)計，實現(xiàn)在流量與性能的可視化管理等。
1.2 實施目標(biāo)
H3C提出的AD-WAN廣域網(wǎng)SDN解決方案是對應(yīng)行業(yè)通用叫法SD-WAN的產(chǎn)品形態(tài)呈現(xiàn)。方案核心在于允許企業(yè)利用低成本、易獲得的Internet接入能力，構(gòu)建高性能的企業(yè)級廣域網(wǎng)，降低對于昂貴的傳統(tǒng)企業(yè)WAN連接技術(shù)的依賴性。
AD-WAN解決方案以SDN思想從多維度視角綜合考慮路由、流量流向、業(yè)務(wù)質(zhì)量等多種關(guān)鍵因素，構(gòu)建多維度智能調(diào)度系統(tǒng)，統(tǒng)一數(shù)據(jù)采集、分析、策略管理與下發(fā)，實現(xiàn)了集約的“多級網(wǎng)絡(luò)協(xié)同”，IP網(wǎng)絡(luò)資源均衡與一鍵式流量調(diào)度；融合拓撲、QoS、路由、流量等多維信息，構(gòu)建全局動態(tài)在線網(wǎng)絡(luò)業(yè)務(wù)模型，實現(xiàn)了端到端延時路徑動態(tài)自動化計算。滿足企業(yè)大規(guī)模IP互聯(lián)網(wǎng)及業(yè)務(wù)智慧運營，幫助用戶實現(xiàn)企業(yè)IT數(shù)字化轉(zhuǎn)型。
1.3 適用范圍
H3C ADWAN分支解決方案基礎(chǔ)網(wǎng)絡(luò)采用IP轉(zhuǎn)發(fā)，支持Hub-Spoke兩級組網(wǎng)架構(gòu)，支持混合WAN鏈路接入，適用于分支數(shù)量多，接入位置分散的企業(yè)總部分支組網(wǎng)場景?？梢詽M足企業(yè)用戶的部署自動化、網(wǎng)絡(luò)可視化、運維簡單化的關(guān)鍵需求。典型應(yīng)用場景如圖3-1所示：
圖3-1 AD-WAN典型應(yīng)用場景
方案通過支持混合WAN鏈路接入來充分利用線路帶寬。支持線路按調(diào)度策略自動化切換，以保障承載的重點業(yè)務(wù)的可靠性。
1.4 在工業(yè)互聯(lián)網(wǎng)網(wǎng)絡(luò)體系架構(gòu)中的位置
圖3-2 工業(yè)互聯(lián)網(wǎng)互聯(lián)示意圖
該解決方案適用于上圖3-2中的6、7、8場景，重點解決企業(yè)總部與分支機構(gòu)、上下游企業(yè)等之間的互聯(lián)互通，允許企業(yè)通過Internet、MPLS等混合WAN鏈路來構(gòu)建可視化、自動化及高可靠的企業(yè)級廣域網(wǎng)，降低對于昂貴的傳統(tǒng)企業(yè)WAN連接技術(shù)的依賴，以實現(xiàn)線路帶寬的充分利用，基于業(yè)務(wù)策略的鏈路自動調(diào)度，以保障重點業(yè)務(wù)的傳輸質(zhì)量。
2 需求分析
1）即插即用，網(wǎng)絡(luò)快速部署，動態(tài)定義網(wǎng)絡(luò)資源，分支快速上線
降低企業(yè)IT對分支用戶的IT技術(shù)依賴性，即使分支機構(gòu)無專業(yè)網(wǎng)絡(luò)運維人員也可輕松完成分支機構(gòu)的網(wǎng)絡(luò)快速開局。
2）基于智能路有技術(shù)實現(xiàn)流量調(diào)度，保障企業(yè)核心關(guān)鍵業(yè)務(wù)
傳統(tǒng)情況下，網(wǎng)絡(luò)潮汐、業(yè)務(wù)潮汐（如雙11、618、企業(yè)網(wǎng)絡(luò)學(xué)習(xí)），峰值業(yè)務(wù)流量較日常流量會有200%的增長。提升廣域網(wǎng)鏈路利用率，保障了業(yè)務(wù)質(zhì)量與業(yè)務(wù)連續(xù)性，加強對各類業(yè)務(wù)的管控與全局負載均衡，降低廣域網(wǎng)專線鏈路支出。根據(jù)不同應(yīng)用選擇網(wǎng)絡(luò)資源的質(zhì)量和帶寬，挑選適合應(yīng)用的最佳路徑。根據(jù)網(wǎng)絡(luò)變化提供自動化的流量調(diào)度，也可根據(jù)網(wǎng)絡(luò)變化實現(xiàn)告警，降低運營成本。
3）深度數(shù)據(jù)分析，實現(xiàn)網(wǎng)絡(luò)&業(yè)務(wù)可視化，洞察網(wǎng)絡(luò)實時狀態(tài)
提供管理人員對業(yè)務(wù)質(zhì)量的實施掌握手段，能夠監(jiān)控企業(yè)各IT應(yīng)用的流量帶寬行為，為后續(xù)廣域網(wǎng)鏈路擴容、廣域網(wǎng)優(yōu)先級業(yè)務(wù)帶寬分配等工作提供準(zhǔn)確的數(shù)據(jù)依據(jù)，實現(xiàn)用戶從網(wǎng)絡(luò)規(guī)劃、部署實施到后期調(diào)優(yōu)的全流程自動化、智能化，讓日日順物流更加聚焦于核心業(yè)務(wù)。
4）簡易運維，分鐘級故障響應(yīng)和問題處理
廣域網(wǎng)分支站點規(guī)模龐大，在進行新業(yè)務(wù)的全網(wǎng)部署往往需要進行全網(wǎng)的業(yè)務(wù)配置。在發(fā)生網(wǎng)絡(luò)安全問題時，進行快速端口控制或在進行特定業(yè)務(wù)的管控配置下發(fā)與收回資源上，傳統(tǒng)手段往往耗費大量人力且易出現(xiàn)配置錯誤。實現(xiàn)了對內(nèi)向業(yè)務(wù)部門、員工準(zhǔn)確反饋問題，對外方便與運營商溝通，計算SLA。在出現(xiàn)鏈路故障后可迅速鎖定鏈路問題，將平均4小時的排障時間縮短至10分鐘。
5）接入節(jié)點分布廣泛、數(shù)量眾多，部署周期長、維護難度大
由于網(wǎng)點分布廣、設(shè)備數(shù)量龐大，分支前端缺乏有效的IT支持能力，加之傳統(tǒng)的路由器采用命令行的配置方式，因此會造成部署周期長，全程維護能力差，變更復(fù)雜，配置難度大、風(fēng)險高，等諸多問題；隨著企業(yè)集中數(shù)據(jù)中心建設(shè)加快，業(yè)務(wù)向公有云、混合云的遷移，如何實現(xiàn)分支機構(gòu)與云中虛擬數(shù)據(jù)中心的高效連接，將是網(wǎng)絡(luò)架構(gòu)師面前新的難題。
6）傳統(tǒng)網(wǎng)絡(luò)技術(shù)、簡單僵化、難于滿足業(yè)務(wù)敏捷性的要求
傳統(tǒng)的路由方式（OSPF、PBR），只能機械、刻板地基于目標(biāo)IP地址，而非業(yè)務(wù)內(nèi)容進行路徑選擇；傳統(tǒng)方式只選擇所謂的最優(yōu)路徑，無法在諸多網(wǎng)絡(luò)品質(zhì)（帶寬、延遲、丟包率等）上不對稱的傳輸路徑間進行動態(tài)、智能的流量調(diào)度，保障用戶體驗。
企業(yè)都在為傳統(tǒng)的廣域網(wǎng)的價格、性能和靈活性而苦苦掙扎，而公共云應(yīng)用程序的激增更是加劇了這種情況的惡化，46%以上數(shù)用戶的網(wǎng)絡(luò)架構(gòu)仍舊遵循全網(wǎng)統(tǒng)一互聯(lián)網(wǎng)出口的模式，一方面造成訪問互聯(lián)網(wǎng)流量占據(jù)50%-80%的MPLS/VPN或?qū)＞€帶寬，另一方面嚴(yán)重制約了對公有云應(yīng)用的訪問性能。
7）廣域網(wǎng)帶寬與性能需求迅猛，成本壓力不斷攀升
不斷增長的帶寬需求是一把雙刃劍，雖然可以提升傳輸效率，但也會嚴(yán)重加劇企業(yè)IT的運維成本，尤其針對長途、甚至跨國的廣域網(wǎng)。拓展帶寬來源（如互聯(lián)網(wǎng)、LTE）、優(yōu)化傳輸性能（帶寬優(yōu)化、延遲優(yōu)化）已經(jīng)成為企業(yè)IT乃至公司決策層關(guān)注的關(guān)鍵問題。
8）缺乏網(wǎng)絡(luò)流量與性能的實時可視化監(jiān)控
傳統(tǒng)廣域網(wǎng)場景下，需要部署大量的廣域網(wǎng)探針或廣泛地啟用Netflow技術(shù)，才能實現(xiàn)對網(wǎng)絡(luò)流量與性能的可視化管理，因此需要大量的成本投入，并加重網(wǎng)絡(luò)設(shè)備的工作負擔(dān)，因此嚴(yán)重制約了廣域網(wǎng)管理水平與使用效率。
3 解決方案
3.1 方案介紹
為了解決上述廣域網(wǎng)的痛點，H3C提出了AD-WAN廣域網(wǎng)SDN解決方案。支持通用CPE（uCPE）滿足企業(yè)分支邊緣的網(wǎng)絡(luò)云化，隨需部署VAS業(yè)務(wù)。降低企業(yè)成本，保障用戶體驗，助力用戶數(shù)字化轉(zhuǎn)型。
3.2 系統(tǒng)架構(gòu)
圖3-3 AD-WAN系統(tǒng)架構(gòu)
整個ADWAN分支解決方案分為網(wǎng)絡(luò)設(shè)備、控制器+APP、管理編排三個層次（如圖3-3所示）：
1）網(wǎng)絡(luò)設(shè)備層：網(wǎng)絡(luò)設(shè)備接收SDN控制器的控制和管理，支持通過SNMP、NETCONF、WEBSOCKET等協(xié)議和控制器進行通信。支持通過NQA、Netstream、Trap等協(xié)議完成對各種數(shù)據(jù)的采集和上報；
2）控制器+APP層：ADWAN分支解決方案的SDN控制器基于開源的ODL平臺，支撐各種APP集成；根據(jù)廣域網(wǎng)不同的場景，比如DCI網(wǎng)絡(luò)、骨干網(wǎng)、分支接入等，開發(fā)定制化、場景化的APP，滿足用戶在不同場景下的網(wǎng)絡(luò)需求；南向通過標(biāo)準(zhǔn)南向接口協(xié)議和設(shè)備互通；北向面向用戶提供定制化的API接口，實現(xiàn)和編排系統(tǒng)集成，滿足用戶差異化的業(yè)務(wù)需求；
3）管理編排層：通過調(diào)用APP提供的API接口，實現(xiàn)業(yè)務(wù)的策略定義、管理編排以及全網(wǎng)的實時監(jiān)控、可視化呈現(xiàn)、及故障排查等，進而增強網(wǎng)絡(luò)的可視化呈現(xiàn)，簡化網(wǎng)絡(luò)的運維管理。
3.3 網(wǎng)絡(luò)拓撲設(shè)計
圖3-4 ADWAN網(wǎng)絡(luò)拓撲
3.3.1 場景說明
適用于大型企業(yè)的總部+多分支接入場景，分支方案主要包含總部和分支兩個層次，支持Internet、MPLS專線、MSTP專線等多種類型鏈路，總部與分支之間一般有多條路經(jīng)（示例圖中以三條線路舉例說明）。
3.3.2 組網(wǎng)需求
? 基于專線、互聯(lián)網(wǎng)線路的應(yīng)用調(diào)度，不同應(yīng)用流量走不同鏈路
? 線路帶寬充分利用，支持線路切換，保障重點業(yè)務(wù)承載
? 當(dāng)鏈路出現(xiàn)故障時，能夠為應(yīng)用調(diào)整路徑
3.4 功能設(shè)計
3.4.1 零配置開局（ZTP）
設(shè)備開箱，上電后自動加載版本和軟件配置，分支人員零只需完成基本的Internet連接配置即可，由控制器控制完成分支設(shè)備的自動化配置上線。
當(dāng)前AD-WAN分支解決方案支持三種設(shè)備自動化部署方式：
? U盤自動部署
? 郵件/短信自動部署
? 公有云自動部署
3.4.2 自動化網(wǎng)絡(luò)
1）Overlay網(wǎng)絡(luò)構(gòu)建
基于underlay網(wǎng)絡(luò)連接關(guān)系，根據(jù)應(yīng)用組部署的網(wǎng)絡(luò)范圍，通過AD-WAN控制器自動、手動或者自定義構(gòu)建overlay網(wǎng)絡(luò)。
2）拓撲自動構(gòu)建
在AD-WAN控制器上添加設(shè)備相關(guān)信息后，控制器在設(shè)備上線后自動收集設(shè)備信息和鏈路信息，自動呈現(xiàn)整網(wǎng)拓撲和設(shè)備、鏈路狀態(tài)。
3.4.3 應(yīng)用識別
通過DPI（Deep Packet Inspection，深度分組檢測）技術(shù)深入讀取IP包載荷的內(nèi)容來對應(yīng)用層協(xié)議中的應(yīng)用層信息進行重組，從而識別出IP包的應(yīng)用層協(xié)議。
AD-WAN控制器可以通過將報文的內(nèi)容與特征庫中的特征項進行匹配來識別報文所屬的應(yīng)用。企業(yè)用戶既可以基于系統(tǒng)內(nèi)置的特征庫來快速定義要識別的應(yīng)用，也可以根據(jù)自己需求來自定義要識別的業(yè)務(wù)流量特征，為用戶提供了更精細化識別和調(diào)度用戶應(yīng)用流量的能力。APR特征庫更是具有3000余種，滿足主流應(yīng)用的絕大部分自動識別功能，支持持續(xù)在線更新，滿足企業(yè)未來IT升級。
3.4.4 智能選路
AD-WAN分支解決方案通過在企業(yè)分支和總部的廣域網(wǎng)鏈路上進行探針下發(fā)，采集網(wǎng)絡(luò)SLA信息。AD-WAN支持基于路徑優(yōu)選、基于應(yīng)用帶寬、應(yīng)用質(zhì)量以及時間段策略的選路和多重功能組合的智能流量調(diào)度功能，保障應(yīng)用的網(wǎng)絡(luò)需求和用戶的最佳網(wǎng)絡(luò)體驗。
? 路徑優(yōu)選：支持按指定鏈路為應(yīng)用選路；
? 帶寬選路：支持基于應(yīng)用帶寬要求進行靈活選路，當(dāng)鏈路帶寬使用率達到指定閾值時，控制器支持自動算路方式來為業(yè)務(wù)自動選擇符合應(yīng)用轉(zhuǎn)發(fā)要求的路徑；
? 應(yīng)用質(zhì)量選路：支持按照應(yīng)用的質(zhì)量（如鏈路時延、抖動及丟包率）要求進行選路，基于全網(wǎng)路徑選擇滿足應(yīng)用質(zhì)量要求的轉(zhuǎn)發(fā)路徑；
? 時間段策略：支持按照永久、周期以及指定時間段范圍進行策略下發(fā)和選路。
3.5 安全及可靠性
3.5.1 VAS業(yè)務(wù)隨選
AD-WAN解決方案引入了ICT融合網(wǎng)關(guān)，基于X86架構(gòu)的企業(yè)級多業(yè)務(wù)路由器支持虛擬機、容器部署，通過AD-WAN的業(yè)務(wù)編排和統(tǒng)一生命周期管理，可以將企業(yè)需要的計算資源、安全資源（如vIPS、vFW等）隨需部署快速在企業(yè)的邊緣網(wǎng)絡(luò)。分鐘級安全策略下發(fā)，協(xié)助企業(yè)應(yīng)對日益突出的網(wǎng)絡(luò)安全事件，提升企業(yè)業(yè)務(wù)安全。靈活的軟件隨選服務(wù)實現(xiàn)方式可以為用戶提供更加靈活的、可編程的、彈性的軟硬件一體化解決方案。這種方案的優(yōu)勢是：可以根據(jù)用戶的需求，提供定制化或個性化的軟硬一體化基礎(chǔ)設(shè)施服務(wù)，可以支持如NFV等新技術(shù)，真正為用戶提供兼具可靠性、高性能以及可編程的穩(wěn)健網(wǎng)絡(luò)解決方案。
3.5.2 可靠性
AD-WAN控制器作為整個分支廣域網(wǎng)的控制中心，其安全可靠性至關(guān)重要。AD-WAN解決方案提供集群HA部署方案，并支持控制器和網(wǎng)絡(luò)故障逃生功能，保證控制器的高可靠性，從而提升廣域網(wǎng)的健壯性。
3.5.2.1 控制器集群方案
AD-WAN控制器集群由3臺控制器組成，互為備份，通過ODL Akka集群機制進行集群同步。集群控制器間工作模式為1主N備，同一時刻僅有一臺主控制器對外提供服務(wù)。當(dāng)集群Leader故障后，由ODL akka重新選舉集群Leader，新選舉的主Leader負責(zé)集群業(yè)務(wù)管理，其余控制器作為備份。
圖3-5 AD-WAN控制器集群部署
3.5.2.2 網(wǎng)絡(luò)可靠性方案
AD-WAN分支解決方案是在underlay網(wǎng)絡(luò)基礎(chǔ)上疊加overlay的方式實現(xiàn)可視呈現(xiàn)和流量調(diào)度功能，相較于傳統(tǒng)方式，在傳統(tǒng)設(shè)備控制層面上疊加了AD-WAN對整個網(wǎng)絡(luò)進行策略控制，數(shù)據(jù)轉(zhuǎn)發(fā)支持overlay隧道轉(zhuǎn)發(fā)和underlay備份路由轉(zhuǎn)發(fā)，可靠性更高。
網(wǎng)絡(luò)故障情況下設(shè)備會根據(jù)調(diào)度策略自動執(zhí)行可靠性切換。
通過RIR技術(shù)，控制器下發(fā)調(diào)度策略到轉(zhuǎn)發(fā)設(shè)備，實際策略的執(zhí)行在設(shè)備上運行，即是控制器故障或者托管，仍能根據(jù)準(zhǔn)確的執(zhí)行調(diào)度策略。
4 成功案例
本方案在海爾集團智能廣域網(wǎng)SDN實踐中應(yīng)用。
日日順是海爾集團旗下綜合服務(wù)品牌，以誠信為核心，以社群為基本單元，做有溫度的觸點網(wǎng)絡(luò)，致力成為物聯(lián)網(wǎng)時代社群最佳體驗迭代生態(tài)圈。2019年6月，世界品牌實驗室(World Brand Lab)權(quán)威發(fā)布日日順成功入選“中國500最具價值品牌”榜；2018年，日日順品牌價值301.08億元，成為物聯(lián)網(wǎng)時代觸點迭代生態(tài)圈生態(tài)品牌；2018年，日日順榮獲中國馳名商標(biāo)。日日順旗下有日日順物流、日日順樂家、日日順樂農(nóng)等產(chǎn)業(yè)平臺和高端農(nóng)特產(chǎn)品生態(tài)品牌—樂家誠品。
通過部署H3C 智能廣域網(wǎng)分支解決方案，海爾集團順利完成物流板塊全國廣域網(wǎng)網(wǎng)絡(luò)資源整合，將分布在全國的136個智慧倉、6000家服務(wù)網(wǎng)點、10萬輛車連接起來，形成輻射全國的分布式三級云倉網(wǎng)絡(luò)。掌控分布于15大發(fā)運基地600多萬平米倉儲信息，合理規(guī)劃3300多條班車循環(huán)專線，初步完成了跨越轉(zhuǎn)型期可編排、快速交付、彈性收放的智能網(wǎng)絡(luò)構(gòu)建，以快速響應(yīng)市場業(yè)務(wù)靈活變化的要求，形成智慧物流的可靠神經(jīng)中樞。
客戶收益：
? 降低成本：使用Internet替換原有專線接入，專線接入成本降低30萬/月
? 快速部署：業(yè)務(wù)上線快速評估，動態(tài)調(diào)整網(wǎng)絡(luò)資源，實現(xiàn)一鍵自動化部署
? 應(yīng)用可視：基于URL的DPI應(yīng)用分析識別，自動呈現(xiàn)訂單等關(guān)鍵應(yīng)用健康狀態(tài)
? 業(yè)務(wù)保障：智能選路，靈活的策略調(diào)整，保障高優(yōu)先級業(yè)務(wù)，應(yīng)對雙十一、618等突發(fā)訂單業(yè)務(wù)
? 簡化運維：實時掌握網(wǎng)絡(luò)運行情況，快速識別和排查故障，分鐘級運維響應(yīng)
海爾集團日日順物流作為大件物流的領(lǐng)導(dǎo)品牌，攜手新華三AD-WAN數(shù)字化解決方案，成功為企業(yè)業(yè)務(wù)發(fā)展搭建了堅實的技術(shù)基礎(chǔ)，同時也為海爾集團加速數(shù)字化轉(zhuǎn)型進程提供了更加強勁的源動力。未來，海爾集團將和新華三集團聚力合作，共同助力工業(yè)化與信息化的深度融合，加速推動智能制造行業(yè)的高質(zhì)量、可持續(xù)發(fā)展。