引言:福州水務(wù)集團(tuán)有限公司(以下簡(jiǎn)稱“福州水務(wù)”)成立于2008年,注冊(cè)資本21.2億元?,F(xiàn)有各級(jí)參控股子公司60多家,包括1家A股上市企業(yè)及2家國(guó)家級(jí)高新技術(shù)企業(yè)。福州水務(wù)是一家集供水、排水、環(huán)保、溫泉、綜合服務(wù)五大板塊為一體的綜合環(huán)境服務(wù)商,市場(chǎng)拓展至省內(nèi)外,輻射江西、廣東、江蘇、浙江等16個(gè)省、市、自治區(qū)。運(yùn)營(yíng)17座水廠,總規(guī)模195萬(wàn)噸/日,其中福州主城區(qū)供水服務(wù)范圍覆蓋福州市四城區(qū)約250平方公里,服務(wù)人口超280萬(wàn)人;運(yùn)營(yíng)污水廠24座,污水處理規(guī)模176萬(wàn)噸/日,原水供應(yīng)規(guī)模336萬(wàn)噸/日(含在建),總規(guī)模707萬(wàn)噸/日(含在建)。
福州水務(wù)于2018年成立信息化指揮部并組建數(shù)字水務(wù)研究中心,正式啟動(dòng)數(shù)字水務(wù)建設(shè)。在數(shù)字水務(wù)建設(shè)的初級(jí)階段,福州水務(wù)規(guī)劃了“一個(gè)大數(shù)據(jù)中心、三大板塊、六大體系、八大重點(diǎn)項(xiàng)目”的“1368”數(shù)字水務(wù)戰(zhàn)略。在該戰(zhàn)略指引下,福州水務(wù)通過(guò)大數(shù)據(jù)中心建設(shè),向上支撐集團(tuán)生產(chǎn)運(yùn)營(yíng)、營(yíng)銷客服、管理管控三大板塊的不同應(yīng)用,以推進(jìn)集團(tuán)的數(shù)字化、智慧化轉(zhuǎn)型。
項(xiàng)目概況
福州水務(wù)大數(shù)據(jù)中心項(xiàng)目結(jié)合公司發(fā)展戰(zhàn)略的需要,建立適應(yīng)智慧水務(wù)的,具備行業(yè)影響力的大數(shù)據(jù)中心,統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn),提升數(shù)據(jù)質(zhì)量,為各類智慧應(yīng)用提供堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ),最終為管理運(yùn)營(yíng)提供有效的決策支持,提升數(shù)據(jù)的價(jià)值。
項(xiàng)目背景
福州水務(wù)高度重視營(yíng)商環(huán)境以及客戶服務(wù)工作,持續(xù)不斷推出便民舉措,并引入先進(jìn)的服務(wù)理念以及工具和手段輔助客戶服務(wù)工作效率和質(zhì)量的提升,公司相繼建設(shè)了營(yíng)銷系統(tǒng)、報(bào)裝系統(tǒng)、呼叫中心等多個(gè)系統(tǒng),這些系統(tǒng)對(duì)于客戶服務(wù)工作開展起到了良好的支撐作用。
在福州水務(wù)集團(tuán)有限公司“FS1368”數(shù)字水務(wù)戰(zhàn)略指引下,為進(jìn)一步升級(jí)和優(yōu)化客戶服務(wù)水平,對(duì)客戶服務(wù)相關(guān)的數(shù)據(jù)資源進(jìn)一步集成和整合,充分發(fā)掘利用數(shù)據(jù)資產(chǎn)價(jià)值,為福州水務(wù)的客戶服務(wù)工作人員提供更便捷的工具用于支撐服務(wù)工作,在進(jìn)一步提升服務(wù)于響應(yīng)速度和質(zhì)量的同時(shí),實(shí)現(xiàn)更進(jìn)一步的精準(zhǔn)服務(wù)和主動(dòng)服務(wù),為福州市民提供更好的用水服務(wù)體驗(yàn)。
2. 項(xiàng)目簡(jiǎn)介
福州水務(wù)數(shù)據(jù)資源規(guī)劃建立了數(shù)據(jù)資源的統(tǒng)一標(biāo)準(zhǔn)體系,描繪了數(shù)字化企業(yè)的數(shù)據(jù)流的基礎(chǔ)來(lái)源,保證數(shù)據(jù)的來(lái)源唯一性;對(duì)所涉及的數(shù)據(jù)進(jìn)行準(zhǔn)確的定義,包括該數(shù)據(jù)的各種屬性的描述。通過(guò)對(duì)業(yè)務(wù)管理層、決策分析層和基礎(chǔ)工作層等信息數(shù)據(jù)需求的分析,確定出數(shù)據(jù)在各層次的具體表現(xiàn)、交換方式、數(shù)據(jù)部署狀況,從而在此基礎(chǔ)上制定出企業(yè)數(shù)據(jù)規(guī)劃框架設(shè)計(jì)和實(shí)施策略。福州水務(wù)大數(shù)據(jù)中心即以此為標(biāo)準(zhǔn)進(jìn)行建設(shè)。
大數(shù)據(jù)中心平臺(tái)覆蓋全鏈路的數(shù)據(jù)集成、數(shù)據(jù)模型、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)開發(fā)、數(shù)據(jù)運(yùn)維、數(shù)據(jù)共享服務(wù)等不同階段的數(shù)據(jù)開發(fā)場(chǎng)景。并將原來(lái)通過(guò)人工經(jīng)驗(yàn)+人工約定的數(shù)據(jù)模型搭建改為系統(tǒng)化的規(guī)范方式,實(shí)現(xiàn)從模型的基礎(chǔ)配置到在線設(shè)計(jì)的規(guī)范化過(guò)程,使得無(wú)論從數(shù)據(jù)庫(kù)、表和字段層面上,形成系統(tǒng)化的命名規(guī)范。定時(shí)監(jiān)控規(guī)則運(yùn)行、即時(shí)生成校驗(yàn)報(bào)告,輔助定位數(shù)據(jù)質(zhì)量的問(wèn)題根源,實(shí)現(xiàn)數(shù)據(jù)高可信、高可用的目標(biāo)。
項(xiàng)目目標(biāo)
通過(guò)的統(tǒng)一數(shù)據(jù)匯聚和標(biāo)準(zhǔn)管理的能力、統(tǒng)一維護(hù)并對(duì)外提供服務(wù)的模式,盤活融通數(shù)據(jù)資產(chǎn)、激活數(shù)據(jù)服務(wù)能力,促進(jìn)“產(chǎn)業(yè)數(shù)據(jù)化、數(shù)據(jù)產(chǎn)業(yè)化”的正循環(huán)效應(yīng),從而實(shí)現(xiàn)“統(tǒng)一標(biāo)準(zhǔn)規(guī)范、統(tǒng)一數(shù)據(jù)存儲(chǔ)、統(tǒng)一數(shù)據(jù)資產(chǎn)、統(tǒng)一技術(shù)平臺(tái)、統(tǒng)一數(shù)據(jù)服務(wù)、百花齊放應(yīng)用”的效果。
(1)實(shí)現(xiàn)公司海量數(shù)據(jù)的集約化管理
建立基于Hadoop大數(shù)據(jù)中心,實(shí)現(xiàn)為各個(gè)應(yīng)用提供包括離線計(jì)算、實(shí)時(shí)計(jì)算、多維分析、統(tǒng)一資源管理及分布式文件系統(tǒng)服務(wù)。實(shí)現(xiàn)對(duì)“原、制、供、排、污”全業(yè)務(wù)鏈的生產(chǎn)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù),進(jìn)行集成和整合,構(gòu)建“人”,“水”,“廠”全方位的水務(wù)行業(yè)數(shù)據(jù)資產(chǎn),并提供多維度數(shù)據(jù)資產(chǎn)的感知、分析、監(jiān)控的能力;可構(gòu)建面向水務(wù)基礎(chǔ)設(shè)施數(shù)字化管理、管養(yǎng)精細(xì)化、調(diào)度智能化、服務(wù)扁平化等應(yīng)用場(chǎng)景的水務(wù)數(shù)據(jù)服務(wù)總線,實(shí)現(xiàn)企業(yè)級(jí)的數(shù)據(jù)服務(wù)發(fā)布和共享,支撐技術(shù)中心管理人員,長(zhǎng)期高效的運(yùn)營(yíng)數(shù)據(jù)服務(wù)能力,提高企業(yè)整體數(shù)據(jù)運(yùn)營(yíng)能力和工作效率。
(2)實(shí)現(xiàn)公司運(yùn)營(yíng)管理的全面降本增效
實(shí)現(xiàn)企業(yè)全面大數(shù)據(jù)治理,實(shí)現(xiàn)跨系統(tǒng)、跨部門自動(dòng)化數(shù)據(jù)流轉(zhuǎn),實(shí)現(xiàn)生產(chǎn)、管網(wǎng)輸配、營(yíng)銷客服等業(yè)務(wù)統(tǒng)一全面數(shù)據(jù)共享和業(yè)務(wù)整合,全面提升系統(tǒng)自動(dòng)化協(xié)同和閉環(huán)能力,建立公司統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)體系,依托數(shù)據(jù)全面整合,整體分析公司運(yùn)營(yíng)管理各個(gè)節(jié)點(diǎn)和問(wèn)題環(huán)節(jié),實(shí)現(xiàn)制度、流程的優(yōu)化和簡(jiǎn)化,全面提升公司工作效率,降低人耗、物耗和流程內(nèi)耗;實(shí)現(xiàn)應(yīng)用系統(tǒng)數(shù)據(jù)和其他業(yè)務(wù)領(lǐng)域數(shù)據(jù)全面打通和共享,全面提升數(shù)據(jù)實(shí)時(shí)性、精準(zhǔn)性、共享能力。例如:1、營(yíng)收客服數(shù)據(jù)能夠?yàn)樗畯S生產(chǎn)、精細(xì)化調(diào)度提供精準(zhǔn)水量預(yù)測(cè);2、為全面漏損分析、水質(zhì)分析提供數(shù)據(jù)支撐;3、為產(chǎn)銷差分析提供優(yōu)化分析模型的數(shù)據(jù)服務(wù);4、可以通過(guò)熱線電話分布區(qū)域信息和管網(wǎng)GIS信息,實(shí)現(xiàn)水質(zhì)等問(wèn)題精準(zhǔn)定位等業(yè)務(wù)。從而實(shí)現(xiàn)生產(chǎn)體系、管網(wǎng)輸配、二次供水與營(yíng)銷客服系統(tǒng)全面的數(shù)據(jù)打通、業(yè)務(wù)協(xié)同,提升整體運(yùn)營(yíng)效率,提升整體運(yùn)營(yíng)管理水平。
(3)提升公司大數(shù)據(jù)管理和大數(shù)據(jù)應(yīng)用能力
建設(shè)全面覆蓋公司生產(chǎn)、管網(wǎng)輸配、二次供水、營(yíng)銷客服體系的大數(shù)據(jù)中心和大數(shù)據(jù)應(yīng)用平臺(tái),實(shí)現(xiàn)大數(shù)據(jù)標(biāo)準(zhǔn)體系建設(shè),實(shí)現(xiàn)水務(wù)多領(lǐng)域數(shù)據(jù)融合,單一來(lái)源數(shù)據(jù)價(jià)值挖掘空間狹窄,更多數(shù)據(jù)價(jià)值創(chuàng)造將依賴多源數(shù)據(jù)融合,建設(shè)大數(shù)據(jù)中心為基礎(chǔ)的統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)體系,從而實(shí)現(xiàn)數(shù)據(jù)全面共享,標(biāo)準(zhǔn)化交換和價(jià)值挖掘,提升公司綜合運(yùn)營(yíng)管理能力。通過(guò)大數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)模型,實(shí)現(xiàn)各個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)全面共享,沉淀數(shù)據(jù)資產(chǎn)和共性能力,以平臺(tái)+應(yīng)用的建設(shè)模式,最終實(shí)現(xiàn)數(shù)據(jù)資源集約化利用,提升公司數(shù)據(jù)管理能力。
(4)提升公司全面對(duì)外數(shù)據(jù)服務(wù)能力
隨著智慧城市、數(shù)字化城市的發(fā)展,政府機(jī)構(gòu)、社會(huì)公眾、工商企業(yè)對(duì)水務(wù)公共事業(yè)基礎(chǔ)設(shè)施、生產(chǎn)運(yùn)營(yíng)、營(yíng)銷客服的數(shù)據(jù)共享、服務(wù)能力共享的訴求日益增強(qiáng),公司需要建立基于數(shù)據(jù)中臺(tái)的標(biāo)準(zhǔn)大數(shù)據(jù)服務(wù),對(duì)外提供規(guī)范統(tǒng)一、安全穩(wěn)定、高效靈活的數(shù)據(jù)服務(wù);構(gòu)建數(shù)據(jù)服務(wù)能力平臺(tái),為政府、社會(huì)機(jī)構(gòu)提供高效率、智能化大數(shù)據(jù)應(yīng)用服務(wù);通過(guò)平臺(tái)數(shù)據(jù)集成和計(jì)算查詢優(yōu)勢(shì)、對(duì)外提供高效和標(biāo)準(zhǔn)化的數(shù)據(jù)服務(wù),而不是通過(guò)傳統(tǒng)的應(yīng)用系統(tǒng)開發(fā)提供定制化接口,從而全面降低對(duì)業(yè)務(wù)系統(tǒng)的依賴和局限性,全面降低公司對(duì)外服務(wù)運(yùn)維成本。通過(guò)標(biāo)準(zhǔn)化、高效率、易維護(hù)的數(shù)據(jù)服務(wù)平臺(tái)的統(tǒng)一服務(wù)接口,為智慧市政、智慧社區(qū)等領(lǐng)域的應(yīng)用建設(shè)提供全面的大數(shù)據(jù)技術(shù)支撐。
二、項(xiàng)目實(shí)施概況
1. 項(xiàng)目總體架構(gòu)和主要內(nèi)容
本項(xiàng)目提出了一種基于Hadoop分布式并行計(jì)算技術(shù)的總體架構(gòu)。該架構(gòu)涵蓋了離線數(shù)倉(cāng)和實(shí)時(shí)數(shù)倉(cāng),提供了數(shù)據(jù)批處理與流處理的計(jì)算能力,為不同業(yè)務(wù)場(chǎng)景提供了一個(gè)數(shù)據(jù)計(jì)算支撐平臺(tái)。圖1給出了大數(shù)據(jù)中心的總體技術(shù)架構(gòu)圖。
圖1 大數(shù)據(jù)中心總體技術(shù)架構(gòu)
Hadoop作為大數(shù)據(jù)管理平臺(tái)一個(gè)核心應(yīng)用,大數(shù)據(jù)管理平臺(tái)建設(shè)為了更好的滿足應(yīng)用需求和結(jié)合Hadoop的性能、功能,采用Hadoop的HDFS作為分布式大數(shù)據(jù)量存儲(chǔ)的核心。大數(shù)據(jù)中心平臺(tái)通過(guò)對(duì)Hadoop的定制來(lái)滿足實(shí)際應(yīng)用的需求,通過(guò)開發(fā)分布式計(jì)算程序來(lái)提供和支持云計(jì)算和大數(shù)據(jù)的分析挖掘。
在該系統(tǒng)中,整體分為數(shù)據(jù)采集層、模型計(jì)算層、數(shù)據(jù)服務(wù)層和管理運(yùn)維層等四個(gè)層次。覆蓋了水務(wù)行業(yè)水廠、管網(wǎng)、二供、營(yíng)收、客服等全業(yè)務(wù)數(shù)據(jù)采集、計(jì)算與共享等方面。
3. 具體應(yīng)用場(chǎng)景和應(yīng)用模式
應(yīng)用場(chǎng)景
(1)建立統(tǒng)一數(shù)據(jù)匯聚中心。將主題數(shù)據(jù)進(jìn)行梳理,通過(guò)采集、清洗、轉(zhuǎn)換工作,匯聚至大數(shù)據(jù)中心進(jìn)行存儲(chǔ),打破了數(shù)據(jù)孤島現(xiàn)狀,并建立數(shù)據(jù)存儲(chǔ)標(biāo)準(zhǔn),為后續(xù)數(shù)據(jù)開發(fā)、數(shù)據(jù)共享、數(shù)據(jù)應(yīng)用提供數(shù)據(jù)支撐。
(2)建立服務(wù)總線。大數(shù)據(jù)中心建立數(shù)據(jù)服務(wù)總線,打通并建立統(tǒng)一的業(yè)務(wù)系統(tǒng)與異構(gòu)系統(tǒng)數(shù)據(jù)共享通道,將大數(shù)據(jù)中心自身數(shù)據(jù)以服務(wù)形式進(jìn)行封裝輸出外,也將業(yè)務(wù)系統(tǒng)自有接口進(jìn)行注冊(cè)轉(zhuǎn)發(fā),以此建立數(shù)據(jù)服務(wù)市場(chǎng),將企業(yè)內(nèi)所有數(shù)據(jù)服務(wù)統(tǒng)一發(fā)布,各類異構(gòu)系統(tǒng)可瀏覽市場(chǎng),并按需申請(qǐng)服務(wù)。解決對(duì)接通道太多、數(shù)據(jù)服務(wù)無(wú)法監(jiān)控、重復(fù)接出、對(duì)業(yè)務(wù)系統(tǒng)造成壓力、無(wú)法管理等多種問(wèn)題。
(3)綜合業(yè)務(wù)平臺(tái)。該平臺(tái)主要面向坐席客服人員,將營(yíng)收、報(bào)裝、表務(wù)、工單、熱線、短信等日常坐席人員所使用的系統(tǒng)進(jìn)行數(shù)據(jù)整合,提供匯聚上述系統(tǒng)關(guān)鍵用戶信息的綜合查詢頁(yè)面。通過(guò)綜合業(yè)務(wù)平臺(tái),可直觀的展示用戶畫像,通過(guò)簡(jiǎn)易搜索條件,如用戶手機(jī)號(hào)、客戶編號(hào)等快捷查詢相關(guān)用戶的基礎(chǔ)信息、繳費(fèi)記錄、欠繳信息、抄表信息、短信發(fā)送記錄、報(bào)裝記錄、熱線服務(wù)工單、熱線錄音等所有關(guān)聯(lián)數(shù)據(jù)。同時(shí)該平臺(tái)也可作為企業(yè)客戶信息關(guān)系查詢渠道,為營(yíng)管、客服等相關(guān)部門提供業(yè)務(wù)輔助。
(4)提供報(bào)表工具。大數(shù)據(jù)中心提供了自定義報(bào)表工具,該工具不受限于報(bào)表的格式、統(tǒng)計(jì)維度,且能隨時(shí)變更報(bào)表樣式,快速制作報(bào)表。業(yè)務(wù)部門只需要提供報(bào)表內(nèi)容的統(tǒng)計(jì)邏輯,由信息管理部門利用大數(shù)據(jù)中心開發(fā)平臺(tái)制作出相關(guān)數(shù)據(jù)指標(biāo),業(yè)務(wù)部門即可自己將數(shù)據(jù)指標(biāo)拖拽至表格區(qū),自由定義所需要的報(bào)表樣式,極大的縮短了報(bào)表制作時(shí)長(zhǎng),降低報(bào)表制作門檻。
應(yīng)用情況
外部業(yè)務(wù)應(yīng)用概況
目前大數(shù)據(jù)中心支撐了網(wǎng)上營(yíng)業(yè)廳、微信公眾號(hào)、產(chǎn)銷差系統(tǒng)、財(cái)務(wù)系統(tǒng)的數(shù)據(jù)服務(wù)。這種模式,相比傳統(tǒng)數(shù)據(jù)服務(wù)開發(fā)效率提高50%以上,徹底解放即時(shí)開發(fā)所帶來(lái)的人力消耗,數(shù)據(jù)靈活復(fù)用有助于提高數(shù)據(jù)開放共享能力,推動(dòng)數(shù)據(jù)資產(chǎn)服務(wù)化,讓開發(fā)者集中精力關(guān)注創(chuàng)新應(yīng)用的業(yè)務(wù)需求。
以網(wǎng)上營(yíng)業(yè)廳為例,在對(duì)接大數(shù)據(jù)中心之前,是需要分別與原營(yíng)業(yè)收費(fèi)系統(tǒng)對(duì)接賬單查詢接口,與工單系統(tǒng)對(duì)接工單申報(bào)接口,與微信公眾號(hào)對(duì)接公共信息發(fā)布接口等等,這些接口只能單獨(dú)服務(wù)于網(wǎng)上營(yíng)業(yè)廳,其它第三方平臺(tái)無(wú)法直接復(fù)用。
而大數(shù)據(jù)中心作為網(wǎng)上營(yíng)業(yè)廳與營(yíng)收、報(bào)裝、工單、表務(wù)、短信平臺(tái)等業(yè)務(wù)系統(tǒng)數(shù)據(jù)交換的唯一通道,幾乎支撐了網(wǎng)上營(yíng)業(yè)廳所有功能的運(yùn)行,極大的提升了接口復(fù)用性,能夠通過(guò)接口訪問(wèn)權(quán)限,為任意第三方平臺(tái)提供必要的接口服務(wù)。同時(shí),也極大的簡(jiǎn)化了數(shù)據(jù)流結(jié)構(gòu),通過(guò)大數(shù)據(jù)中心的監(jiān)控能迅速定位出故障發(fā)生位置,便于后期數(shù)據(jù)管理與監(jiān)控。
內(nèi)部可視化應(yīng)用情況
包括1個(gè)綜合業(yè)務(wù)平臺(tái)、2個(gè)駕駛艙、2個(gè)大屏、3個(gè)數(shù)據(jù)挖掘主題(改善每月抄表情況、優(yōu)化水表管理、改善工單處理狀況),共計(jì)88項(xiàng)指標(biāo)和19張報(bào)表,覆蓋了水表、用戶檔案、抄表、計(jì)費(fèi)、工單、報(bào)裝、話務(wù)和收費(fèi)等業(yè)務(wù),極大提升了營(yíng)銷數(shù)據(jù)的使用價(jià)值,為基層業(yè)務(wù)人員日常工作提供了切切實(shí)實(shí)的便利。
例如:營(yíng)管部每月要統(tǒng)計(jì)連續(xù)0噸用戶清單,以便篩選出異常用戶,安排人員現(xiàn)場(chǎng)核實(shí)處理,減少企業(yè)水量、水費(fèi)損失。此項(xiàng)工作,據(jù)工作人員反饋,每次需要花費(fèi)將近1周的時(shí)間,從原營(yíng)收系統(tǒng)中各個(gè)位置統(tǒng)計(jì)、導(dǎo)出,然后再作篩選,工作量大,并且容易出錯(cuò)。而大數(shù)據(jù)中心提供的“連續(xù)0噸用戶清單”報(bào)表,可以自定義查詢固定時(shí)間段內(nèi)連續(xù)XX月0噸用戶清單,經(jīng)業(yè)務(wù)人員核對(duì),數(shù)據(jù)準(zhǔn)確、使用便利,從根本上協(xié)助業(yè)務(wù)人員釋放了工作壓力,極大的提高了工作效率。
圖例1:業(yè)務(wù)報(bào)表工具
綜合業(yè)務(wù)查詢平臺(tái)匯聚了營(yíng)收系統(tǒng)、報(bào)裝系統(tǒng)、工單系統(tǒng)、表務(wù)系統(tǒng)、熱線系統(tǒng)和短信平臺(tái)的相關(guān)數(shù)據(jù),平臺(tái)會(huì)根據(jù)每個(gè)用水戶的用水行為,自動(dòng)建立用戶畫像,同時(shí)也支持通過(guò)一個(gè)平臺(tái),一次操作,查詢出6個(gè)系統(tǒng)的業(yè)務(wù)數(shù)據(jù)。綜合業(yè)務(wù)查詢平臺(tái)為客戶服務(wù)中心業(yè)務(wù)人員提供了統(tǒng)一、便捷、快速的服務(wù)平臺(tái),當(dāng)坐席接到用戶來(lái)電時(shí),即可通過(guò)來(lái)電號(hào)碼定位用戶,為坐席人員提供用戶基本信息、用水信息、繳費(fèi)信息、工單信息、歷史短信、歷史來(lái)電情況、停水情況等等全方位的數(shù)據(jù),極大的縮短了服務(wù)時(shí)長(zhǎng),提高了便民服務(wù)體驗(yàn)。目前該平臺(tái)已在“客服熱線中心”進(jìn)行試運(yùn)行,該平臺(tái)的數(shù)據(jù)呈現(xiàn)方式得到了業(yè)務(wù)人員和相關(guān)領(lǐng)導(dǎo)的認(rèn)可。
系統(tǒng)相關(guān)截圖如下:
圖例2:綜合業(yè)務(wù)查詢平臺(tái)
圖例3:營(yíng)銷駕駛艙
圖例4:客服駕駛艙
圖例5:營(yíng)銷報(bào)表
圖例6:客服報(bào)表
5. 其他亮點(diǎn)
1.全鏈路基礎(chǔ)營(yíng)銷體系數(shù)據(jù)工廠,支撐大數(shù)據(jù)中心多樣性需求。數(shù)據(jù)平臺(tái)覆蓋全鏈路數(shù)據(jù)集成、數(shù)據(jù)模型、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)開發(fā)、數(shù)據(jù)運(yùn)維、數(shù)據(jù)共享服務(wù)等不同階段的數(shù)據(jù)開發(fā)場(chǎng)景,全面支持大數(shù)據(jù)中心建設(shè)過(guò)程中的多樣性需求,開發(fā)過(guò)程無(wú)需切換多個(gè)工具
2.規(guī)范化數(shù)據(jù)模型開發(fā),實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)可視化。將原來(lái)通過(guò)人工經(jīng)驗(yàn)+人工約定的數(shù)據(jù)模型搭建改為系統(tǒng)化的規(guī)范方式,實(shí)現(xiàn)從模型的基礎(chǔ)配置、到在線設(shè)計(jì)的規(guī)范化過(guò)程,使得無(wú)論從數(shù)據(jù)庫(kù)、表和字段層面上,形成系統(tǒng)化的命名規(guī)范。可實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)元數(shù)據(jù)可更新、可維護(hù),支持多級(jí)類目管理,確保數(shù)據(jù)資產(chǎn)分門別類,便于后續(xù)的查找和維護(hù)。
3.通過(guò)全流程監(jiān)控打造數(shù)據(jù)治理閉環(huán)機(jī)制?;诟餍袠I(yè)實(shí)戰(zhàn)經(jīng)驗(yàn),平臺(tái)內(nèi)置多種校驗(yàn)規(guī)則,滿足大多數(shù)場(chǎng)景下的數(shù)據(jù)質(zhì)量檢驗(yàn)需求,定時(shí)監(jiān)控規(guī)則運(yùn)行、即時(shí)查看校驗(yàn)報(bào)告,輔助定位數(shù)據(jù)質(zhì)量的問(wèn)題根源,為數(shù)據(jù)高可用性保駕護(hù)航。最終實(shí)現(xiàn)對(duì)數(shù)據(jù)質(zhì)量問(wèn)題實(shí)時(shí)監(jiān)測(cè),事前準(zhǔn)備、事中監(jiān)測(cè)、事后報(bào)告,讓數(shù)據(jù)達(dá)到高可信、高可用的目標(biāo)。
4.零代碼生成API,數(shù)據(jù)服務(wù)調(diào)用全流程監(jiān)控。數(shù)據(jù)獲取無(wú)需編碼,通過(guò)在線配置簡(jiǎn)易、快速創(chuàng)建API,并通過(guò)在API市場(chǎng)上架,實(shí)現(xiàn)對(duì)于數(shù)據(jù)服務(wù)的統(tǒng)一化管理,提高數(shù)據(jù)應(yīng)用效率,挖掘數(shù)據(jù)共享價(jià)值。根據(jù)數(shù)據(jù)服務(wù)調(diào)用情況進(jìn)行實(shí)時(shí)監(jiān)管,后臺(tái)安全可控。
三、下一步實(shí)施計(jì)劃
雖然大數(shù)據(jù)中心(一期)重點(diǎn)是營(yíng)銷客服專題,但這并不意味著大數(shù)據(jù)中心只支持營(yíng)銷客服板塊數(shù)據(jù)的匯聚、開發(fā)與服務(wù),根據(jù)數(shù)字水務(wù)規(guī)劃,在大數(shù)據(jù)中心的目標(biāo)就要做成一個(gè)支持多元接入的能力平臺(tái)。所以,后續(xù)水務(wù)集團(tuán)中排水、溫泉、污水、工程等等不同業(yè)務(wù)類型,不同數(shù)據(jù)存儲(chǔ)方式,均能通過(guò)大數(shù)據(jù)中心進(jìn)行數(shù)據(jù)的二次開發(fā)和共享。
四、項(xiàng)目創(chuàng)新點(diǎn)和實(shí)施效果
1. 項(xiàng)目先進(jìn)性及創(chuàng)新點(diǎn)
(1)先進(jìn)性
1)異構(gòu)數(shù)據(jù)存儲(chǔ)、冗余存儲(chǔ)和PB級(jí)別的計(jì)算能力
支持多數(shù)據(jù),包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化(JSON/BSON,XML形式存儲(chǔ))、非結(jié)構(gòu)化數(shù)據(jù),例如純文本、圖片或者圖層數(shù)據(jù)的高效存儲(chǔ)以及讀取。
數(shù)據(jù)分片冗余存儲(chǔ)多份以上。
通過(guò)使用MPP技術(shù),在高負(fù)載下可保持高性能,每機(jī)架每小時(shí)可處理高達(dá)10T的數(shù)據(jù)。
2)基于SQL的快速批處理
支持通過(guò)SQL語(yǔ)言對(duì)數(shù)據(jù)進(jìn)行高效批量統(tǒng)計(jì)的能力。同時(shí)利用全局/輔助索引進(jìn)行SQL執(zhí)行加速,可以滿足高速的OLAP數(shù)據(jù)分析應(yīng)用需求和高速的SQL離線批處理。
3)低延時(shí)高并發(fā)查詢
支持多種索引,包括全局索引(GlobalIndex)、局部索引(LocalIndex)、高維索引(High-DimensionalIndex)以及全文索引(Full-TextIndex)等;
支持通過(guò)SQL進(jìn)行復(fù)雜條件毫秒級(jí)高并發(fā)查詢,滿足在線存儲(chǔ)和在線業(yè)務(wù)分析系統(tǒng)(OLAP)的低延時(shí)需求。
4)高級(jí)機(jī)器學(xué)習(xí)功能
內(nèi)嵌Apache MADLib 機(jī)器學(xué)習(xí)庫(kù),提供大量機(jī)器學(xué)習(xí)算法,支持R、線性代數(shù)和機(jī)器學(xué)習(xí)功能。
5)數(shù)據(jù)高度壓縮
采用了業(yè)內(nèi)領(lǐng)先的壓縮技術(shù),提高性能的同時(shí),顯著地減少存儲(chǔ)數(shù)據(jù)所需的空間??蛻艨梢詫⑺每臻g減少3-10倍,并提高有效的I/O性能。
6)動(dòng)態(tài)擴(kuò)容
便捷的小規(guī)模或大規(guī)模擴(kuò)展,同時(shí)避免高成本的設(shè)備或SMP服務(wù)器升級(jí)。
7)本次技術(shù)選型相對(duì)Hadoop、Hive、Spark等常規(guī)大數(shù)據(jù)平臺(tái)技術(shù)的優(yōu)勢(shì)
性能:在6臺(tái)8核16G的服務(wù)器上對(duì)30億條記錄做統(tǒng)計(jì)分析查詢,Hadoop+Spark花費(fèi)的時(shí)間接近120秒,GP用時(shí)1秒;
索引支持:GP支持持二叉搜索樹、哈希、位圖、GiST和GIN,從而能夠?qū)崿F(xiàn)多種索引功能,提供給數(shù)據(jù)架構(gòu)師實(shí)施優(yōu)化設(shè)計(jì)所必需的工具。
事務(wù)支持:同時(shí)支持OLAP和OLTP,Hadoop等不支持?jǐn)?shù)據(jù)庫(kù)事務(wù);
數(shù)據(jù)加載速度:高性能的并行數(shù)據(jù)裝載器可以在所有節(jié)點(diǎn)上同步執(zhí)行操作,裝載速度超過(guò)4.5TB/小時(shí);
易用性:完全支持ANSI SQL 2008標(biāo)準(zhǔn)和SQL OLAP 2003 擴(kuò)展;從應(yīng)用編程接口上講,它支持ODBC和JDBC。完善的標(biāo)準(zhǔn)支持使得系統(tǒng)開發(fā)、維護(hù)和管理都大為方便。而現(xiàn)在的 NoSQL,NewSQL和Hadoop 對(duì) SQL 的支持都不完善,不同的系統(tǒng)需要單獨(dú)開發(fā)和管理,且移植性不好;
數(shù)據(jù)壓縮:GP可以對(duì)冷數(shù)據(jù)進(jìn)行壓縮,壓縮后減少的磁盤空間10倍以上,并提高有效的I/O性能。
8)報(bào)表引擎優(yōu)勢(shì)
提供報(bào)表設(shè)計(jì)器,支持多維度報(bào)表結(jié)構(gòu)設(shè)計(jì),支持多層嵌套的表頭信息,支持多數(shù)據(jù)源
(2)創(chuàng)新點(diǎn)
1)集成kettle到大數(shù)據(jù)中心
集成kettle到大數(shù)據(jù)中心,統(tǒng)一由大數(shù)據(jù)中心進(jìn)行etl邏輯編撰和作業(yè)調(diào)度,使用kettle剝離數(shù)據(jù)存儲(chǔ)到ODS層,降低近半數(shù)據(jù)量存儲(chǔ)。
2)實(shí)現(xiàn)了API統(tǒng)一管理
研發(fā)了水務(wù)數(shù)據(jù)底座技術(shù),建立了API(數(shù)據(jù)服務(wù)接口)庫(kù),很方便的實(shí)現(xiàn)了與第三方軟件產(chǎn)品及數(shù)據(jù)對(duì)接。
3)整合空間數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)
通過(guò)分析、抽取、整合GIS系統(tǒng)與其它業(yè)務(wù)系統(tǒng)的基礎(chǔ)數(shù)據(jù),從而提升了業(yè)務(wù)數(shù)據(jù)可視化的能力。
4)提供了數(shù)據(jù)倉(cāng)庫(kù)建設(shè)標(biāo)準(zhǔn)
借助多年的水行業(yè)業(yè)務(wù)經(jīng)驗(yàn),課題建設(shè)了標(biāo)準(zhǔn)的DW層和DM數(shù)據(jù)數(shù)據(jù)結(jié)構(gòu),便于以“USB口”的形式,直接接入任何同類型產(chǎn)品的ODS層數(shù)據(jù),減少了對(duì)接難度和時(shí)間。
5)提供了常用指標(biāo)的標(biāo)準(zhǔn)算法邏輯
基于“營(yíng)銷”和“生產(chǎn)”體系,形成了標(biāo)準(zhǔn)的指標(biāo)算法邏輯,由于該算法從標(biāo)準(zhǔn)的DW層和DM層獲取數(shù)據(jù),所以可提升各類指標(biāo)算法的復(fù)用性。
6)大數(shù)據(jù)中心建設(shè)及挖掘數(shù)據(jù)價(jià)值
基于數(shù)據(jù)分析挖掘,實(shí)現(xiàn)水務(wù)業(yè)務(wù)從被動(dòng)服務(wù)到主動(dòng)服務(wù)的轉(zhuǎn)變。
2. 實(shí)施效果
(1)大數(shù)據(jù)中心在網(wǎng)上營(yíng)業(yè)廳的應(yīng)用
大數(shù)據(jù)中心共為網(wǎng)上營(yíng)業(yè)廳提供98個(gè)接口,其中13個(gè)接口直接從大數(shù)據(jù)中心的數(shù)據(jù)倉(cāng)庫(kù)中獲取用戶、賬單等數(shù)據(jù), 85個(gè)接口為各關(guān)聯(lián)業(yè)務(wù)系統(tǒng)接口,在大數(shù)據(jù)中心注冊(cè)、轉(zhuǎn)發(fā)和管理。接口日均訪問(wèn)量超萬(wàn)次,接口調(diào)用成功率99.98%,接口平均調(diào)用時(shí)長(zhǎng)約0.6秒,其中賬單類的接口調(diào)用時(shí)長(zhǎng)在1.2秒左右,其它接口大多數(shù)在1秒以內(nèi)。
通過(guò)接口服務(wù)支撐模式,極大的減少了網(wǎng)上營(yíng)業(yè)廳在系統(tǒng)后端的開發(fā)投入,大數(shù)據(jù)中心直接承載了多個(gè)業(yè)務(wù)后端邏輯的調(diào)研、梳理、開發(fā)及服務(wù),包括:應(yīng)收列表、營(yíng)收明細(xì)、繳費(fèi)信息、水表信息、用戶代扣信息、系統(tǒng)收費(fèi)方式、年度賬單用水總量、年度賬單用戶信用等級(jí)、年度賬單年繳費(fèi)類型、年度賬單加價(jià)費(fèi)用、查詢客戶編號(hào)、查詢用戶畫像等。
(2)大數(shù)據(jù)中心在水務(wù)智慧大腦的應(yīng)用
大數(shù)據(jù)中心為福州水務(wù)智慧大腦提供5個(gè)接口,其中4個(gè)接口直接從大數(shù)據(jù)中心的數(shù)據(jù)倉(cāng)庫(kù)中獲取用戶、工單、停水等數(shù)據(jù),為集團(tuán)總覽板塊、供水總覽板塊和營(yíng)銷客服板塊提供數(shù)據(jù)支撐。1個(gè)接口在大數(shù)據(jù)中心注冊(cè)、轉(zhuǎn)發(fā)和管理。接口每日訪問(wèn)量合計(jì)20次以上,接口調(diào)用成功率100%,接口平均調(diào)用時(shí)長(zhǎng)約0.5秒。
福州智慧大腦綜合大屏的數(shù)據(jù)不僅僅來(lái)源于大數(shù)據(jù)中心,如果將其接入數(shù)據(jù)來(lái)源分為大數(shù)據(jù)中心與非大數(shù)據(jù)中心,非大數(shù)據(jù)中心的數(shù)據(jù)接入比較繁瑣,信息工程師需要開展數(shù)據(jù)情況調(diào)研與業(yè)務(wù)計(jì)算邏輯、指標(biāo)數(shù)據(jù)開發(fā)、結(jié)果校驗(yàn)、服務(wù)封裝等整個(gè)過(guò)程,信息工程師往往對(duì)接一個(gè)指標(biāo)數(shù)據(jù)需要花費(fèi)兩周,甚至更久,而來(lái)源大數(shù)據(jù)中心的數(shù)據(jù)則可直接進(jìn)行服務(wù)調(diào)用,前期的所有工作由大數(shù)據(jù)中心直接接管,甚至后期數(shù)據(jù)維護(hù)、監(jiān)控管理都不需要參與,水務(wù)智慧大腦平臺(tái)只管使用即可,大大縮短了水務(wù)智慧大腦的建設(shè)周期,減輕了后端管理的壓力。
(3)大數(shù)據(jù)中心在產(chǎn)銷差分析系統(tǒng)的應(yīng)用
大數(shù)據(jù)中心為產(chǎn)銷差分析系統(tǒng)提供了8個(gè)接口,系統(tǒng)每日從大數(shù)據(jù)中心接口中獲取抄表數(shù)據(jù)與用戶表信息數(shù)據(jù),主要用于計(jì)算三級(jí)分區(qū)的供水量、一二三級(jí)分區(qū)的售水量、監(jiān)控表與戶表對(duì)應(yīng)關(guān)系,得到產(chǎn)銷差的計(jì)算結(jié)果。接口每日調(diào)用頻率700次以上,接口調(diào)用成功率100%,接口平均調(diào)用時(shí)長(zhǎng)約0.7秒。
在大數(shù)據(jù)中心提供支撐之前,產(chǎn)銷差系統(tǒng)為獲取用戶信息與水量開賬信息則需要每日多次請(qǐng)求營(yíng)業(yè)收費(fèi)數(shù)據(jù)庫(kù),這將增加營(yíng)業(yè)收費(fèi)數(shù)據(jù)庫(kù)的負(fù)擔(dān),影響營(yíng)業(yè)收費(fèi)系統(tǒng)的日常運(yùn)行效率。此外獲取到的水量信息還需要進(jìn)行合并同一戶水表的每月多次開賬記錄等特殊化處理,才能接入產(chǎn)銷差系統(tǒng)正常使用,不僅繁瑣,且時(shí)效性極低,通過(guò)大數(shù)據(jù)中心接口即可避免這一操作,實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化規(guī)范化輸出至其他應(yīng)用系統(tǒng)。
(4)大數(shù)據(jù)中心在水力模型業(yè)務(wù)的應(yīng)用
大數(shù)據(jù)中心為供水水力模型系統(tǒng)提供了7個(gè)服務(wù)接口,涉及用戶信息更新、抄表、用戶狀態(tài)、區(qū)域水量等方面,以往水力模型需要直接對(duì)接營(yíng)收系統(tǒng)匯總的“表卡信息表”、“客戶信息表”與“營(yíng)業(yè)賬子表”,但由于該表按月份分表、分庫(kù)存儲(chǔ)的,如果涉及跨月查詢統(tǒng)計(jì)時(shí),非常繁瑣,需要對(duì)歷史表進(jìn)行組合、篩選和計(jì)算,將會(huì)降低查詢效率、增加接口維護(hù)難度,水力模型很難做到精準(zhǔn)的在線計(jì)算。
在與大數(shù)據(jù)中心對(duì)接后,通過(guò)大數(shù)據(jù)中心對(duì)分歷史數(shù)據(jù)的處理計(jì)算機(jī)制,提供API服務(wù)為水力模型高頻輸出和更新用戶、抄表和分區(qū)等營(yíng)收數(shù)據(jù),支撐模型的爆管處置和方案模擬的計(jì)算結(jié)果,提高水力模型系統(tǒng)在在線計(jì)算時(shí)的精準(zhǔn)度。接口累計(jì)訪問(wèn)量已近萬(wàn)次,接口調(diào)用成功率100%,接口平均調(diào)用時(shí)長(zhǎng)約0.4秒。
(5)大數(shù)據(jù)中心在停水區(qū)域劃定及消息推送業(yè)務(wù)的應(yīng)用
傳統(tǒng)的停水發(fā)布在操作上較為繁瑣,需要大量線下協(xié)調(diào)對(duì)接,容易出錯(cuò)和遺漏,特別在營(yíng)管部做好停水計(jì)劃時(shí),需要通過(guò)郵件發(fā)送給客服部,客服部再打開短信發(fā)送平臺(tái),將郵件內(nèi)容復(fù)制進(jìn)去修改發(fā)送。在信息精準(zhǔn)度上也沒(méi)有辦法把控,如發(fā)送微信停水信息,不論是否受計(jì)劃停水影響的用戶全員普發(fā),導(dǎo)致關(guān)注“福州水務(wù)”公眾號(hào)的群眾每天收到無(wú)關(guān)停水信息,久而久之造成用戶對(duì)停水消息麻木對(duì)待,真當(dāng)自己小區(qū)停水時(shí)可能也不會(huì)關(guān)注到,偏離了微信停水推送的初衷。
針對(duì)上述情況,大數(shù)據(jù)中心團(tuán)隊(duì)聯(lián)合營(yíng)管與客服部,將大數(shù)據(jù)中心能力與GIS平臺(tái)能力相結(jié)合,通過(guò)GIS圈定停水區(qū)域,將停水信息精準(zhǔn)的推送到受影響用戶的手機(jī)和微信上,整個(gè)過(guò)程流暢、便捷、精準(zhǔn)。如:營(yíng)管部打開“停水區(qū)域劃定”應(yīng)用,在GIS上圈定停水區(qū)域,系統(tǒng)將自動(dòng)分析出受影響的小區(qū)名稱、受影響小區(qū)數(shù)量、受影響用戶數(shù)量等關(guān)鍵信息,并與大數(shù)據(jù)中心建立數(shù)據(jù)通訊,得到受影響的重點(diǎn)用戶、小區(qū)用戶、散戶等詳細(xì)信息??头靠杉磿r(shí)收到營(yíng)管部提交的計(jì)劃停水方案,并可進(jìn)行二次修正,并結(jié)合從大數(shù)據(jù)中心自動(dòng)獲取到的用戶手機(jī)號(hào)、微信ID,一鍵將停水信息精準(zhǔn)發(fā)送到用戶的手機(jī)和微信上,真正做到誰(shuí)受影響就發(fā)送給誰(shuí)。除計(jì)劃性停水外,大數(shù)據(jù)中心還提供了爆管影響分析等搶修性停水主題的發(fā)布。
(6)大數(shù)據(jù)中心在數(shù)據(jù)挖掘與分析中的應(yīng)用
傳統(tǒng)大數(shù)據(jù)中心建設(shè)的目標(biāo)較多的都只放在出大屏與報(bào)表上,關(guān)注點(diǎn)不夠深入,沒(méi)有充分發(fā)揮大數(shù)據(jù)中心應(yīng)有的價(jià)值。本次項(xiàng)目建設(shè)就突破了大數(shù)據(jù)中心傳統(tǒng)定位,探索性的開展數(shù)據(jù)挖掘分析工作。通過(guò)分析原始的業(yè)務(wù)數(shù)據(jù),關(guān)聯(lián)各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)邏輯,從中提煉出有價(jià)值的數(shù)據(jù),直觀暴露出已存在的各類管理問(wèn)題、數(shù)據(jù)問(wèn)題、業(yè)務(wù)操作規(guī)范問(wèn)題及系統(tǒng)功能設(shè)計(jì)問(wèn)題,將有助于管理層針對(duì)性制定相應(yīng)的管理措施,對(duì)癥下藥,及時(shí)堵漏、補(bǔ)缺,從而提高工作效率、改善工作環(huán)境、提升工作質(zhì)量和客戶滿意度。本次嘗試性的對(duì)工單、水表、抄表情況開展了探索分析,樣例時(shí)間為2020年12月數(shù)據(jù)。
如在水表分析方面:25*****339,該用戶為施工用水,2020年7月水表就已上線,但是當(dāng)年均無(wú)水量記錄,原因是沒(méi)去抄表,直到2021年2月才第一次抄表,第一次抄表水量就達(dá)3091噸(據(jù)觀察,實(shí)際后續(xù)每月用水為400噸左右);21*****223,該用戶已于2012年12月就已拆遷,但是水表狀態(tài)一直為正常,經(jīng)核查,有大量此類未更新水表狀態(tài)的記錄存在;10*****776,該用戶為某物業(yè)公司,水表狀態(tài)正常,但是已連續(xù)12個(gè)月以上抄表水量為0噸;10*****055,該用戶為DN40大口徑用戶,2014年水表就已失蹤了,但是水表狀態(tài)正常,2019年還有繳費(fèi)記錄(轉(zhuǎn)賬繳費(fèi)),應(yīng)核核查該用戶具體用水情況。
(7)大數(shù)據(jù)中心在服務(wù)能力支撐的應(yīng)用
大數(shù)據(jù)中心目前已不斷的發(fā)揮著自己的作用,在提供大數(shù)據(jù)業(yè)務(wù)支撐能力之外,也間接的對(duì)與大數(shù)據(jù)中心無(wú)關(guān)的業(yè)務(wù)提供了支撐。如水司建立的庫(kù)管系統(tǒng),根據(jù)開發(fā)要求,需要與水務(wù)財(cái)務(wù)系統(tǒng)進(jìn)行對(duì)接,達(dá)到資產(chǎn)數(shù)量與金額賬務(wù)同步的目的。但在對(duì)接過(guò)程中心,庫(kù)管系統(tǒng)的開發(fā)模式不支持財(cái)務(wù)系統(tǒng)提供的服務(wù)接口類型,導(dǎo)致對(duì)接工作無(wú)法進(jìn)行。大數(shù)據(jù)中心了解情況后主動(dòng)充當(dāng)“中介”角色,將財(cái)務(wù)系統(tǒng)服務(wù)接口注冊(cè)至大數(shù)據(jù)中心,并將其轉(zhuǎn)換成庫(kù)管系統(tǒng)所能支持的接口類型,使得對(duì)賬功能得以順利進(jìn)行。截至目前,做為通道功能已支撐了上述系統(tǒng)38403次的交互工作。