國(guó)內(nèi)某大型生產(chǎn)銷售通信設(shè)備的民營(yíng)通信科技公司，1987年正式注冊(cè)成立，總部位于中國(guó)深圳坂田，是全球領(lǐng)先的信息與通信技術(shù)（ICT）解決方案供應(yīng)商，專注于ICT領(lǐng)域，堅(jiān)持穩(wěn)健經(jīng)營(yíng)、持續(xù)創(chuàng)新、開放合作，在電信運(yùn)營(yíng)商、企業(yè)、終端和云計(jì)算等領(lǐng)域構(gòu)筑了端到端的解決方案優(yōu)勢(shì)，為運(yùn)營(yíng)商客戶、企業(yè)客戶和消費(fèi)者提供有競(jìng)爭(zhēng)力的ICT解決方案、產(chǎn)品和服務(wù)，并致力于使能未來(lái)信息社會(huì)、構(gòu)建更美好的全聯(lián)接世界。2017年，華為排名《財(cái)富》世界500強(qiáng)第83位。

在企業(yè)規(guī)模飛速擴(kuò)張的今天，各類業(yè)務(wù)、應(yīng)用系統(tǒng)全方位地覆蓋了整個(gè)企業(yè)。應(yīng)用系統(tǒng)從最初的滿足用戶需求，跨越到分析用戶體驗(yàn)及用戶畫像，立志為全球用戶提供最好的服務(wù)和體驗(yàn)。

基于此初衷，該企業(yè)各部門越來(lái)越重視運(yùn)營(yíng)這個(gè)模塊，IT數(shù)字化運(yùn)營(yíng)的概念也逐漸浮出水面。數(shù)字化運(yùn)營(yíng)在中小型企業(yè)實(shí)現(xiàn)起來(lái)也許不會(huì)那么困難，但對(duì)于龐大且歷史長(zhǎng)久的華為來(lái)說(shuō)必會(huì)大動(dòng)干戈，數(shù)字化運(yùn)營(yíng)將面對(duì)海量的數(shù)據(jù)存儲(chǔ)，企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)和各業(yè)務(wù)數(shù)據(jù)集市的建設(shè)，以及如何在海量數(shù)據(jù)中挖掘分析出有價(jià)值的KPI。對(duì)于運(yùn)營(yíng)人員來(lái)說(shuō)，最快、最準(zhǔn)、最新的運(yùn)營(yíng)數(shù)據(jù)支持，往往能讓他們事半功倍。

IT數(shù)字化運(yùn)營(yíng)所面對(duì)的困難：

1、海量數(shù)據(jù)的存儲(chǔ)和處理引擎

2、企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市的建設(shè)

3、數(shù)據(jù)處理的可拓展性（挖掘算法、自定義算法的支持）

4、運(yùn)營(yíng)頁(yè)面的響應(yīng)速度

為解決以上問(wèn)題，項(xiàng)目中使用我公司自主研發(fā)的分布式大數(shù)據(jù)庫(kù)產(chǎn)品PetaBase ，代替了傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)作為主要的數(shù)據(jù)處理引擎。

挑戰(zhàn)一：海量數(shù)據(jù)的存儲(chǔ)和處理引擎

PetaBase數(shù)據(jù)存儲(chǔ)基于Hadoop提供的HDFS分布式文件存儲(chǔ)方式，支持關(guān)系型數(shù)據(jù)庫(kù)和非結(jié)構(gòu)化的數(shù)據(jù)導(dǎo)入，解決了用戶海量數(shù)據(jù)存儲(chǔ)的問(wèn)題。數(shù)據(jù)處理使用impala內(nèi)存計(jì)算引擎，相對(duì)于Hadoop生態(tài)中其他的計(jì)算引擎，他有著計(jì)算快，支持大多數(shù)SQL中的DDL和DML語(yǔ)句等優(yōu)勢(shì)。在本次華為數(shù)字化運(yùn)營(yíng)項(xiàng)目中共處理60多T的數(shù)據(jù)，其中單表最大數(shù)據(jù)量達(dá)到80億條，3級(jí)ETL跑批只需4到6個(gè)小時(shí)即可完成。

挑戰(zhàn)二：企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市的建設(shè)

IT數(shù)字化運(yùn)營(yíng)系統(tǒng)共分為四層，分別是底層數(shù)據(jù)源，存儲(chǔ)層，服務(wù)層和應(yīng)用層。底層數(shù)據(jù)源包含多個(gè)業(yè)務(wù)系統(tǒng)的底層數(shù)據(jù)，來(lái)源于關(guān)系型數(shù)據(jù)庫(kù)，Nosql數(shù)據(jù)庫(kù)，文本數(shù)據(jù)等多種數(shù)據(jù)源。存儲(chǔ)層通過(guò)PetaBase大數(shù)據(jù)平臺(tái)進(jìn)行搭建，在PetaBase中對(duì)底層多源數(shù)據(jù)進(jìn)行匯總存儲(chǔ)并分層處理，形成多層次數(shù)據(jù)模型，完成面向應(yīng)用的數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)集市的建設(shè)。PetaBase大數(shù)據(jù)平臺(tái)為其他平臺(tái)提供數(shù)據(jù)接口，為上層應(yīng)用提供數(shù)據(jù)基礎(chǔ)。

由于PetaBase的數(shù)據(jù)存儲(chǔ)在HDFS中，Hadoop生態(tài)中有多種多樣的數(shù)據(jù)處理引擎，并能支持用戶自定義函數(shù)的擴(kuò)展（數(shù)據(jù)挖掘函數(shù)等）。項(xiàng)目中有用到多種數(shù)據(jù)挖掘的方法，比如通過(guò)箱線圖的算法來(lái)排除異常性能數(shù)據(jù)，然后取正常性能數(shù)據(jù)升序排序后的90%位置的數(shù)據(jù)作為性能值的一個(gè)度量，并通過(guò)用戶自定義的函數(shù)來(lái)實(shí)現(xiàn)。

挑戰(zhàn)四：運(yùn)營(yíng)頁(yè)面的響應(yīng)速度

億信BI可以直接配置PetaBase為數(shù)據(jù)連接池。基于億信BI的并行運(yùn)算等性能優(yōu)化手段結(jié)合PetaBase數(shù)據(jù)庫(kù)的運(yùn)算性能優(yōu)勢(shì)，目前IT數(shù)字化運(yùn)營(yíng)報(bào)表可實(shí)現(xiàn)5秒內(nèi)響應(yīng)這一效率要求。

一、海量數(shù)據(jù)高效存儲(chǔ)與運(yùn)算

隨著華為IT智能運(yùn)營(yíng)平臺(tái)(eSee)承擔(dān)的IT數(shù)字化轉(zhuǎn)型的使命加強(qiáng)，eSee平臺(tái)的底層數(shù)據(jù)覆蓋范圍和數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)，單靠傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)已無(wú)法滿足要求，平臺(tái)需要一套基于大數(shù)據(jù)架構(gòu)的數(shù)據(jù)庫(kù)承擔(dān)底層數(shù)據(jù)存儲(chǔ)計(jì)算工作，而PetaBase的出現(xiàn)正好彌補(bǔ)了華為IT運(yùn)營(yíng)平臺(tái)的不足，并且PetaBase與億信BI同出一脈，天然的融為一體，讓PetaBase對(duì)比其他大數(shù)據(jù)架構(gòu)平臺(tái)有更多優(yōu)勢(shì)，在項(xiàng)目中應(yīng)用起來(lái)非常便捷。

當(dāng)前PetaBase已經(jīng)承擔(dān)華為IT智能運(yùn)營(yíng)平臺(tái)(eSee)底層大部分的數(shù)據(jù)存儲(chǔ)以及計(jì)算處理工作，處理能力得到客戶充分認(rèn)可：

在Saas服務(wù)層，PetaBase底層處理的數(shù)據(jù)已覆蓋600+IT產(chǎn)品、80萬(wàn)+IT用戶的用戶行為、產(chǎn)品質(zhì)量以及應(yīng)用本身的業(yè)務(wù)量的數(shù)據(jù)，這些應(yīng)用數(shù)據(jù)計(jì)算處理后被廣泛用于單產(chǎn)品的數(shù)字化運(yùn)營(yíng)、全球IT服務(wù)的5s度量、產(chǎn)品經(jīng)營(yíng)分析、用戶服務(wù)畫像等重要的業(yè)務(wù)場(chǎng)景中。通過(guò)運(yùn)營(yíng)洞察各產(chǎn)品在網(wǎng)運(yùn)行情況，驅(qū)動(dòng)產(chǎn)品自我改進(jìn)；支持撐各類IT用戶的ROADs體驗(yàn)落地；發(fā)現(xiàn)業(yè)務(wù)流量的高地，支撐流量低的應(yīng)用"日落"。

在Paas平臺(tái)層，PetaBase在平臺(tái)底層支撐華為云服務(wù)的百萬(wàn)級(jí)VM對(duì)應(yīng)資源的性能容量的運(yùn)營(yíng)數(shù)據(jù)的處理，通過(guò)資源使用率的度量，幫助業(yè)務(wù)優(yōu)化資源管理和分配，讓云資源能及時(shí)合理使用和釋放，提升云資源使用效率。

在Iaas基礎(chǔ)設(shè)施層，Patabase底層承擔(dān)華為全球5大中心和RDC、SR數(shù)據(jù)中心的機(jī)柜、電力、能耗數(shù)據(jù)的處理工作，同時(shí)支撐著全球10萬(wàn)+IT后端資產(chǎn)的性能容量的運(yùn)營(yíng)數(shù)據(jù)的后臺(tái)處理，處理的數(shù)據(jù)通過(guò)前端億信BI給各業(yè)務(wù)場(chǎng)景構(gòu)建的運(yùn)營(yíng)界面，助力華為IT的資產(chǎn)使用效率的提升、降低IT基礎(chǔ)設(shè)施的成本投資，使能華為IT數(shù)字化轉(zhuǎn)型成功！

二、與億信BI完美結(jié)合

在內(nèi)部要求全球IT服務(wù)頁(yè)面5s達(dá)標(biāo)，對(duì)于IT智能運(yùn)營(yíng)平臺(tái)(eSee)而言這也是一項(xiàng)必須完成的目標(biāo)。如何讓報(bào)表計(jì)算能在5s內(nèi)得到響應(yīng)，這是一項(xiàng)不小的挑戰(zhàn)，尤其是在數(shù)據(jù)下探分析的時(shí)候，因?yàn)槊骷?xì)的數(shù)據(jù)量很大，計(jì)算結(jié)果一般很難在5s得到。但是如果把這種無(wú)法做匯總的大數(shù)據(jù)的計(jì)算放在PetaBase里面計(jì)算情況就不一樣了，通過(guò)項(xiàng)目的實(shí)踐證明，將報(bào)表的明細(xì)查詢放在PetaBase里進(jìn)行，之前無(wú)法達(dá)到業(yè)務(wù)要求的報(bào)表，通過(guò)優(yōu)化都可以達(dá)標(biāo)。

完成數(shù)字化運(yùn)營(yíng)后，基于已構(gòu)建的企業(yè)級(jí)別的數(shù)字化平臺(tái)，實(shí)現(xiàn)物與物、物與人之間的互聯(lián)，向智能物聯(lián)網(wǎng)(IoT)華麗轉(zhuǎn)身。