2018年12月25日,由中國通信標準化協會大數據技術標準推進委員會主辦的數據質量管理專題研討會在北京召開,來自中國信息通信研究院、中國質量協會質量科學院、建設銀行、京東數科、聯通大數據、華矩科技、電信云、百度、中國外運、海爾、國網征信、等50余位專家學者參與會議,并圍繞“數據質量”焦點問題探討了數據質量評分卡、數據質量評價方案等重要經驗,剖析了數據質量關聯性評價難題以及數據質量與業務應用的關鍵性挑戰等。針對數據質量評估熱點話題,華矩科技董事長CEO譚海華先生受邀發表了“數據質量評估方法介紹”專題演講。
數據質量是分析和利用大數據的前提,是獲取大數據價值的重要保障。目前,國內外尚缺乏針對大數據質量維度和質量評估方法的全面分析和研究。而業界比較通用的也是基于完整性、一致性、及時性和準確性四個維度去評估數據質量,但如何量化并能真正輔助企業判斷數據價值卻是一直以來大家都在探討的問題。
會上,譚總針對這個問題簡單回顧了數據質量問題的來源、數據質量管理技術指標與數據質量管理業務指標,并基于數據質量管理流程理論,從3個層面上(數據屬性業務規則、數據實體業務規則、企業特定業務規則)重點解說了數據剖析這一關鍵步驟,幫助大家理解如何將數據評估維度與業務流程對應,建立通用的數據質量評分KPI,同時根據具體業務場景調整評分體系中各維度的權重,最終以量化形式實現數據質量評估。
譚總指出,數據質量有多個關鍵的評估維度,這些評估維度都將通過業務規則,我們分成ABR(屬性業務規則),EBR(實體業務規則)以及SBR(企業特定的業務規則),這三種業務規則基于不同權重去做的合規打分,形成量化的評估指標,最終得出數據質量的總評分。我們需要有這樣一個量化機制來告訴企業這些數據質量好還是不好,有多好,具體表現在哪些方面不好,而權重則取決于這些不好的數據質量因素對企業影響有多大。
在這個數據質量評估量化理論基礎上,華矩科技也進行了多次實踐嘗試,積極探索出針對不同企業需求的定制化評估指標,企業通過這套評估體系便可適用于全局的數據質量預判與優化。
數據質量管理及其評價體系是數據資產管理的重要內容,科學合理地開展數據質量稽核是發揮數據價值的基礎,是實現數據業務應用的前提和保障。華矩科技作為數據治理技術與服務提供商,為客戶提供數據全生命周期的治理服務與方案,包括元數據管理、數據質量剖析診斷、數據優化補全、業務規則庫創建、數據質量持續監管、數據集成、數據存儲、數據可視化分析等專業有效的數據處理服務與產品技術方案,服務行業涵蓋電力業、金融業、醫療業、制造業等,已幫助多數500強企業全方位處理數據問題。
數據質量管理不是一蹴而就之舉,需要我們持之以恒,華矩科技歡迎與業內行業專家共同討論,摩擦出推動數據質量發展的火花,也愿與大家一同分享我們的經驗成果,并為更多企業客戶提供方案與技術支持。