轉(zhuǎn)帖|大數(shù)據(jù)新聞|編輯:況魚杰|2020-09-16 10:23:00.750|閱讀 379 次
概述:建立數(shù)據(jù)倉庫是一個解決企業(yè)數(shù)據(jù)問題應用的過程,是企業(yè)信息化發(fā)展到一定階段必不可少的一步,也是發(fā)展數(shù)據(jù)化管理的重要基礎(chǔ)。數(shù)倉的知識市面上的書籍和文章不少,但是實際實施依據(jù)行業(yè)不同,企業(yè)核心訴求不同,從技術(shù)到方法論各有不同。如何實施數(shù)倉項目,本文先以傳統(tǒng)行業(yè)的數(shù)倉切入,從整體上講下數(shù)據(jù)倉庫的實施方法論。
# 界面/圖表報表/文檔/IDE等千款熱門軟控件火熱銷售中 >>
相關(guān)鏈接:
建立數(shù)據(jù)倉庫是一個解決企業(yè)數(shù)據(jù)問題應用的過程,是企業(yè)信息化發(fā)展到一定階段必不可少的一步,也是發(fā)展數(shù)據(jù)化管理的重要基礎(chǔ)。數(shù)倉的知識市面上的書籍和文章不少,但是實際實施依據(jù)行業(yè)不同,企業(yè)核心訴求不同,從技術(shù)到方法論各有不同。如何實施數(shù)倉項目,本文先以傳統(tǒng)行業(yè)的數(shù)倉切入,從整體上講下數(shù)據(jù)倉庫的實施方法論。(點擊此處查看下文)
需求分析是數(shù)據(jù)倉庫項目最重要的一個環(huán)節(jié),數(shù)倉說到底還是服務于業(yè)務,支撐于業(yè)務,如果需求分析不準確,做了沒人用,上了不好用,會直接影響業(yè)務/客戶的使用,最終導致項目的失敗。為了避免最壞的情況,前期一定要重視需求的調(diào)研、挖掘和分析,并采用一些嚴謹科學的措施和方法去做需求分析。
在實際調(diào)研過程中分享幾個經(jīng)驗:
一般情況下,業(yè)務方能夠提供的都是需求的整體框架部分或者是實際需求的一部分內(nèi)容,不能預見未來需要增加的需求,這也注定了數(shù)倉項目是一個不斷循環(huán)、反饋,使系統(tǒng)不斷完善增長的過程。
不能規(guī)避風險但是可以減少風險,所以科學的調(diào)研尤為重要。以下是調(diào)研模板,當需求調(diào)研完成時,需要對采集結(jié)果進行分析、歸納、整理,最終形成完整的需求分析報告。
業(yè)務需求的實施目的就是真正理解企業(yè)決策者的戰(zhàn)略性目標。在理解建立商業(yè)智能系統(tǒng)目標的基礎(chǔ)上,建立有效的企業(yè)管理模式,制定出詳細的企業(yè)數(shù)據(jù)倉庫業(yè)務管理規(guī)范,設(shè)計出常用的ETL數(shù)據(jù)采集規(guī)范和工作流程,從而明確商業(yè)智能系統(tǒng)的實施范圍和目標。為了提高企業(yè)的分析決策能力,可以利用當下的局域網(wǎng)技術(shù)和互聯(lián)網(wǎng)技術(shù)實現(xiàn)企業(yè)對各種信息的查詢和分析,通過建立企業(yè)業(yè)務數(shù)據(jù)模型,分析商業(yè)智能系統(tǒng)的系統(tǒng)架構(gòu)、數(shù)據(jù)源之間的差異、對數(shù)據(jù)質(zhì)量的評估和各種信息的處理方法,有效地提高企業(yè)商業(yè)智能系統(tǒng)的分析和決策能力。
數(shù)據(jù)倉庫在邏輯上可以分成操作型數(shù)據(jù)庫、數(shù)據(jù)倉庫層、數(shù)據(jù)集市層、數(shù)據(jù)分析應用層和報表展示層,其架構(gòu)如下圖所示:
ODS 可以有兩種形式:ODS 數(shù)據(jù)緩沖區(qū)和ODS統(tǒng)一信息視圖區(qū)。
ODS數(shù)據(jù)緩沖區(qū)是業(yè)務數(shù)據(jù)流動過程的第一個存儲區(qū),實現(xiàn)了數(shù)據(jù)倉庫從各個業(yè)務系統(tǒng)的數(shù)據(jù)源中將數(shù)據(jù)抽取出來,并且裝載到ODS數(shù)據(jù)緩沖區(qū)的這一過程,從而實現(xiàn)統(tǒng)一的全局的企業(yè)數(shù)據(jù)平臺,為以后的數(shù)據(jù)抽取、清洗、轉(zhuǎn)換過程打下堅實的基礎(chǔ)。對于數(shù)據(jù)的數(shù)據(jù)源可以采用增量的方式進行抽取,對于經(jīng)常變化更新的數(shù)據(jù)一般采用全量的方式進抽取。ODS數(shù)據(jù)緩沖區(qū)具有實時性的特征,ODS系統(tǒng)將各個孤立的業(yè)務系統(tǒng)的生產(chǎn)運營數(shù)據(jù)集成起來,組成統(tǒng)一的、全局的企業(yè)數(shù)據(jù)交換平臺
ODS統(tǒng)一信息視圖區(qū)是指有選擇地集成各類業(yè)務源數(shù)據(jù),對數(shù)據(jù)進行抽取、清洗、轉(zhuǎn)換操作,以數(shù)據(jù)主題域為數(shù)據(jù)集成的基礎(chǔ),對數(shù)據(jù)進行分類和組織,使用戶能夠通過統(tǒng)一信心視圖區(qū)獲得跟某個主題域相關(guān)的實時性數(shù)據(jù)。各業(yè)務系統(tǒng)和ODS統(tǒng)一信息視圖區(qū)可以互相訪問,可以生成具有實時性的操作性報表和查詢某一主題的近期全部信息。
ODS 數(shù)據(jù)緩沖區(qū)主要為業(yè)務源數(shù)據(jù)抽取到數(shù)據(jù)倉庫中提供中間數(shù)據(jù)緩沖的功能,與ODS 統(tǒng)一信息視圖區(qū)最大的區(qū)別就是數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載的轉(zhuǎn)換規(guī)則和數(shù)據(jù)存儲的方式不同。ODS統(tǒng)一信息視圖區(qū)是完全按照主題的方式進行數(shù)據(jù)存儲,向用戶提供快速的報表展示和數(shù)據(jù)實時查詢的功能。而ODS數(shù)據(jù)緩沖區(qū)的ETL規(guī)則一般只進行簡單的匯總、計算,或者從操作型數(shù)據(jù)庫中直接抽取而中間不進行任何轉(zhuǎn)化。ODS 統(tǒng)一信息視圖區(qū)的數(shù)據(jù)一般都是從ODS數(shù)據(jù)緩沖區(qū)中抽取過來的。
下一期我們將會繼續(xù)介紹數(shù)倉的建模、數(shù)據(jù)集市的建模、數(shù)據(jù)源分析和數(shù)據(jù)的獲取與整合以及數(shù)據(jù)應用和報表展現(xiàn)。您可以持續(xù)關(guān)注本教程,獲得更多有關(guān)大數(shù)據(jù)方面的知識。
關(guān)于慧都大數(shù)據(jù)分析平臺
慧都大數(shù)據(jù)分析平臺「GetInsight®」升級發(fā)布,將基于企業(yè)管理駕駛艙、產(chǎn)品質(zhì)量分析及預測、設(shè)備分析及預測等大數(shù)據(jù)模型的構(gòu)建,助力企業(yè)由傳統(tǒng)運營模式向數(shù)字化、智能化的新模式轉(zhuǎn)型升級,抓住數(shù)據(jù)經(jīng)濟的發(fā)展勢頭,提供管理效能,精準布局未來。了解更多,請聯(lián)系。
慧都大數(shù)據(jù)專業(yè)團隊為企業(yè)提供商業(yè)智能大數(shù)據(jù)平臺搭建,免費業(yè)務咨詢,定制開發(fā)等完整服務,快速、輕松、低成本將任何Hadoop集群從試用階段轉(zhuǎn)移到生產(chǎn)階段。
歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服,我們有專業(yè)的大數(shù)據(jù)團隊,為您提供免費大數(shù)據(jù)相關(guān)業(yè)務咨詢!
本站文章除注明轉(zhuǎn)載外,均為本站原創(chuàng)或翻譯。歡迎任何形式的轉(zhuǎn)載,但請務必注明出處、不得修改原文相關(guān)鏈接,如果存在內(nèi)容上的異議請郵件反饋至chenjj@fc6vip.cn
文章轉(zhuǎn)載自: