當(dāng)前位置：首頁 > 科技 > 軟件

大數(shù)據(jù)面試：分層設(shè)計思想

來源：責(zé)編：時間：2024-07-05 09:06:11 1121觀看

導(dǎo)讀ODS-DWD-DWS-ADS數(shù)據(jù)倉庫的分層設(shè)計（ODS-DWD-DWS-ADS）是一種常見的架構(gòu)設(shè)計方法，通過將數(shù)據(jù)分層存儲和處理，來提高數(shù)據(jù)的質(zhì)量、管理和查詢性能。以下是對每一層的詳細(xì)描述：ODS（Operational Data Store，操作數(shù)據(jù)存儲）功能：ODS是

ODS-DWD-DWS-ADS

數(shù)據(jù)倉庫的分層設(shè)計（ODS-DWD-DWS-ADS）是一種常見的架構(gòu)設(shè)計方法，通過將數(shù)據(jù)分層存儲和處理，來提高數(shù)據(jù)的質(zhì)量、管理和查詢性能。以下是對每一層的詳細(xì)描述：

ODS（Operational Data Store，操作數(shù)據(jù)存儲）

功能：

ODS是最原始的數(shù)據(jù)存儲層，用于保存從各種源系統(tǒng)實時或準(zhǔn)實時獲取的原始數(shù)據(jù)。
數(shù)據(jù)在ODS中是未經(jīng)處理或僅進(jìn)行簡單清洗的數(shù)據(jù)，保留了數(shù)據(jù)的完整性和細(xì)節(jié)。

特點(diǎn)：

數(shù)據(jù)實時或準(zhǔn)實時地加載。
數(shù)據(jù)格式與源系統(tǒng)一致。
數(shù)據(jù)保留時間較短，主要用于實時分析和臨時查詢。

DWD（Data Warehouse Detail，明細(xì)數(shù)據(jù)層）

功能：

DWD層對ODS層的數(shù)據(jù)進(jìn)行初步處理和清洗，形成標(biāo)準(zhǔn)化的、細(xì)粒度的明細(xì)數(shù)據(jù)。
該層的數(shù)據(jù)具有一定的一致性和完整性。

特點(diǎn)：

進(jìn)行數(shù)據(jù)清洗、轉(zhuǎn)換和初步的聚合。
保留數(shù)據(jù)的細(xì)節(jié)和完整性，適用于細(xì)粒度的分析和查詢。
數(shù)據(jù)存儲時間較長，通常為幾個月到幾年。

DWS（Data Warehouse Service，服務(wù)數(shù)據(jù)層）

功能：

DWS層對DWD層的數(shù)據(jù)進(jìn)行進(jìn)一步的加工和聚合，生成面向主題的中間數(shù)據(jù)。
該層的數(shù)據(jù)通常用于多維分析和報表。

特點(diǎn)：

數(shù)據(jù)經(jīng)過進(jìn)一步清洗、聚合和轉(zhuǎn)換，適用于多維分析（OLAP）。
提供給業(yè)務(wù)人員用于決策支持和業(yè)務(wù)分析。
數(shù)據(jù)存儲時間較長，通常為幾年。

ADS（Application Data Store，應(yīng)用數(shù)據(jù)層）

功能：

ADS層是數(shù)據(jù)倉庫的最頂層，主要用于支持具體的應(yīng)用和業(yè)務(wù)需求。
該層的數(shù)據(jù)經(jīng)過高度聚合和摘要，提供給最終用戶進(jìn)行直接查詢和分析。

特點(diǎn)：

數(shù)據(jù)高度聚合，支持快速查詢和報表生成。
面向具體應(yīng)用和業(yè)務(wù)需求設(shè)計，提供給BI工具和終端用戶。
數(shù)據(jù)存儲時間可根據(jù)應(yīng)用需求靈活設(shè)置。

分層設(shè)計的優(yōu)勢

數(shù)據(jù)治理通過分層處理數(shù)據(jù)，可以更好地管理數(shù)據(jù)質(zhì)量，確保數(shù)據(jù)的一致性和準(zhǔn)確性。
性能優(yōu)化分層設(shè)計將數(shù)據(jù)處理和存儲職責(zé)分離，提高了數(shù)據(jù)倉庫的查詢性能和擴(kuò)展性。
靈活性不同層的數(shù)據(jù)可以滿足不同類型的查詢和分析需求，提供了更大的靈活性。
可維護(hù)性分層設(shè)計使得數(shù)據(jù)處理流程更加清晰和可維護(hù)，有助于數(shù)據(jù)倉庫的長期管理和優(yōu)化。

通過這種分層設(shè)計，數(shù)據(jù)倉庫能夠有效地處理和存儲大量數(shù)據(jù)，同時為各種分析和業(yè)務(wù)需求提供支持。

涉及到的技術(shù)棧

在數(shù)據(jù)倉庫的分層設(shè)計（ODS-DWD-DWS-ADS）中，各層可以使用不同的技術(shù)棧來實現(xiàn)。以下是每一層常用的技術(shù)棧：

ODS（Operational Data Store，操作數(shù)據(jù)存儲）

涉及技術(shù)棧：

數(shù)據(jù)源各種業(yè)務(wù)系統(tǒng)，如ERP、CRM、銷售系統(tǒng)等。
數(shù)據(jù)采集工具

ETL工具：Apache NiFi、Talend、Informatica、Pentaho

CDC（Change Data Capture）工具：Debezium、Oracle GoldenGate

數(shù)據(jù)同步工具：Apache Sqoop、Apache Flume

數(shù)據(jù)庫
關(guān)系型數(shù)據(jù)庫：MySQL、PostgreSQL、Oracle
NoSQL數(shù)據(jù)庫：MongoDB、Cassandra

DWD（Data Warehouse Detail，明細(xì)數(shù)據(jù)層）

涉及技術(shù)棧：

ETL工具 Apache NiFi、Apache Airflow、Talend、Informatica、Pentaho
數(shù)據(jù)處理框架

批處理：Apache Spark、Apache Flink、Apache Hadoop（MapReduce）

流處理：Apache Kafka Streams、Apache Flink、Apache Storm

數(shù)據(jù)存儲
分布式文件系統(tǒng)：Hadoop HDFS
列式存儲：Apache Parquet、Apache ORC
數(shù)據(jù)湖：Apache Hudi、Delta Lake

DWS（Data Warehouse Service，服務(wù)數(shù)據(jù)層）

涉及技術(shù)棧：

ETL工具 Apache Airflow、Apache NiFi、Talend
數(shù)據(jù)處理框架

批處理：Apache Spark、Apache Hive

流處理：Apache Flink、Apache Storm

數(shù)據(jù)存儲
分布式數(shù)據(jù)倉庫：Apache Hive、Apache HBase、Google BigQuery、Amazon Redshift
列式存儲：Apache Parquet、Apache ORC
數(shù)據(jù)湖：Delta Lake、Apache Iceberg
OLAP引擎 Apache Kylin、Druid、ClickHouse、Presto

ADS（Application Data Store，應(yīng)用數(shù)據(jù)層）

涉及技術(shù)棧：

ETL工具 Apache Airflow、Talend、Informatica
數(shù)據(jù)處理框架

批處理：Apache Spark、Apache Hive

流處理：Apache Flink、Apache Kafka Streams

數(shù)據(jù)存儲
數(shù)據(jù)庫：MySQL、PostgreSQL、Oracle
數(shù)據(jù)倉庫：Amazon Redshift、Google BigQuery、Snowflake
BI工具 Tableau、Power BI、Looker、QlikView、Domo

其他輔助技術(shù)

數(shù)據(jù)治理與質(zhì)量 Apache Atlas、Apache Griffin、Talend Data Quality
數(shù)據(jù)編排與調(diào)度 Apache Airflow、Apache Oozie、Prefect
數(shù)據(jù)可視化 Tableau、Power BI、Looker、Grafana
數(shù)據(jù)安全與訪問控制 Apache Ranger、Apache Sentry

通過使用這些技術(shù)棧，可以有效地實現(xiàn)數(shù)據(jù)倉庫的各個層次，從而滿足不同層次的需求和應(yīng)用場景。

構(gòu)建ODS-DWD-DWS-ADS的步驟

構(gòu)建ODS-DWD-DWS-ADS數(shù)據(jù)倉庫的過程可以分為幾個步驟，每一步都需要特定的技術(shù)和方法來實現(xiàn)數(shù)據(jù)的采集、清洗、轉(zhuǎn)換、存儲和分析。以下是構(gòu)建這一架構(gòu)的詳細(xì)步驟：

構(gòu)建ODS（Operational Data Store，操作數(shù)據(jù)存儲）

步驟：

數(shù)據(jù)源識別

確定需要集成的數(shù)據(jù)源（如ERP、CRM、銷售系統(tǒng)等）。

數(shù)據(jù)采集

使用ETL工具（如Apache NiFi、Talend、Informatica）或CDC工具（如Debezium、Oracle GoldenGate）從數(shù)據(jù)源中采集數(shù)據(jù)。
配置數(shù)據(jù)采集任務(wù)，確保實時或準(zhǔn)實時地獲取數(shù)據(jù)。

數(shù)據(jù)存儲

將采集到的原始數(shù)據(jù)存儲在關(guān)系型數(shù)據(jù)庫（如MySQL、PostgreSQL）或NoSQL數(shù)據(jù)庫（如MongoDB、Cassandra）中。

數(shù)據(jù)監(jiān)控與管理

設(shè)置數(shù)據(jù)質(zhì)量監(jiān)控和異常處理機(jī)制，確保數(shù)據(jù)的完整性和準(zhǔn)確性。

構(gòu)建DWD（Data Warehouse Detail，明細(xì)數(shù)據(jù)層）

步驟：

數(shù)據(jù)清洗

使用ETL工具（如Apache NiFi、Apache Airflow、Talend）對ODS中的數(shù)據(jù)進(jìn)行清洗，處理缺失值、重復(fù)值和錯誤數(shù)據(jù)。

數(shù)據(jù)轉(zhuǎn)換

對清洗后的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化和格式轉(zhuǎn)換，確保數(shù)據(jù)的一致性。

數(shù)據(jù)存儲

將處理后的細(xì)粒度數(shù)據(jù)存儲在分布式文件系統(tǒng)（如Hadoop HDFS）或列式存儲格式（如Apache Parquet、Apache ORC）中。

數(shù)據(jù)加載

配置數(shù)據(jù)加載任務(wù)，定期將ODS數(shù)據(jù)加載到DWD層。

構(gòu)建DWS（Data Warehouse Service，服務(wù)數(shù)據(jù)層）

步驟：

數(shù)據(jù)聚合

使用批處理框架（如Apache Spark、Apache Hive）或流處理框架（如Apache Flink、Apache Storm）對DWD層的數(shù)據(jù)進(jìn)行聚合和轉(zhuǎn)換。

數(shù)據(jù)建模

基于業(yè)務(wù)需求和分析目標(biāo)，進(jìn)行數(shù)據(jù)建模和多維數(shù)據(jù)集的創(chuàng)建。

數(shù)據(jù)存儲

將聚合后的數(shù)據(jù)存儲在分布式數(shù)據(jù)倉庫（如Apache Hive、Apache HBase）或數(shù)據(jù)湖（如Delta Lake、Apache Iceberg）中。

OLAP配置

配置OLAP引擎（如Apache Kylin、Druid、ClickHouse），支持多維分析和快速查詢。

構(gòu)建ADS（Application Data Store，應(yīng)用數(shù)據(jù)層）

步驟：

數(shù)據(jù)摘要和匯總

使用數(shù)據(jù)處理框架（如Apache Spark、Apache Hive）對DWS層的數(shù)據(jù)進(jìn)行進(jìn)一步的聚合和摘要。

數(shù)據(jù)定制

根據(jù)具體的業(yè)務(wù)需求和應(yīng)用場景，對數(shù)據(jù)進(jìn)行定制化處理。

數(shù)據(jù)存儲

將處理后的數(shù)據(jù)存儲在關(guān)系型數(shù)據(jù)庫（如MySQL、PostgreSQL）或數(shù)據(jù)倉庫（如Amazon Redshift、Google BigQuery、Snowflake）中。

BI工具集成

配置BI工具（如Tableau、Power BI、Looker），實現(xiàn)數(shù)據(jù)的可視化展示和自助分析。

用戶訪問控制

設(shè)置數(shù)據(jù)訪問權(quán)限，確保數(shù)據(jù)的安全性和合規(guī)性。

輔助步驟

數(shù)據(jù)治理與質(zhì)量

使用數(shù)據(jù)治理工具（如Apache Atlas）和數(shù)據(jù)質(zhì)量管理工具（如Apache Griffin）確保數(shù)據(jù)的完整性、一致性和準(zhǔn)確性。

數(shù)據(jù)編排與調(diào)度

使用數(shù)據(jù)編排和調(diào)度工具（如Apache Airflow、Apache Oozie）管理和調(diào)度ETL任務(wù)，確保數(shù)據(jù)處理流程的自動化和可監(jiān)控性。

數(shù)據(jù)安全與合規(guī)

實施數(shù)據(jù)安全措施（如Apache Ranger、Apache Sentry），確保數(shù)據(jù)訪問的安全性和合規(guī)性。

通過這些步驟，可以系統(tǒng)化地構(gòu)建ODS-DWD-DWS-ADS數(shù)據(jù)倉庫架構(gòu)，滿足企業(yè)對數(shù)據(jù)采集、存儲、處理和分析的需求。

ODS-DWD-DWS-ADS最小化部署方案

要構(gòu)建一個最小化的ODS-DWD-DWS-ADS數(shù)據(jù)倉庫架構(gòu)，可以選擇使用一些開源工具和框架來實現(xiàn)。以下是一個簡單的部署方案，包括各個層次的最小化配置和實現(xiàn)步驟：

環(huán)境準(zhǔn)備

服務(wù)器

至少需要一臺服務(wù)器（可以是物理機(jī)或虛擬機(jī)），建議配置較高的CPU和內(nèi)存。

操作系統(tǒng)

Linux（如Ubuntu或CentOS）或Windows。

最小化技術(shù)棧選擇

ETL工具 Apache NiFi
數(shù)據(jù)處理框架 Apache Spark
數(shù)據(jù)存儲 MySQL、Apache Hive
BI工具 Tableau Public或Power BI Desktop（用于數(shù)據(jù)可視化）

ODS（Operational Data Store，操作數(shù)據(jù)存儲）

技術(shù)棧：

數(shù)據(jù)源模擬數(shù)據(jù)源（如CSV文件、簡單的Web API）
數(shù)據(jù)采集工具 Apache NiFi
數(shù)據(jù)庫 MySQL

步驟：

安裝MySQL

sudo apt-get updatesudo apt-get install mysql-server

配置MySQL，并創(chuàng)建一個數(shù)據(jù)庫用于存儲ODS數(shù)據(jù)。

安裝Apache NiFi

wget https://archive.apache.org/dist/nifi/1.13.2/nifi-1.13.2-bin.tar.gztar -xzf nifi-1.13.2-bin.tar.gzcd nifi-1.13.2./bin/nifi.sh start

在瀏覽器中打開NiFi Web UI（默認(rèn)端口8080），配置數(shù)據(jù)采集流程，將數(shù)據(jù)從模擬數(shù)據(jù)源導(dǎo)入MySQL。

DWD（Data Warehouse Detail，明細(xì)數(shù)據(jù)層）

技術(shù)棧：

數(shù)據(jù)處理框架 Apache Spark
數(shù)據(jù)存儲 Apache Hive

步驟：

安裝Apache Spark

wget https://archive.apache.org/dist/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgztar -xzf spark-3.1.2-bin-hadoop3.2.tgz

安裝Apache Hive

wget https://archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gztar -xzf apache-hive-3.1.2-bin.tar.gzcd apache-hive-3.1.2-binbin/schematool -dbType mysql -initSchema

數(shù)據(jù)清洗與轉(zhuǎn)換

編寫Spark作業(yè)（使用PySpark或Scala），從MySQL中讀取數(shù)據(jù)，對數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換，將處理后的數(shù)據(jù)寫入Hive。

DWS（Data Warehouse Service，服務(wù)數(shù)據(jù)層）

技術(shù)棧：

數(shù)據(jù)處理框架 Apache Spark
數(shù)據(jù)存儲 Apache Hive

步驟：

數(shù)據(jù)聚合與建模

編寫Spark作業(yè)，對Hive中的DWD數(shù)據(jù)進(jìn)行聚合和轉(zhuǎn)換，生成面向主題的中間數(shù)據(jù)表。

ADS（Application Data Store，應(yīng)用數(shù)據(jù)層）

技術(shù)棧：

數(shù)據(jù)存儲 MySQL
BI工具 Tableau Public或Power BI Desktop

步驟：

數(shù)據(jù)摘要和匯總

編寫Spark作業(yè)，對DWS中的數(shù)據(jù)進(jìn)行進(jìn)一步的聚合和摘要，將結(jié)果寫入MySQL。

安裝BI工具

下載并安裝Tableau Public或Power BI Desktop。
配置數(shù)據(jù)源連接到MySQL，創(chuàng)建可視化報表和儀表盤。

輔助步驟

數(shù)據(jù)編排與調(diào)度

調(diào)度工具使用簡單的cron作業(yè)調(diào)度ETL任務(wù)。

crontab -e

添加cron任務(wù)調(diào)度Spark作業(yè)和NiFi數(shù)據(jù)采集任務(wù)。

數(shù)據(jù)監(jiān)控與管理

在Apache NiFi中配置數(shù)據(jù)監(jiān)控和警報機(jī)制，確保數(shù)據(jù)采集流程的穩(wěn)定性。

總結(jié)

這個最小化部署方案使用了較少的工具和框架，但仍然涵蓋了ODS-DWD-DWS-ADS數(shù)據(jù)倉庫架構(gòu)的基本功能。通過這種方式，我們可以快速構(gòu)建一個簡單的數(shù)據(jù)倉庫，并根據(jù)需求逐步擴(kuò)展和優(yōu)化。

本文鏈接：http://www.www897cc.com/showinfo-26-98866-0.html大數(shù)據(jù)面試：分層設(shè)計思想

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 10 款炫酷的前端 CSS 加載器和進(jìn)度條動畫

下一篇：每月超1.5億次下載的前端工具，作者寫了一個更強(qiáng)大的替代品！

標(biāo)簽：

熱門焦點(diǎn)

分享六款相見恨晚的PPT模版網(wǎng)站, 祝你做出精美的PPT!

1、OfficePLUSOfficePLUS網(wǎng)站旨在為全球Office用戶提供豐富的高品質(zhì)原創(chuàng)PPT模板、實用文檔、數(shù)據(jù)圖表及個性化定制服務(wù)。優(yōu)點(diǎn)：OfficePLUS是微軟官方網(wǎng)站，囊括PPT模板、Word模
如何使用JavaScript創(chuàng)建一只圖像放大鏡？

譯者 | 布加迪審校 | 重樓如果您曾經(jīng)瀏覽過購物網(wǎng)站，可能遇到過圖像放大功能。它可以讓您放大圖像的特定區(qū)域，以便瀏覽。結(jié)合這個小小的重要功能可以大大改善您網(wǎng)站的用戶體驗
19個 JavaScript 單行代碼技巧，讓你看起來像個專業(yè)人士

今天這篇文章跟大家分享18個JS單行代碼，你只需花幾分鐘時間，即可幫助您了解一些您可能不知道的 JS 知識，如果您已經(jīng)知道了，就當(dāng)作復(fù)習(xí)一下，古人云，溫故而知新嘛。現(xiàn)在，我們就開始今
重估百度丨“晚熟”的百度云，能等到春天嗎？

©自象限原創(chuàng)作者｜程心排版｜王喻可2016年7月13日，百度云計算戰(zhàn)略發(fā)布會在北京舉行，宣告著百度智能云的正式啟程。彼時的會場座無虛席，甚至排隊排到了門外，在場的所有人幾乎都
東方甄選單飛：有些鳥注定是關(guān)不住的

作者：彭寬鴻來源：華爾街科技眼&zwj;&zwj;&zwj;&zwj;&zwj;&zwj;&zwj;&zwj;&zwj;&zwj;東方甄選創(chuàng)始人俞敏洪帶隊的“7天甘肅行”直播活動已在近日順利收官。成立后一
三星獲批量產(chǎn)iPhone 15全系屏幕：蘋果史上最驚艷直屏

按照慣例，蘋果將繼續(xù)在今年9月舉辦一年一度的秋季新品發(fā)布會，有傳言稱發(fā)布會將于9月12日舉行，屆時全新的iPhone 15系列將正式與大家見面，不出意外的話
三星Galaxy Z Fold/Flip 5國行售價曝光：最低7499元/12999元起

據(jù)官方此前宣布，三星將于7月26日也就是明天在韓國首爾舉辦Unpacked活動，屆時將帶來帶來包括Galaxy Buds 3、Galaxy Watch 6、Galaxy Tab S9、Galaxy
榮耀Magicbook V 14 2021曙光藍(lán)版本正式開售，擁有觸摸屏

榮耀 Magicbook V 14 2021 曙光藍(lán)版本正式開售，搭載 i7-11390H 處理器與 MX450 顯卡，配備 16GB 內(nèi)存與 512GB SSD，重 1.48kg，厚 14.5mm，具有 1.5mm 鍵盤鍵程、
AI藝術(shù)欣賞體驗會在上海梅賽德斯奔馳中心音樂俱樂部上演

光影交錯的鏡像世界，虛實幻化的視覺奇觀，虛擬偶像與真人共同主持，這些場景都出現(xiàn)在2019世界人工智能大會的舞臺上。8月29日至31日，“AI藝術(shù)欣賞體驗會”在上海