當(dāng)前位置：首頁 > 科技 > 軟件

大數(shù)據(jù)面試：分層設(shè)計(jì)思想

來源：責(zé)編：時(shí)間：2024-07-05 09:06:11 1100觀看

導(dǎo)讀ODS-DWD-DWS-ADS數(shù)據(jù)倉庫的分層設(shè)計(jì)（ODS-DWD-DWS-ADS）是一種常見的架構(gòu)設(shè)計(jì)方法，通過將數(shù)據(jù)分層存儲(chǔ)和處理，來提高數(shù)據(jù)的質(zhì)量、管理和查詢性能。以下是對(duì)每一層的詳細(xì)描述：ODS（Operational Data Store，操作數(shù)據(jù)存儲(chǔ)）功能：ODS是

ODS-DWD-DWS-ADS

數(shù)據(jù)倉庫的分層設(shè)計(jì)（ODS-DWD-DWS-ADS）是一種常見的架構(gòu)設(shè)計(jì)方法，通過將數(shù)據(jù)分層存儲(chǔ)和處理，來提高數(shù)據(jù)的質(zhì)量、管理和查詢性能。以下是對(duì)每一層的詳細(xì)描述：

ODS（Operational Data Store，操作數(shù)據(jù)存儲(chǔ)）

功能：

ODS是最原始的數(shù)據(jù)存儲(chǔ)層，用于保存從各種源系統(tǒng)實(shí)時(shí)或準(zhǔn)實(shí)時(shí)獲取的原始數(shù)據(jù)。
數(shù)據(jù)在ODS中是未經(jīng)處理或僅進(jìn)行簡單清洗的數(shù)據(jù)，保留了數(shù)據(jù)的完整性和細(xì)節(jié)。

特點(diǎn)：

數(shù)據(jù)實(shí)時(shí)或準(zhǔn)實(shí)時(shí)地加載。
數(shù)據(jù)格式與源系統(tǒng)一致。
數(shù)據(jù)保留時(shí)間較短，主要用于實(shí)時(shí)分析和臨時(shí)查詢。

DWD（Data Warehouse Detail，明細(xì)數(shù)據(jù)層）

功能：

DWD層對(duì)ODS層的數(shù)據(jù)進(jìn)行初步處理和清洗，形成標(biāo)準(zhǔn)化的、細(xì)粒度的明細(xì)數(shù)據(jù)。
該層的數(shù)據(jù)具有一定的一致性和完整性。

特點(diǎn)：

進(jìn)行數(shù)據(jù)清洗、轉(zhuǎn)換和初步的聚合。
保留數(shù)據(jù)的細(xì)節(jié)和完整性，適用于細(xì)粒度的分析和查詢。
數(shù)據(jù)存儲(chǔ)時(shí)間較長，通常為幾個(gè)月到幾年。

DWS（Data Warehouse Service，服務(wù)數(shù)據(jù)層）

功能：

DWS層對(duì)DWD層的數(shù)據(jù)進(jìn)行進(jìn)一步的加工和聚合，生成面向主題的中間數(shù)據(jù)。
該層的數(shù)據(jù)通常用于多維分析和報(bào)表。

特點(diǎn)：

數(shù)據(jù)經(jīng)過進(jìn)一步清洗、聚合和轉(zhuǎn)換，適用于多維分析（OLAP）。
提供給業(yè)務(wù)人員用于決策支持和業(yè)務(wù)分析。
數(shù)據(jù)存儲(chǔ)時(shí)間較長，通常為幾年。

ADS（Application Data Store，應(yīng)用數(shù)據(jù)層）

功能：

ADS層是數(shù)據(jù)倉庫的最頂層，主要用于支持具體的應(yīng)用和業(yè)務(wù)需求。
該層的數(shù)據(jù)經(jīng)過高度聚合和摘要，提供給最終用戶進(jìn)行直接查詢和分析。

特點(diǎn)：

數(shù)據(jù)高度聚合，支持快速查詢和報(bào)表生成。
面向具體應(yīng)用和業(yè)務(wù)需求設(shè)計(jì)，提供給BI工具和終端用戶。
數(shù)據(jù)存儲(chǔ)時(shí)間可根據(jù)應(yīng)用需求靈活設(shè)置。

分層設(shè)計(jì)的優(yōu)勢

數(shù)據(jù)治理通過分層處理數(shù)據(jù)，可以更好地管理數(shù)據(jù)質(zhì)量，確保數(shù)據(jù)的一致性和準(zhǔn)確性。
性能優(yōu)化分層設(shè)計(jì)將數(shù)據(jù)處理和存儲(chǔ)職責(zé)分離，提高了數(shù)據(jù)倉庫的查詢性能和擴(kuò)展性。
靈活性不同層的數(shù)據(jù)可以滿足不同類型的查詢和分析需求，提供了更大的靈活性。
可維護(hù)性分層設(shè)計(jì)使得數(shù)據(jù)處理流程更加清晰和可維護(hù)，有助于數(shù)據(jù)倉庫的長期管理和優(yōu)化。

通過這種分層設(shè)計(jì)，數(shù)據(jù)倉庫能夠有效地處理和存儲(chǔ)大量數(shù)據(jù)，同時(shí)為各種分析和業(yè)務(wù)需求提供支持。

涉及到的技術(shù)棧

在數(shù)據(jù)倉庫的分層設(shè)計(jì)（ODS-DWD-DWS-ADS）中，各層可以使用不同的技術(shù)棧來實(shí)現(xiàn)。以下是每一層常用的技術(shù)棧：

ODS（Operational Data Store，操作數(shù)據(jù)存儲(chǔ)）

涉及技術(shù)棧：

數(shù)據(jù)源各種業(yè)務(wù)系統(tǒng)，如ERP、CRM、銷售系統(tǒng)等。
數(shù)據(jù)采集工具

ETL工具：Apache NiFi、Talend、Informatica、Pentaho

CDC（Change Data Capture）工具：Debezium、Oracle GoldenGate

數(shù)據(jù)同步工具：Apache Sqoop、Apache Flume

數(shù)據(jù)庫
關(guān)系型數(shù)據(jù)庫：MySQL、PostgreSQL、Oracle
NoSQL數(shù)據(jù)庫：MongoDB、Cassandra

DWD（Data Warehouse Detail，明細(xì)數(shù)據(jù)層）

涉及技術(shù)棧：

ETL工具 Apache NiFi、Apache Airflow、Talend、Informatica、Pentaho
數(shù)據(jù)處理框架

批處理：Apache Spark、Apache Flink、Apache Hadoop（MapReduce）

流處理：Apache Kafka Streams、Apache Flink、Apache Storm

數(shù)據(jù)存儲(chǔ)
分布式文件系統(tǒng)：Hadoop HDFS
列式存儲(chǔ)：Apache Parquet、Apache ORC
數(shù)據(jù)湖：Apache Hudi、Delta Lake

DWS（Data Warehouse Service，服務(wù)數(shù)據(jù)層）

涉及技術(shù)棧：

ETL工具 Apache Airflow、Apache NiFi、Talend
數(shù)據(jù)處理框架

批處理：Apache Spark、Apache Hive

流處理：Apache Flink、Apache Storm

數(shù)據(jù)存儲(chǔ)
分布式數(shù)據(jù)倉庫：Apache Hive、Apache HBase、Google BigQuery、Amazon Redshift
列式存儲(chǔ)：Apache Parquet、Apache ORC
數(shù)據(jù)湖：Delta Lake、Apache Iceberg
OLAP引擎 Apache Kylin、Druid、ClickHouse、Presto

ADS（Application Data Store，應(yīng)用數(shù)據(jù)層）

涉及技術(shù)棧：

ETL工具 Apache Airflow、Talend、Informatica
數(shù)據(jù)處理框架

批處理：Apache Spark、Apache Hive

流處理：Apache Flink、Apache Kafka Streams

數(shù)據(jù)存儲(chǔ)
數(shù)據(jù)庫：MySQL、PostgreSQL、Oracle
數(shù)據(jù)倉庫：Amazon Redshift、Google BigQuery、Snowflake
BI工具 Tableau、Power BI、Looker、QlikView、Domo

其他輔助技術(shù)

數(shù)據(jù)治理與質(zhì)量 Apache Atlas、Apache Griffin、Talend Data Quality
數(shù)據(jù)編排與調(diào)度 Apache Airflow、Apache Oozie、Prefect
數(shù)據(jù)可視化 Tableau、Power BI、Looker、Grafana
數(shù)據(jù)安全與訪問控制 Apache Ranger、Apache Sentry

通過使用這些技術(shù)棧，可以有效地實(shí)現(xiàn)數(shù)據(jù)倉庫的各個(gè)層次，從而滿足不同層次的需求和應(yīng)用場景。

構(gòu)建ODS-DWD-DWS-ADS的步驟

構(gòu)建ODS-DWD-DWS-ADS數(shù)據(jù)倉庫的過程可以分為幾個(gè)步驟，每一步都需要特定的技術(shù)和方法來實(shí)現(xiàn)數(shù)據(jù)的采集、清洗、轉(zhuǎn)換、存儲(chǔ)和分析。以下是構(gòu)建這一架構(gòu)的詳細(xì)步驟：

構(gòu)建ODS（Operational Data Store，操作數(shù)據(jù)存儲(chǔ)）

步驟：

數(shù)據(jù)源識(shí)別

確定需要集成的數(shù)據(jù)源（如ERP、CRM、銷售系統(tǒng)等）。

數(shù)據(jù)采集

使用ETL工具（如Apache NiFi、Talend、Informatica）或CDC工具（如Debezium、Oracle GoldenGate）從數(shù)據(jù)源中采集數(shù)據(jù)。
配置數(shù)據(jù)采集任務(wù)，確保實(shí)時(shí)或準(zhǔn)實(shí)時(shí)地獲取數(shù)據(jù)。

數(shù)據(jù)存儲(chǔ)

將采集到的原始數(shù)據(jù)存儲(chǔ)在關(guān)系型數(shù)據(jù)庫（如MySQL、PostgreSQL）或NoSQL數(shù)據(jù)庫（如MongoDB、Cassandra）中。

數(shù)據(jù)監(jiān)控與管理

設(shè)置數(shù)據(jù)質(zhì)量監(jiān)控和異常處理機(jī)制，確保數(shù)據(jù)的完整性和準(zhǔn)確性。

構(gòu)建DWD（Data Warehouse Detail，明細(xì)數(shù)據(jù)層）

步驟：

數(shù)據(jù)清洗

使用ETL工具（如Apache NiFi、Apache Airflow、Talend）對(duì)ODS中的數(shù)據(jù)進(jìn)行清洗，處理缺失值、重復(fù)值和錯(cuò)誤數(shù)據(jù)。

數(shù)據(jù)轉(zhuǎn)換

對(duì)清洗后的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化和格式轉(zhuǎn)換，確保數(shù)據(jù)的一致性。

數(shù)據(jù)存儲(chǔ)

將處理后的細(xì)粒度數(shù)據(jù)存儲(chǔ)在分布式文件系統(tǒng)（如Hadoop HDFS）或列式存儲(chǔ)格式（如Apache Parquet、Apache ORC）中。

數(shù)據(jù)加載

配置數(shù)據(jù)加載任務(wù)，定期將ODS數(shù)據(jù)加載到DWD層。

構(gòu)建DWS（Data Warehouse Service，服務(wù)數(shù)據(jù)層）

步驟：

數(shù)據(jù)聚合

使用批處理框架（如Apache Spark、Apache Hive）或流處理框架（如Apache Flink、Apache Storm）對(duì)DWD層的數(shù)據(jù)進(jìn)行聚合和轉(zhuǎn)換。

數(shù)據(jù)建模

基于業(yè)務(wù)需求和分析目標(biāo)，進(jìn)行數(shù)據(jù)建模和多維數(shù)據(jù)集的創(chuàng)建。

數(shù)據(jù)存儲(chǔ)

將聚合后的數(shù)據(jù)存儲(chǔ)在分布式數(shù)據(jù)倉庫（如Apache Hive、Apache HBase）或數(shù)據(jù)湖（如Delta Lake、Apache Iceberg）中。

OLAP配置

配置OLAP引擎（如Apache Kylin、Druid、ClickHouse），支持多維分析和快速查詢。

構(gòu)建ADS（Application Data Store，應(yīng)用數(shù)據(jù)層）

步驟：

數(shù)據(jù)摘要和匯總

使用數(shù)據(jù)處理框架（如Apache Spark、Apache Hive）對(duì)DWS層的數(shù)據(jù)進(jìn)行進(jìn)一步的聚合和摘要。

數(shù)據(jù)定制

根據(jù)具體的業(yè)務(wù)需求和應(yīng)用場景，對(duì)數(shù)據(jù)進(jìn)行定制化處理。

數(shù)據(jù)存儲(chǔ)

將處理后的數(shù)據(jù)存儲(chǔ)在關(guān)系型數(shù)據(jù)庫（如MySQL、PostgreSQL）或數(shù)據(jù)倉庫（如Amazon Redshift、Google BigQuery、Snowflake）中。

BI工具集成

配置BI工具（如Tableau、Power BI、Looker），實(shí)現(xiàn)數(shù)據(jù)的可視化展示和自助分析。

用戶訪問控制

設(shè)置數(shù)據(jù)訪問權(quán)限，確保數(shù)據(jù)的安全性和合規(guī)性。

輔助步驟

數(shù)據(jù)治理與質(zhì)量

使用數(shù)據(jù)治理工具（如Apache Atlas）和數(shù)據(jù)質(zhì)量管理工具（如Apache Griffin）確保數(shù)據(jù)的完整性、一致性和準(zhǔn)確性。

數(shù)據(jù)編排與調(diào)度

使用數(shù)據(jù)編排和調(diào)度工具（如Apache Airflow、Apache Oozie）管理和調(diào)度ETL任務(wù)，確保數(shù)據(jù)處理流程的自動(dòng)化和可監(jiān)控性。

數(shù)據(jù)安全與合規(guī)

實(shí)施數(shù)據(jù)安全措施（如Apache Ranger、Apache Sentry），確保數(shù)據(jù)訪問的安全性和合規(guī)性。

通過這些步驟，可以系統(tǒng)化地構(gòu)建ODS-DWD-DWS-ADS數(shù)據(jù)倉庫架構(gòu)，滿足企業(yè)對(duì)數(shù)據(jù)采集、存儲(chǔ)、處理和分析的需求。

ODS-DWD-DWS-ADS最小化部署方案

要構(gòu)建一個(gè)最小化的ODS-DWD-DWS-ADS數(shù)據(jù)倉庫架構(gòu)，可以選擇使用一些開源工具和框架來實(shí)現(xiàn)。以下是一個(gè)簡單的部署方案，包括各個(gè)層次的最小化配置和實(shí)現(xiàn)步驟：

環(huán)境準(zhǔn)備

服務(wù)器

至少需要一臺(tái)服務(wù)器（可以是物理機(jī)或虛擬機(jī)），建議配置較高的CPU和內(nèi)存。

操作系統(tǒng)

Linux（如Ubuntu或CentOS）或Windows。

最小化技術(shù)棧選擇

ETL工具 Apache NiFi
數(shù)據(jù)處理框架 Apache Spark
數(shù)據(jù)存儲(chǔ) MySQL、Apache Hive
BI工具 Tableau Public或Power BI Desktop（用于數(shù)據(jù)可視化）

ODS（Operational Data Store，操作數(shù)據(jù)存儲(chǔ)）

技術(shù)棧：

數(shù)據(jù)源模擬數(shù)據(jù)源（如CSV文件、簡單的Web API）
數(shù)據(jù)采集工具 Apache NiFi
數(shù)據(jù)庫 MySQL

步驟：

安裝MySQL

sudo apt-get updatesudo apt-get install mysql-server

配置MySQL，并創(chuàng)建一個(gè)數(shù)據(jù)庫用于存儲(chǔ)ODS數(shù)據(jù)。

安裝Apache NiFi

wget https://archive.apache.org/dist/nifi/1.13.2/nifi-1.13.2-bin.tar.gztar -xzf nifi-1.13.2-bin.tar.gzcd nifi-1.13.2./bin/nifi.sh start

在瀏覽器中打開NiFi Web UI（默認(rèn)端口8080），配置數(shù)據(jù)采集流程，將數(shù)據(jù)從模擬數(shù)據(jù)源導(dǎo)入MySQL。

DWD（Data Warehouse Detail，明細(xì)數(shù)據(jù)層）

技術(shù)棧：

數(shù)據(jù)處理框架 Apache Spark
數(shù)據(jù)存儲(chǔ) Apache Hive

步驟：

安裝Apache Spark

wget https://archive.apache.org/dist/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgztar -xzf spark-3.1.2-bin-hadoop3.2.tgz

安裝Apache Hive

wget https://archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gztar -xzf apache-hive-3.1.2-bin.tar.gzcd apache-hive-3.1.2-binbin/schematool -dbType mysql -initSchema

數(shù)據(jù)清洗與轉(zhuǎn)換

編寫Spark作業(yè)（使用PySpark或Scala），從MySQL中讀取數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換，將處理后的數(shù)據(jù)寫入Hive。

DWS（Data Warehouse Service，服務(wù)數(shù)據(jù)層）

技術(shù)棧：

數(shù)據(jù)處理框架 Apache Spark
數(shù)據(jù)存儲(chǔ) Apache Hive

步驟：

數(shù)據(jù)聚合與建模

編寫Spark作業(yè)，對(duì)Hive中的DWD數(shù)據(jù)進(jìn)行聚合和轉(zhuǎn)換，生成面向主題的中間數(shù)據(jù)表。

ADS（Application Data Store，應(yīng)用數(shù)據(jù)層）

技術(shù)棧：

數(shù)據(jù)存儲(chǔ) MySQL
BI工具 Tableau Public或Power BI Desktop

步驟：

數(shù)據(jù)摘要和匯總

編寫Spark作業(yè)，對(duì)DWS中的數(shù)據(jù)進(jìn)行進(jìn)一步的聚合和摘要，將結(jié)果寫入MySQL。

安裝BI工具

下載并安裝Tableau Public或Power BI Desktop。
配置數(shù)據(jù)源連接到MySQL，創(chuàng)建可視化報(bào)表和儀表盤。

輔助步驟

數(shù)據(jù)編排與調(diào)度

調(diào)度工具使用簡單的cron作業(yè)調(diào)度ETL任務(wù)。

crontab -e

添加cron任務(wù)調(diào)度Spark作業(yè)和NiFi數(shù)據(jù)采集任務(wù)。

數(shù)據(jù)監(jiān)控與管理

在Apache NiFi中配置數(shù)據(jù)監(jiān)控和警報(bào)機(jī)制，確保數(shù)據(jù)采集流程的穩(wěn)定性。

總結(jié)

這個(gè)最小化部署方案使用了較少的工具和框架，但仍然涵蓋了ODS-DWD-DWS-ADS數(shù)據(jù)倉庫架構(gòu)的基本功能。通過這種方式，我們可以快速構(gòu)建一個(gè)簡單的數(shù)據(jù)倉庫，并根據(jù)需求逐步擴(kuò)展和優(yōu)化。

本文鏈接：http://www.www897cc.com/showinfo-26-98866-0.html大數(shù)據(jù)面試：分層設(shè)計(jì)思想

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 10 款炫酷的前端 CSS 加載器和進(jìn)度條動(dòng)畫

下一篇：每月超1.5億次下載的前端工具，作者寫了一個(gè)更強(qiáng)大的替代品！

標(biāo)簽：

熱門焦點(diǎn)

一加Ace2 Pro官宣：普及16G內(nèi)存引領(lǐng)24G

一加官方今天繼續(xù)為本月發(fā)布的新機(jī)一加Ace2 Pro帶來預(yù)熱，公布了內(nèi)存方面的信息。“淘汰 8GB ，12GB 起步，16GB 普及，24GB 引領(lǐng)，還有呢？#一加Ace2Pro#，2023 年 8 月，敬請(qǐng)期待。”同時(shí)
天貓精靈Sound Pro體驗(yàn)：智能音箱沒有音質(zhì)？來聽聽我的

這幾年除了手機(jī)作為智能生活終端最主要的核心之外，第二個(gè)可以成為中心點(diǎn)的產(chǎn)品是什么？——是智能音箱。手機(jī)在執(zhí)行命令的時(shí)候有兩種操作方式，手和智能語音助手，而智能音箱只
十個(gè)可以手動(dòng)編寫的 JavaScript 數(shù)組 API

JavaScript 中有很多API，使用得當(dāng)，會(huì)很方便，省力不少。你知道它的原理嗎? 今天這篇文章，我們將對(duì)它們進(jìn)行一次小總結(jié)。現(xiàn)在開始吧。1.forEach()forEach()用于遍歷數(shù)組接收一參
JavaScript學(xué)習(xí) -AES加密算法

引言在當(dāng)今數(shù)字化時(shí)代，前端應(yīng)用程序扮演著重要角色，用戶的敏感數(shù)據(jù)經(jīng)常在前端進(jìn)行加密和解密操作。然而，這樣的操作在網(wǎng)絡(luò)傳輸和存儲(chǔ)中可能會(huì)受到惡意攻擊的威脅。為了確保數(shù)據(jù)
.NET 程序的 GDI 句柄泄露的再反思

一、背景1. 講故事上個(gè)月我寫過一篇如何洞察 C# 程序的 GDI 句柄泄露文章，當(dāng)時(shí)用的是 GDIView + WinDbg 把問題搞定，前者用來定位泄露資源，后者用來定位泄露代碼，后面有朋友反
每天一道面試題-CPU偽共享

前言：了不起：又到了每天一到面試題的時(shí)候了！學(xué)弟，最近學(xué)習(xí)的怎么樣啊了不起學(xué)弟：最近學(xué)習(xí)的還不錯(cuò)，每天都在學(xué)習(xí)，每天都在進(jìn)步！了不起：那你最近學(xué)習(xí)的什么呢？了不起學(xué)弟：最近在學(xué)習(xí)C
騰訊VS網(wǎng)易，最卷游戲暑期檔，誰能笑到最后？

作者：無銹缽來源：財(cái)經(jīng)無忌7月16日晚，上海1862時(shí)尚藝術(shù)中心。伴隨著幻象的精準(zhǔn)命中，碩大的熒幕之上，比分被定格在了14：12，被寄予厚望的EDG戰(zhàn)隊(duì)以絕對(duì)的優(yōu)勢戰(zhàn)勝了BLG戰(zhàn)隊(duì)，拿下了總決
8月見！小米MIX Fold 3獲得3C認(rèn)證：支持67W快充

這段時(shí)間以來，包括三星、一加、榮耀等等有不少品牌旗下的最新折疊屏旗艦都得到了不少爆料，而小米新一代折疊屏旗艦——小米MIX Fold 3此前也屢屢被傳
AI芯片初創(chuàng)公司Tenstorrent獲三星和現(xiàn)代1億美元投資

Tenstorrent是一家由芯片行業(yè)資深人士Jim Keller領(lǐng)導(dǎo)的加拿大初創(chuàng)公司，專注于開發(fā)人工智能芯片，該公司周三表示，已經(jīng)從現(xiàn)代汽車集團(tuán)和三星投資基金等