数据仓库【2】：架构

数据仓库【2】：架构

• 1、架构图
• 2、ETL流程
• • 2.1、ETL — Extract-Transform-Load
  • • 2.1.1、数据抽取（Extraction）
    • 2.1.2、数据转换（Transformation）
    • 2.1.3、数据加载（ Loading ）
  • 2.2、ETL工具
  • • 2.2.1、结构化数据ETL工具
    • 2.2.1、非|半结构化数据ETL工具
• 3、数据积存
• • 3.1、操作数据层（ODS）
• 4、数据分析
• • 4.1、数据明细层（DWD）
  • 4.2、数据汇总层（DWS）
  • 4.3、数据应用层（ADS）

1、架构图

2、ETL流程

2.1、ETL – Extract-Transform-Load

• 将数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至目的端的过程
• 构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先
  定义好的数据仓库模型，将数据加载到数据仓库中去
• ETL 规则的设计和实施约占整个数据仓库搭建工作量的 60%～80%
  

2.1.1、数据抽取（Extraction）

• 抽取的数据源可以分为结构化数据、非结构化数据、半结构化数据
• 结构化数据一般采用JDBC、数据库日志方式，非|半结构化数据会监听文件变动
  抽取方式
  • 数据抽取方式有全量同步、增量同步两种方式
  • 全量同步会将全部数据进行抽取，一般用于初始化数据装载
  • 增量同步方式会检测数据的变动，抽取发生变动的数据，一般用于数据更新

2.1.2、数据转换（Transformation）

• 数据转换要经历数据清洗和转换两个阶段
  • 数据清洗主要是对出现的重复、二义性、不完整、违反业务或逻辑规则等问题的数据进行统一的处理
  • 数据转换主要是对数据进行标准化处理，进行字段、数据类型、数据定义的转换
• 结构化数据在转换过程中的逻辑较为简单，非 | 半结构化数据的转换会较为复杂

2.1.3、数据加载（ Loading ）

• 将最后处理完的数据导入到对应的目标源里

2.2、ETL工具

2.2.1、结构化数据ETL工具

• Sqoop
• Kettle
• Datastage
• Informatica
• Kafka

2.2.1、非|半结构化数据ETL工具

• Flume
• Logstash

3、数据积存

3.1、操作数据层（ODS）

• 数据与原业务数据保持一致，可以增加字段用来进行数据管理

• 存储的历史数据是只读的，提供业务系统查询使用

• 业务系统对历史数据完成修改后，将update_type字段更新为UPDATE，追加回ODS中
  

• 在离线数仓中，业务数据定期通过ETL流程导入到ODS中，导入方式有全量、增量两种

  • 全量导入：数据第一次导入时，选择此种方式
  • 增量导入：数据非第一次导入，每次只需要导入新增、更改的数据，建议使用外连接&全覆盖方式

4、数据分析

4.1、数据明细层（DWD）

• 数据明细层对ODS层的数据进行清洗、标准化、维度退化（时间、分类、地域）
• 数据仍然满足3NF模型，为分析运算做准备
  

4.2、数据汇总层（DWS）

• 数据汇总层的数据对数据明细层的数据，按照分析主题进行计算汇总，存放便于分析的宽表
• 存储模型并非3NF，而是注重数据聚合，复杂查询、处理性能更优的数仓模型，如维度模型
  

4.3、数据应用层（ADS）

• 数据应用层也被称为数据集市
• 存储数据分析结果，为不同业务场景提供接口，减轻数据仓库的负担
  • 数据仓库擅长数据分析，直接开放业务查询接口，会加重其负担