(源码)基于Flink的实时数据仓库系统.zip

简介：
本资源提供了一套基于Apache Flink构建的实时数据仓库解决方案。其中包括了完整的项目源代码、配置文件及详细的开发文档，帮助用户快速搭建和优化企业级实时数据分析平台。 ## 项目简介 本项目是一个基于Apache Flink的实时数仓系统，旨在处理和分析实时数据流，并提供高效的数据复用性和灵活的指标生成能力。通过构建实时数仓，项目能够支持多种实时数据分析需求，包括灵活选择TopN区间段、一次实时数据生成多个指标等。 ## 项目的主要特性和功能 ### 数据类型 数据库数据涵盖业务交互信息，例如登录记录、订单详情、用户资料、商品列表和支付交易，这些数据存储在MySQL中。 日志数据则包含页面埋点追踪的日志以及启动事件的记录，通过Nginx与Kafka进行采集并处理。 ### 数据分层与职能 - **ODS层**（原始数据层）：存储来自各个来源的日志和业务相关的信息。该层级的数据是直接从日志服务器或使用FlinkCDC技术收集得到。 - **DWD层**（数据明细层）：在此层次进行初步的处理，如数据分流、去重等操作，并生成一些基础统计指标如UV（独立访客数）、用户跳出行为分析以及订单宽表和支付款记录。 - **DIM层**（维度数据层）：这一层级主要存储用于后续数据分析的各种维度信息，包括但不限于用户的属性定义、商品详情及地理位置等相关参数。 - **DWS层**（服务数据层）：根据不同的业务主题将多个事实性表格进行轻度聚合操作，并形成便于查询的主题宽表。