数据收集流程图
5星
- 浏览量: 0
- 大小:None
- 文件类型：None
简介：
数据收集流程图是一份详尽地展示了从初始数据源到最终数据库存储整个过程中的各个步骤和转换的视觉化文档。它帮助用户清晰了解信息采集、处理及分析的过程，确保高效且无误的数据管理。
数据采集文档说明：
1. 生产数据目录位于：/home/wangyi/DepositoryProject/API，其中包含的产品、用户、充提（充值提现）、奖励及投资等各类数据按天递增，并保留历史记录。
- /home/wangyi/DepositoryProject/api/Ct -- 充值提现采集数据
- /home/wangyi/DepositoryProject/api/Invest -- 投资采集数据
- /home/wangyi/DepositoryProject/api/Product -- 产品采集数据
- /home/wangyi/DepositoryProject/api/Reward -- 奖励采集数据
- /home/wangyi/DepositoryProject/api/User -- 用户采集数据
2. 开发数据目录：
数据开发工程中，只有/home/wangyi/DepositoryProject/Databak 中的数据是全量的，即从开始进行数据采集至今的所有记录。其它生产目录仅保留一次清洗前的数据备份。
- Databak：最终切割与汇总输出目录（包含历史全量数据）
- Dataclear：临时数据清洗目录
- dataclearTitle：一级数据清洗目录
- datadisposeStringNULL：二级数据清洗目录
- Dataformat：三级数据清洗目录
- Datalast：四级数据清洗目录
- Dataproduce：数据产生层目录
全部评论 (0)
