ETL工程项目

简介：
ETL工程项目是指在数据仓库或大数据处理中，用于提取(Extract)、转换(Transform)和加载(Load)数据的一系列流程与技术。这些项目旨在将分散的数据整合到一个集中平台，以便进行分析和决策支持。 ETL项目最初的流程是使用Kaggle的两个数据集进行的。一个数据集包含印度食品配方的信息，另一个数据集则包含了常见食品和产品的营养价值的数据。 在ETL流程中，EXTRACT部分首先通过简单的pd.read语句将这些CSV文件加载到我们的Jupyter Notebook内。读取完CSV后，在TRANSFORMATION（清洗）阶段，需要从两个含有成分类型的数据框里拆分或分解列。我们使用了split函数来把每种成分拆解为单独的列，并且还需要移除原始数据框中成分间存在的逗号。 最终的结果是形成了两个干净的数据框，分别展示不同种类的多列组成信息。一旦这两个数据帧都清理完毕并包含了加载到我们的成分数据库所需的所有必要信息后，就进入了ETL流程中的LOAD阶段。在使用pgAdmin之前，我们先要在Jupyter Notebook和PostGres之间进行操作初始化这个部分的操作。