Spark Atlas Connector：用于在Apache Atlas中追踪数据沿袭的工具

简介：
Spark Atlas Connector是一款专为Apache Spark设计的插件，旨在促进与Apache Atlas的集成，简化大数据平台上的元数据管理和数据血统跟踪。 Spark Atlas连接器用于跟踪Spark SQL/ DataFrame转换并将元数据更改推送到Apache Atlas的连接器。此连接器支持以下功能： - 跟踪SQL DDL语句，例如“创建数据库”、“删除数据库”、“修改数据库”，以及“创建表”、“删除表”和“修改表”。 - 支持跟踪各种SQL DML操作，如“CREATE TABLE tbl AS SELECT”，“INSERT INTO ...”，“LOAD DATA [LOCAL] INPATH”，及 “INSERT OVERWRITE [LOCAL] DIRECTORY”等。 - 跟踪具有输入输出的DataFrame转换以及机器学习管道中的数据处理流程。 该连接器能够与Hive、HDFS等其他系统关联，以便在Atlas中追踪和管理数据生命周期。为了使用此连接器，请确保您拥有Spark 2.3或更高版本（大多数功能仅适用于Spark 2.3.0及以上版本）。 若要构建该项目，请执行mv操作进行相关设置。