MRIYA：基于Flink的实时ETL工具，用于将MySQL数据传输至Greenplum，并通过Canal解析MySQL Binlog...

简介：
MRIYA是一款利用Apache Flink构建的高效实时ETL解决方案，专门用于从MySQL数据库抽取并加载到Greenplum中。借助Canal对MySQL Binlog日志的精准解析能力，确保数据传输的即时性和准确性。 介绍 使用Flink开发的实时ETL系统可以将数据从MySQL传输到Greenplum。通过Canal解析MySQL的binlog，并将其投放进Kafka中。接着，利用Flink消费这些消息并将数据组装进Greenplum数据库。未来计划增加更多的数据源和目标。 工作流程 首先，使用Canal来解析MySQL的binary log并把它们投入Kafka。 然后，通过mriya从Kafka中读取消息，并恢复出MySQL中的增删改操作。 最后，将这些变更转换为目标系统的相应操作语句。 特性 - 基于binlog实现近乎实时的数据同步ETL - 支持自动化表创建和DDL变更的自动同步 - 使用Nacos作为注册中心并支持动态配置更改而无需重启服务 - 计划在未来增加对多种目标源的支持 数据传输示例： 从MySQL到PostgreSQL Greenplum使用delete+copy的方式实现近乎实时的数据增删改操作，并且能够自动创建表。