Advertisement

Flink 1.14.0 与 Kudu 1.10.0 Connector 已配置。

  •  5星
  •     浏览量: 0
  •     大小:None
  •      文件类型：None

简介：
当前基于GitHub仓库https://github.com/apache/bahir-flink.git的版本为flink1.12.2，而kudu版本则为1.13.0。为了适应我所处的特定环境，我将flink升级至最新版本1.14.0，同时将kudu降至1.10.0。鉴于flink API的更新，我需要对源码进行了一定的修改以适配新的接口。此外，在最终的编译和打包过程中，我采取了措施来规避deprecation警告，从而获得了最终可用的软件包。目前的环境配置为cdh6.3.2（kudu 1.10.0）+flink 1.14.0 + scala 2.11.12。经过初步测试，该配置基本可用；如果在使用过程中遇到任何问题，欢迎随时与我联系寻求帮助。

全部评论 (0)

还没有任何评论哟~
客服
客服
客服关闭
  • Flink 1.14.0与Kudu 1.10.0连接器
    优质
    本文章介绍了Apache Flink 1.14.0版本与Kudu 1.10.0数据库之间的连接器使用方法及优化技巧，帮助开发者高效地进行数据处理和分析。 基于Apache Bahir Flink当前的版本应该是flink 1.12.2，Kudu是1.13.0。根据我的环境需求，我将Flink升级到最新版本1.14.0，并将Kudu降级至1.10.0。由于Flink API的变化，我对部分源码进行了修改，在编译打包过程中也跳过了deprecation警告的提示。最终得到了适用于当前环境的包：CDH 6.3.2（包含 Kudu 1.10.0）+ Flink 1.14.0 + Scala 2.11.12。 简单测试后可以确认功能正常，如有任何问题欢迎联系反馈。
     
  • Flink Connector Kudu：基于Apache Bahir Kudu Connector的Flink连接器...
    优质
    Flink Connector Kudu是基于Apache Bahir项目的Kudu Connector开发的一款专门用于连接Apache Flink与Google Kudu的流处理连接工具，简化了数据在实时应用中的高效存储和查询过程。 Kudu连接器是基于Apache Bahir Kudu连接器改造而来，并满足公司内部使用需求的版本。它支持范围分区特性、定义哈希分桶数等功能，并且兼容Flink 1.11.x动态数据源等特性。经过改进后，部分功能已回馈给社区。 在项目中使用该Kudu连接器时，请先克隆代码并根据公司私服环境调整pom文件坐标信息。创建目录的示例如下： ```java StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); catalog = new KuduCatalog(cdh01:7051,cdh02:7051,cdh03:7051); tableEnv = KuduTableTestUtils.createTableEnvWithBlinkPlannerStreamingMode(env); ```
     
  • Ambari与Hadoop3集成Impala 3.2和Kudu 1.10.0
    优质
    本文介绍了如何使用Apache Ambari将Hadoop 3环境与Impala 3.2及Kudu 1.10.0进行集成，详细阐述了配置步骤与注意事项。 Ambari 2.7.5 集成 HDP3 时不自带 Impala 和 Kudu，因此需要通过安装 Cloudera 的 Impala 和 Kudu 来实现集成。采用 Ambari 插件方式进行安装，解压后将文件放置于 /var/lib/ambari-server/resources/stacks/HDP/3.1/services/ 目录下。
     
  • Flink-1.14.0 for CDH 6.3.2 (.zip)
    优质
    该资源为Apache Flink 1.14.0版本针对Cloudera Hadoop发行版CDH 6.3.2优化打包的.zip文件，便于在CDH环境中快速部署和使用Flink进行大数据实时流处理与批处理任务。 《FLINK-1.14.0在CDH6.3.2上的部署与集成》 Flink是一款开源的流处理框架，以其高效、实时、可扩展性和容错性著称，在大数据处理领域得到广泛应用。本段落将详细介绍如何在企业级Hadoop平台Cloudera Data Hub（CDH）6.3.2上部署FLINK-1.14.0版本，并结合Hive进行数据处理。 CDH 6.3.2提供了全面的Hadoop和大数据分析解决方案，包括多个组件如HDFS、YARN、HBase以及Hive等，为用户提供统一的数据管理和分析环境。而Flink 1.14.0则带来了性能优化及新特性，例如增强的SQL支持、改进的连接器与格式，并进一步整合了Kafka。 部署FLINK on CDH首先需要准备的是FLINK-1.14.0二进制包，其中包含了专为YARN设计的`FLINK_ON_YARN-1.14.0.jar`以及通用Flink二进制文件`FLINK-1.14.0.jar`。 **环境准备：** 在部署前，请确保CDH集群已安装并配置好YARN、HDFS等组件，并具备Java运行时环境，推荐使用Java 8或更高版本以支持Flink 1.14.0的兼容性需求。 **解压与配置FLINK-1.14.0：** 将`FLINK-1.14.0-BIN-SCALA_2.11-el7.parcel`包解压缩至指定目录，此版本适用于Linux环境且依赖Scala 2.11。根据CDH的parcel管理机制执行相关操作。 **配置YARN与HDFS：** 修改`conf/flink-conf.yaml`文件以设置Flink在YARN上运行的相关参数，包括将`yarn.application-mode`设为`cluster`, `jobmanager.rpc.address`指向ResourceManager地址等。同时确保正确设置了保存状态和日志的HDFS路径。 **与Hive集成：** 要实现Flink与Hive的数据交互，请保证Hive Metastore服务正常运行，并在flink配置中添加必要的hive连接设置，例如指定`hive.metastore.uris`. **启动FLINK集群并测试作业：** 使用提供的脚本如`bin/yarn-session.sh`提交到YARN以启动Flink的Session模式或直接通过命令行方式执行应用。创建一个简单的WordCount示例来验证部署成功。 **监控与维护：** 可以通过配置好的Web界面访问地址（例如:8081）进行作业状态监测，并根据实际情况调整参数如TaskManager数量、内存分配等，以优化性能表现并维持系统的稳定运行。 通过上述步骤，在CDH 6.3.2上部署FLINK-1.14.0并与Hive集成得以实现。这不仅充分利用了CDH提供的资源管理能力，还借助Flink强大的流处理特性来应对大规模实时数据的挑战，为企业的大数据应用提供了强有力的支持。
     
  • Doris Flink Connector
    优质
    Doris Flink Connector是专为Apache Doris设计的连接器插件，它允许用户通过Flink实时获取和处理数据，增强数据分析与挖掘能力。 官方网站并未提供编译好的 connector 下载，需要自行编译。我将上传自己编译好的版本供大家下载。 以下是相关配置： - flink 版本：1.13.5； - scala.version: 2.12 - flink.version: 1.13.5 - libthrift.version: 0.13.0 - arrow.version: 5.0.0 - maven-compiler-plugin.version: 3.8.1 - maven-javadoc-plugin.version: 3.3.0 - maven-source-plugin.version: 3.2.1
     
  • flink-connector-cdc-kb
    优质
    Flink-Connector-CDC-KB是一款专为Apache Flink设计的数据连接器，用于高效地从数据库变更日志中捕获数据变化，并实时传输至数据流处理应用。 Flink-connector-kb-cdc 是一个用于与知识库（KB）进行数据变更捕获（CDC）的连接器插件，它允许用户实时获取数据库中的更新、插入或删除操作，并将这些更改传递给 Apache Flink 流处理应用以支持复杂的业务逻辑和数据分析。
     
  • Flink Connector ClickHouse 1.12.0 Jar
    优质
    Flink Connector ClickHouse 1.12.0 Jar是一款专为Apache Flink设计的连接器库，用于与ClickHouse数据库高效交互，支持数据读写操作，适用于大数据处理场景。 Flink 通过 connector 形式连接 ClickHouse 的配置如下： ```properties id Int, age Int, sex Int, create_date Date WITH ( connector = clickhouse, url = jdbc:clickhouse://10.1.3.176:8123/test, table-name = tb_user, username = , password = , format = json ) ```
     
  • flink-connector-redis_2.11-1.1-snapshot
    优质
    Flink-connector-redis_2.11-1.1-snapshot 是一个用于Apache Flink与Redis之间数据交换的连接器库，适用于Scala 2.11版本，提供实时数据处理功能。 Flink连接Redis作为sink时，在1.0版本中无法支持设置过期时间。为此开发了一个新的jar包来解决这个问题，这样可以避免自行重新编译代码，节省时间。