Advertisement

Flink 1.14.4 (Scala 2.12)与CDH 6.2.1 Parcel包兼容性

  •  5星
  •     浏览量: 0
  •     大小:None
  •      文件类型:None


简介:
本篇文章探讨了Apache Flink 1.14.4(基于Scala 2.12)与Cloudera Distribution Hadoop (CDH) 6.2.1的Parcel安装方式之间的兼容性问题,提供了详细的配置和部署指导。 使用 Flink-1.14.4-scala_2.12 和 CDH6.2.1 版本的 parcel 包进行安装时,请按照以下步骤操作: 将文件 FLINK-1.14.4-BIN-SCALA_2.12-el7.parcel、FLINK-1.14.4-BIN-SCALA_2.12-el7.parcel.sh 和 manifest.json 放入 /opt/cloudera/parcel-repo/ 目录下。 将文件 FLINK_ON_YARN-1.14.4.jar 和 FLINK-1.14.4.jar 放入 /opt/cloudera/csd/ 目录中。 此外,还需要把 commons-cli-1.5.0.jar 和 flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar 文件放入 /opt/cloudera/parcels/FLINK/lib/flink/lib 目录下。

全部评论 (0)

还没有任何评论哟~
客服
客服
  • Flink 1.14.4 (Scala 2.12)CDH 6.2.1 Parcel
    优质
    本篇文章探讨了Apache Flink 1.14.4(基于Scala 2.12)与Cloudera Distribution Hadoop (CDH) 6.2.1的Parcel安装方式之间的兼容性问题,提供了详细的配置和部署指导。 使用 Flink-1.14.4-scala_2.12 和 CDH6.2.1 版本的 parcel 包进行安装时,请按照以下步骤操作: 将文件 FLINK-1.14.4-BIN-SCALA_2.12-el7.parcel、FLINK-1.14.4-BIN-SCALA_2.12-el7.parcel.sh 和 manifest.json 放入 /opt/cloudera/parcel-repo/ 目录下。 将文件 FLINK_ON_YARN-1.14.4.jar 和 FLINK-1.14.4.jar 放入 /opt/cloudera/csd/ 目录中。 此外,还需要把 commons-cli-1.5.0.jar 和 flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar 文件放入 /opt/cloudera/parcels/FLINK/lib/flink/lib 目录下。
  • Flink 1.14.4CDH 6.3.2的集成
    优质
    本篇文章主要探讨Apache Flink 1.14.4版本与Cloudera Distribution Hadoop (CDH) 6.3.2版本的兼容性及集成方法,旨在帮助开发者解决Flink在CDH环境中部署和运行时可能遇到的问题。 在部署过程中遇到两个问题:一是“Redaction rules file doesnt exist, not redacting logs. file: redaction-rules.json”,二是“rotateLogFilesWithPrefix: command not found”。这些问题不影响使用,但需要注意到资源commons-cli-1.5.0和flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0应该放入Flink的lib目录下。
  • CDH 6.3.2 集成 Flink 1.13 Parcel
    优质
    本简介介绍如何在Cloudera Distribution Hadoop 6.3.2版本中集成Flink 1.13版本的Parcel包,实现大数据实时计算功能的便捷部署与管理。 FLINK-1.13.2-BIN-SCALA_2.11-el7.parcel.sha、FLINK-1.13.2-BIN-SCALA_2.11-el7.parcelmanifest.json以及FLINK_ON_YARN-1.13.2.jar的安装教程可以参考相关文档或博客文章。
  • CDH 6.3.2 集成 Apache Flink 1.12.2 parcel (flink-1.12.2-bin-scala_2.12...)
    优质
    本简介介绍如何在Cloudera Distribution Hadoop (CDH) 6.3.2版本中集成Apache Flink 1.12.2的parcel包,包括相关步骤和注意事项。 源码编译制作的parcel包在Linux环境下与CDH6.3.2及Scala 2.12兼容,并附有相关教程文章。
  • CDH 6.3.2 SPARK3 PARCEL 测试通过,CDH 5-6版本
    优质
    本项目成功测试了CDH 6.3.2版本中SPARK3 parcel的兼容性,证明其与CDH 5和6版本均能良好适配。 Cloudera Data Hub (CDH) 是一个全面、企业级优化的开源大数据平台,集成了 Hadoop 及其相关项目如 HDFS、HBase 和 Spark 等,并提供了统一管理和监控工具。 Parcel 分发机制是 CDH 的核心组成部分之一。它是一种预编译软件包,可以直接在多节点集群上安装和管理复杂的依赖关系,简化了部署过程并确保一致性。 Apache Spark 是一个快速且通用的大数据处理框架,支持批处理、交互式查询(通过 Spark SQL)、实时流处理及机器学习功能。Spark 3.0 版本带来了性能优化以及新的 API 和功能增强。 CDH 6.3.2 支持 Spark 3.0 的部署和使用,用户可以通过 parcel 方式轻松安装并运行新版本的 Spark,享受其改进特性与性能提升。值得注意的是,在 CDH 5.x 环境下使用 Spark 3.0 可能需要额外配置以确保兼容性。 支持CDH 5-6 版本意味着该 SPARK3 parcel 文件不仅适用于 CDH 6.3.2,还能够兼容较早的版本。这为尚未升级到最新版 CDH 的用户提供了一种途径来体验 Spark 最新功能和改进。 “实测可用”表明这个 parcel 已经在实际环境中经过测试并成功运行,确保了其质量和稳定性,并减少了用户部署时可能遇到的问题。 Spark 3.0 parcel 文件包含必要的配置文件、文档和其他支持材料。下载后需要按照 CDH 的流程进行解压和激活操作。使用该 Spark 版本的用户需要注意检查集群硬件与软件需求,以保证所有节点都能满足条件并根据官方指南设置环境变量、安全措施及调度策略。 在实际部署中进行全面测试是验证新版本稳定性和性能的关键步骤,确保其能有效运行于生产环境中。
  • CDH 6.3.2 集成 Flink 1.10.2 Parcel (已验证有效)
    优质
    本简介介绍如何在Cloudera Distribution Hadoop (CDH) 6.3.2版本上集成Flink 1.10.2的Parcel包,提供详尽步骤和配置指南,并确认该方案已经过实际测试并证明可行。 源码编译制作的parcel包已在CentOS 7.5 + CDH 6.3.2 + Scala 2.12环境下测试通过,并附有相关教程文章。
  • CDH 6.2Fink 1.14.6.* parcel
    优质
    本资源提供CDH 6.2版本与Flink 1.14.6兼容的Parcel包下载及安装教程,帮助用户快速部署并使用Cloudera Distribution Hadoop及其组件。 CDH6.2与Fink1.14.6.*.parcel的组合配置。
  • CDH 6.2.1安装集合
    优质
    本集合提供了Cloudera Distribution Hadoop (CDH) 6.2.1版本的所有安装包,适用于大数据处理和分析需求的企业级部署。 适用于Redhat7以及CentOS7的CDH6.2.1安装包,内附MySQL和JDK1.8及简易安装步骤。由于资源较大,已放置于网盘中,下载的内容里包含获取网盘地址的方法。提供的文件包括:CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel、MySQL-5.7、JDK1.8和cm-6.3.1。如有问题,请通过私信联系。
  • Flink 1.13.1CDH 6.3.2
    优质
    本文章将介绍如何在Cloudera Distribution Hadoop (CDH) 6.3.2环境下部署和配置Apache Flink 1.13.1,包括安装步骤、环境配置及常见问题解决办法。 Flink 部署在 CDH 6.3.2 上的包可以用于集成 Flink 到现有的 Hadoop 生态系统中。这种部署方式能够充分利用已有的集群资源,简化大数据处理任务的开发与管理流程。
  • Scala 2.12 - kafka_2.12-0.10.2.1.tar.gz
    优质
    这段简介描述的是Apache Kafka的一个特定版本与Scala编程语言兼容的发布包。具体来说,kafka_2.12-0.10.2.1.tar.gz是Kafka 0.10.2.1版本针对Scala 2.12系列编译和优化后的二进制文件压缩包,适用于构建实时数据流处理应用。 Apache Kafka 是一个高度可扩展且高性能的分布式流处理平台,主要用于构建实时数据管道和应用程序。压缩包文件 kafka_2.12-0.10.2.1.tgz 包含了针对 Scala 2.12 编译的具体版本(即 0.10.2.1),Scala 是一种结合面向对象与函数式编程的多范式语言,使得复杂系统如 Kafka 的开发更为简洁高效。 在 Kafka 中,数据以主题形式组织,并可以进一步细分为多个分区。每个分区都是一个有序且不可变的消息队列,确保了消息顺序性。这种设计支持高吞吐量的数据摄入同时提供了容错机制,因为每个分区可以在集群的多节点间复制。 Kafka 的核心组件包括: 1. **生产者**:负责将数据发布到主题的应用程序或服务。 2. **消费者**:订阅并消费主题中的消息。使用消费者组的概念实现负载均衡与容错性。 3. **broker**:是 Kafka 集群的服务器,存储和管理消息传递。 4. **Zookeeper**:用于协调 Kafka 集群、管理和维护元数据及集群状态。 Kafka 的关键特性包括: - **持久化**:将消息写入磁盘以确保在服务重启后不会丢失数据。 - **高吞吐量**:通过批量发送和优化的磁盘操作,每秒可以处理数十万条信息。 - **实时处理**:支持实时数据分析与应用开发。 - **灵活性**:能够集成各种工具(如 Apache Spark, Flink, Storm)以构建复杂的数据流水线。 在 kafka_2.12-0.10.2.1 压缩包中,可能包含以下内容: 1. **bin** 目录:用于操作 Kafka 的命令行脚本。 2. **config** 目录:配置文件如 server.properties,用来设置 broker 行为。 3. **libs** 文件夹:运行 Kafka 所需的库和依赖项 JAR 包。 4. **logs** 文件夹:Kafka 服务器日志位置。 为了使用这个版本的 Kafka: 1. 解压 kafka_2.12-0.10.2.1.tgz 到合适的目录中。 2. 根据你的环境配置 server.properties 文件。 3. 启动 Zookeeper,因为它是 Kafka 的依赖项之一。 4. 启动 Kafka broker 服务。 5. 创建主题并调整消费者和生产者设置。 这个版本基于 Scala 2.12,并利用了该语言的特性,如更好的类型推断与更高效的运行时性能。因此对于开发者来说,在编写代码时可以减少错误并且获得更高的效率。 总的来说,kafka_2.12-0.10.2.1.tgz 提供了一个强大的实时数据处理框架,通过利用 Scala 的优势实现了高效且可靠的分布式消息传递功能。理解 Kafka 基本概念和组件,并正确配置与使用提供的工具后,开发者可以构建出强大而高效的实时数据系统。