Advertisement

spark-3.2.2-bin-cdh6.3.2-3.0.0

  •  5星
  •     浏览量: 0
  •     大小:None
  •      文件类型：TGZ

简介：
这是Apache Spark 3.2.2版本的一个二进制包，兼容Cloudera Distribution Hadoop CDH 6.3.2，并集成了Hive 3.0.0的组件和优化。 内容概要：由于CDH6.3.2的Spark版本为2.4.0，并且Spark-SQL被阉割，现基于CDH6.3.2、Scala 2.12.0、Java 1.8和Maven 3.6.3对Spark-3.2.2源码进行编译。该资源可用于配置CDH6.3.2集群的Spark客户端，以支持Spark-SQL功能。

全部评论 (0)

还没有任何评论哟~
客服
客服
客服关闭
  • spark-3.2.2-bin-cdh6.3.2-3.0.0
    优质
    这是Apache Spark 3.2.2版本的一个二进制包，兼容Cloudera Distribution Hadoop CDH 6.3.2，并集成了Hive 3.0.0的组件和优化。 内容概要：由于CDH6.3.2的Spark版本为2.4.0，并且Spark-SQL被阉割，现基于CDH6.3.2、Scala 2.12.0、Java 1.8和Maven 3.6.3对Spark-3.2.2源码进行编译。该资源可用于配置CDH6.3.2集群的Spark客户端，以支持Spark-SQL功能。
     
  • spark-3.0.0-hadoop3.2-bin.tgz
    优质
    这是一款Apache Spark 3.0.0版本的二进制包，兼容Hadoop 3.2环境，适用于大数据处理与分析，支持SQL查询、机器学习和流处理等多种功能。 Apache Spark 3.0 是一个重要的版本更新，在性能、易用性和新功能方面都有显著改进。该版本引入了包括 Catalyst 和 Tungsten 的优化引擎，以及对 Python、Scala 和 R 等语言的增强支持。此外，Spark 3.0 还提供了一系列新的机器学习库和 SQL 功能，使得大数据处理变得更加高效和灵活。
     
  • spark-3.0.0-for-hadoop2.7-bin.tgz
    优质
    spark-3.0.0-for-hadoop2.7-bin.tgz 是一个包含Apache Spark 3.0.0版本源代码和库文件的压缩包，针对Hadoop 2.7环境优化并兼容。 spark-3.0.0-bin-hadoop2.7.tgz 在官网无法下载的用户可以尝试其他途径获取该资源。
     
  • spark-streaming-kafka-0-10_2.12-3.0.0.jar
    优质
    spark-streaming-kafka-0-10_2.12-3.0.0.jar是Apache Spark 3.0.0版本中的一个jar包，用于支持Spark Streaming与Kafka 0.10.x版本集群之间的集成处理。 Spark 3.0.0版本对接Kafka数据源所需的jar包，在使用最新的maven阿里云仓库时无法直接下载。因此需要手动导入这些jar包进行操作。如果有需求的朋友可以免费获取所需jar包。
     
  • spark-bin-hadoop3-nohive.tgz
    优质
    这是一个专为Hadoop 3环境设计的Spark二进制发行包，不含Hive依赖。用户可以下载此压缩包以快速启动基于Hadoop 3的数据处理任务。 Hadoop版本为3.1.3，在CentOS 8系统下已测试通过。
     
  • spark-2.3.0-bin-hadoop2-nohive
    优质
    这是一个基于Hadoop 2.x环境下的Apache Spark 2.3.0版本的二进制发布包，不包含Hive组件。适合需要独立部署Spark环境的用户使用。 如何编译Spark 2.3.0-bin-hadoop2-without-hive.spark版本的源码以生成不包含Hive jar包的安装包？此操作目的是为了支持在环境中安装Hive on Spark。
     
  • spark-3.3.1-bin-hadoop3.tgz
    优质
    Spark-3.3.1-bin-hadoop3.tgz 是一个结合了Apache Spark 3.3.1版本与Hadoop 3兼容性的压缩包，适用于大数据处理任务。 Spark是Apache软件基金会提供的一款开源大数据处理框架，它以高效、通用、易用及可扩展性著称。“spark-3.3.1-bin-hadoop3.tgz”这一压缩文件中包含了与Hadoop 3兼容的二进制发行版Spark 3.3.1。此版本不仅支持最新的Hadoop生态系统特性，还提供了优化的大数据处理性能和增强的功能。 Spark的核心组件包括： 1. **Spark Core**：这是所有其他模块的基础，负责分布式任务调度、内存管理、错误恢复，并提供与存储系统的接口。它实现了弹性分布式数据集（RDD），这是一种容错的只读的数据结构，在集群中可以进行并行操作。 2. **Spark SQL**：用于处理结构化数据的组件，通过结合SQL查询和DataFrame及Dataset API，提供了统一的方式来执行SQL查询和编程API。DataFrame是跨语言、分布式的表格数据集合的概念实现，而Dataset则是其类型安全版本，在Java和Scala中支持强类型的使用。 3. **Spark Streaming**：提供实时流处理能力，可以处理来自各种源（如Kafka、Flume等）的连续数据流，并通过微批处理方式实现低延迟的数据处理。 4. **MLlib**：包含了一系列常用的机器学习算法和模型选择及评估工具。它支持管道和特征工程功能，便于构建与优化机器学习模型。 5. **GraphX**：提供用于创建、操作和分析大规模图数据的API。适用于社交网络分析、推荐系统等领域。 6. **Spark R**：虽然在3.3.1版本中可能不作为单独组件列出，但为R用户提供了一个接口来直接利用Spark的强大功能。 在Hadoop 3环境下运行Spark可以使用YARN或Mesos进行任务调度，并且能够享受由HDFS提供的高可用性和扩展性。安装时需要解压“spark-3.3.1-bin-hadoop3.tgz”文件，配置环境变量（如`SPARK_HOME`和`JAVA_HOME`），并根据具体需求选择合适的启动方式。 用户可以通过Jupyter Notebook、Scala、Python、Java或R编写Spark应用程序，并利用其提供的API进行数据处理。Spark支持交互式数据分析，在大规模数据处理、实时流处理等场景中得到广泛应用，为大数据领域提供了强大的解决方案。
     
  • spark-2.3.0-bin-hadoop2.7.7-without-hive.tgz
    优质
    这是一个Apache Spark 2.3.0版本的压缩包，适用于Hadoop 2.7.7环境，并不包含Hive组件。下载并解压后可进行大数据处理和分析任务。 在构建Spark 2.3.0的版本时不包含Hive的支持，并且用于搭建Hive on Spark环境的情况下，可以使用以下命令进行编译： ```bash ./dev/make-distribution.sh --name hadoop277-without-hive --tgz -Pyarn,hadoop-provided,hadoop-2.7,parquet-provided,orc-provided -Dhadoop.version=2.7.7 ``` 该命令将生成一个不包含Hive支持的Spark 2.3.0发行版，适用于特定版本的Hadoop环境。
     
  • spark-2.2.0-bin-hadoop2.6.0-cdh5.7.0.tgz
    优质
    这是一个Spark 2.2.0版本的压缩包文件，适用于Hadoop 2.6.0和Cloudera Hadoop 5.7.0环境。 在Windows系统上手动编译spark-2.2.0-bin-2.6.0-cdh5.7.0.tgz、apache-maven-3.3.9-bin.tar.gz、hadoop-2.6.0-cdh5.7.0.tar.gz、jdk-8u91-linux-x64.tar.gz和scala-2.11.8.tgz。