Advertisement

spark-2.3.0-bin-hadoop2-nohive

  •  5星
  •     浏览量: 0
  •     大小:None
  •      文件类型：None

简介：
这是一个基于Hadoop 2.x环境下的Apache Spark 2.3.0版本的二进制发布包，不包含Hive组件。适合需要独立部署Spark环境的用户使用。 如何编译Spark 2.3.0-bin-hadoop2-without-hive.spark版本的源码以生成不包含Hive jar包的安装包？此操作目的是为了支持在环境中安装Hive on Spark。

全部评论 (0)

还没有任何评论哟~
客服
客服
客服关闭
  • spark-2.3.0-bin-hadoop2-nohive
    优质
    这是一个基于Hadoop 2.x环境下的Apache Spark 2.3.0版本的二进制发布包，不包含Hive组件。适合需要独立部署Spark环境的用户使用。 如何编译Spark 2.3.0-bin-hadoop2-without-hive.spark版本的源码以生成不包含Hive jar包的安装包？此操作目的是为了支持在环境中安装Hive on Spark。
     
  • spark-2.3.0-bin-hadoop2.7.7-without-hive.tgz
    优质
    这是一个Apache Spark 2.3.0版本的压缩包，适用于Hadoop 2.7.7环境，并不包含Hive组件。下载并解压后可进行大数据处理和分析任务。 在构建Spark 2.3.0的版本时不包含Hive的支持，并且用于搭建Hive on Spark环境的情况下，可以使用以下命令进行编译： ```bash ./dev/make-distribution.sh --name hadoop277-without-hive --tgz -Pyarn,hadoop-provided,hadoop-2.7,parquet-provided,orc-provided -Dhadoop.version=2.7.7 ``` 该命令将生成一个不包含Hive支持的Spark 2.3.0发行版，适用于特定版本的Hadoop环境。
     
  • spark-2.3.0-bin-hadoop2.7版本的zip文件
    优质
    Spark 2.3.0 版本适用于Hadoop 2.7环境的二进制压缩包，便于快速部署和使用Apache Spark的大数据处理框架。 spark-2.3.0-bin-hadoop2.7版本的压缩文件包含了该特定版本的Spark软件及相关依赖项。
     
  • spark-bin-hadoop3-nohive.tgz
    优质
    这是一个专为Hadoop 3环境设计的Spark二进制发行包，不含Hive依赖。用户可以下载此压缩包以快速启动基于Hadoop 3的数据处理任务。 Hadoop版本为3.1.3，在CentOS 8系统下已测试通过。
     
  • spark-3.3.1-bin-hadoop3.tgz
    优质
    Spark-3.3.1-bin-hadoop3.tgz 是一个结合了Apache Spark 3.3.1版本与Hadoop 3兼容性的压缩包，适用于大数据处理任务。 Spark是Apache软件基金会提供的一款开源大数据处理框架，它以高效、通用、易用及可扩展性著称。“spark-3.3.1-bin-hadoop3.tgz”这一压缩文件中包含了与Hadoop 3兼容的二进制发行版Spark 3.3.1。此版本不仅支持最新的Hadoop生态系统特性，还提供了优化的大数据处理性能和增强的功能。 Spark的核心组件包括： 1. **Spark Core**：这是所有其他模块的基础，负责分布式任务调度、内存管理、错误恢复，并提供与存储系统的接口。它实现了弹性分布式数据集（RDD），这是一种容错的只读的数据结构，在集群中可以进行并行操作。 2. **Spark SQL**：用于处理结构化数据的组件，通过结合SQL查询和DataFrame及Dataset API，提供了统一的方式来执行SQL查询和编程API。DataFrame是跨语言、分布式的表格数据集合的概念实现，而Dataset则是其类型安全版本，在Java和Scala中支持强类型的使用。 3. **Spark Streaming**：提供实时流处理能力，可以处理来自各种源（如Kafka、Flume等）的连续数据流，并通过微批处理方式实现低延迟的数据处理。 4. **MLlib**：包含了一系列常用的机器学习算法和模型选择及评估工具。它支持管道和特征工程功能，便于构建与优化机器学习模型。 5. **GraphX**：提供用于创建、操作和分析大规模图数据的API。适用于社交网络分析、推荐系统等领域。 6. **Spark R**：虽然在3.3.1版本中可能不作为单独组件列出，但为R用户提供了一个接口来直接利用Spark的强大功能。 在Hadoop 3环境下运行Spark可以使用YARN或Mesos进行任务调度，并且能够享受由HDFS提供的高可用性和扩展性。安装时需要解压“spark-3.3.1-bin-hadoop3.tgz”文件，配置环境变量（如`SPARK_HOME`和`JAVA_HOME`），并根据具体需求选择合适的启动方式。 用户可以通过Jupyter Notebook、Scala、Python、Java或R编写Spark应用程序，并利用其提供的API进行数据处理。Spark支持交互式数据分析，在大规模数据处理、实时流处理等场景中得到广泛应用，为大数据领域提供了强大的解决方案。
     
  • spark-3.2.2-bin-cdh6.3.2-3.0.0
    优质
    这是Apache Spark 3.2.2版本的一个二进制包，兼容Cloudera Distribution Hadoop CDH 6.3.2，并集成了Hive 3.0.0的组件和优化。 内容概要：由于CDH6.3.2的Spark版本为2.4.0，并且Spark-SQL被阉割，现基于CDH6.3.2、Scala 2.12.0、Java 1.8和Maven 3.6.3对Spark-3.2.2源码进行编译。该资源可用于配置CDH6.3.2集群的Spark客户端，以支持Spark-SQL功能。
     
  • spark-2.2.0-bin-hadoop2.6.0-cdh5.7.0.tgz
    优质
    这是一个Spark 2.2.0版本的压缩包文件，适用于Hadoop 2.6.0和Cloudera Hadoop 5.7.0环境。 在Windows系统上手动编译spark-2.2.0-bin-2.6.0-cdh5.7.0.tgz、apache-maven-3.3.9-bin.tar.gz、hadoop-2.6.0-cdh5.7.0.tar.gz、jdk-8u91-linux-x64.tar.gz和scala-2.11.8.tgz。
     
  • spark-2.4.0-bin-hadoop2.7.tgz.zip文件
    优质
    spark-2.4.0-bin-hadoop2.7.tgz.zip 是一个压缩包，内含 Apache Spark 2.4.0 的二进制版本，兼容 Hadoop 2.7 版本的生态系统工具和数据处理框架。 Apache Spark是一个开源的集群计算框架，最初由加州大学伯克利分校的AMPLab开发。与Hadoop的MapReduce将中间数据存储在磁盘上的做法不同，Spark采用内存计算技术，在数据尚未写入硬盘之前便能在内存中进行分析和运算。这使得Spark在内存中的运行速度比Hadoop MapReduce快100倍；即使是在硬盘上执行程序时，Spark的速度也更快，能提升10倍的效率。此外，Spark支持用户将数据加载到集群的内存中，并对其多次查询，非常适合用于机器学习算法的应用场景。
     
  • spark-2.1.1-bin-hadoop2.7.tgz.7z 压缩包
    优质
    此压缩包为Apache Spark 2.1.1版本与Hadoop 2.7兼容的二进制发行版，已通过7-zip进一步压缩，便于高效传输和存储大数据处理工具。 基于Hadoop 2.7.2 和 Scala 2.11 的 Spark Linux 软件包解压到指定目录后即可使用，实测可行。
     
  • Windows 10 下 Spark 2.3.0 本地开发环境搭建 - 实测有效
    优质
    本篇文章详细记录了在Windows 10操作系统下成功安装和配置Spark 2.3.0版本所需的所有步骤，包括必要的软件预装、环境变量设置及验证过程，确保开发者可以顺利进行本地开发。文中提供的方法经过作者实测有效，并附有常见问题的解决方案。 在Windows 10下搭建Spark 2.3.0的本地开发环境，并且部署Hadoop（非Cygwin、非虚拟机方式）。安装目录设定为D:\setupedsoft。 涉及的相关组件版本如下： - Windows 10 家庭版，64位系统，x86处理器 - JDK 1.8.0_171 - Hadoop 2.7.6 - Spark 2.3.0 - Scala 2.11.8 - Maven 3.5.3 - IntelliJ IDEA Community Edition 2018.1.4 Spark版本为spark-2.3.0-bin-hadoop2.7。相关搭建步骤可以参考相关的技术博客文章，由于上传图片比较麻烦且数量较多，没有积分的同学可以直接查看原博文获取更多信息。