在PyCharm中构建Spark开发环境并运行首个pyspark程序
5星
- 浏览量: 0
- 大小:None
- 文件类型：None
简介：
本教程详细介绍如何在PyCharm集成开发环境中配置Apache Spark，并编写和执行第一个Pyspark应用程序。
在Windows 7环境下搭建Spark开发环境对于初学者来说是一个不错的选择，尤其是在资源有限的情况下。所需的配置包括Java 1.8.0_74、Scala 2.12.6、Spark 2.2.1以及Hadoop 2.7.6。通常情况下，Spark的开发工作都是在Linux集群上进行的。
接下来是配置PyCharm用于编写Spark代码。我在尝试设置的过程中发现网上提供的方法大体上有两种：一种是在程序中通过导入os和sys模块来设置环境变量的方式，例如：
```python
import os
import sys
os.environ[SPARK_HOME] = C:\\xxx\\spark-2.2.1-bin
```
这种方式可以用来指定Spark的安装路径。
全部评论 (0)
还没有任何评论哟~
