西南交通大学云计算与并行技术第二周作业

简介：
本作业为《西南交通大学云计算与并行技术》课程第二周任务，涵盖云计算基础理论及并行计算应用实践，旨在提升学生对分布式系统和云平台的理解。 在虚拟环境搭建开源大数据处理平台Hadoop 3.0的实验任务包括以下内容： **一、前置准备** 确保Java环境已安装并配置好： 1. 使用`sudo apt install openjdk-8-jdk`命令安装Java。 2. 验证Java是否成功安装，使用`java -version`命令。 3. 设置JAVA_HOME环境变量，在`.bashrc`文件中添加指向Java安装路径的设置，并执行 `source ~/.bashrc`使更改生效。 为了方便远程管理，需要安装SSH并配置免密登录： 1. 使用`sudo apt install openssh-server`命令安装SSH服务。 2. 启动SSH服务使用`sudo service ssh start`命令，并用`sudo systemctl enable ssh`设置为开机启动。 3. 生成SSH密钥对，使用 `ssh-keygen` 命令并将公钥添加到 `authorized_keys` 文件中实现免密登录。 **二、Hadoop安装配置** **实验一：单机版Hadoop** 1. 将下载的Hadoop 3.0压缩包解压至 `/usr/local` 目录下。 2. 配置伪分布式模式，修改以下三个核心文件： - `core-site.xml`: 设置`hadoop.tmp.dir`为本地临时目录，设置`fs.defaultFS`指向本机NameNode（如 `hdfs://localhost:9000`)。 ```xml hadoop.tmp.dir /usr/local/hadoop/tmp fs.defaultFS hdfs://localhost:9000 ``` - `hdfs-site.xml`: 设置`dfs.replication`为1，设置NameNode和DataNode的数据存储位置。 ```xml dfs.replication 1 dfs.namenode.name.dir /usr/local/hadoop/tmp/dfs/name dfs.datanode.data.dir /usr/local/hadoop/tmp/dfs/data ``` - `hadoop-env.sh`: 修改JAVA_HOME路径，并设置相关用户环境变量。 ```bash #取消第37行JAVA_HOME注释 JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 #在末尾添加 export HDFS_NAMENODE_USER=hadoop export HDFS_DATANODE_USER=hadoop export HDFS_SECONDARYNAMENODE_USER=hadoop export YARN_RESOURCEMANAGER_USER=hadoop export YARN_NODEMANAGER_USER=hadoop ``` 3. 执行`.bin/hadoop namenode -format`命令格式化NameNode。 **三、HDFS实验** 学生需掌握使用Shell命令和Java API进行HDFS的基本操作，包括： - Shell命令：如 `hadoop fs -ls`, `-put`, `-get`, `-rm` 等。 - Java接口访问：编写Java程序，利用FileSystem类的 `create()` 和 `open()` 方法等。 **四、MapReduce安装配置实验** 学生需要完成以下步骤来了解和配置MapReduce： 1. 编写Mapper和Reducer类实现业务逻辑。 2. 创建Job配置文件指定输入输出路径以及使用的Mapper和Reducer类。 3. 提交作业到JobTracker，等待任务执行完毕。 通过这个实验，学生不仅能够熟悉Hadoop的安装与配置流程，还能深入理解其核心组件——HDFS和MapReduce。这为后续的大数据处理分析奠定了基础，并提供了交通物流等领域大数据技术的实际应用平台。