西南交通大学云 computing 作业2

简介：
本课程为《西南交通大学云计算》第二阶段作业汇总，内容涵盖云计算基础理论、平台搭建及实践操作等多方面知识应用与技能训练。 【Hadoop环境搭建】 Hadoop是Apache基金会的一个开源分布式计算框架，主要用于处理大规模数据集。本作业涵盖了单机与多机环境下Hadoop的安装配置过程，这对于理解其工作原理及实际操作非常重要。 1. **单机环境搭建** - **虚拟机安装**：需在计算机上安装如VMware或VirtualBox等虚拟化软件，并创建一个用于模拟硬件环境的新虚拟机。 - **基本参数设置**：在所选操作系统（例如Ubuntu）中配置资源，包括内存和硬盘大小的调整。 - **主机命名与IP地址设定**：为每个虚拟机分配唯一的主机名如localhost，并确保网络通信正常。 - **Java环境搭建**：安装JRE或JDK并设置JAVA_HOME环境变量以供Hadoop使用。 - **Hadoop软件包下载及配置**：从官方网站下载Hadoop的tarball文件，解压后放置在指定目录（例如/usr/local），随后对hadoop-env.sh、core-site.xml和hdfs-site.xml等关键配置文件进行编辑。 - **启动服务**：执行必要的初始化命令如格式化NameNode，并通过JPS检查各个服务是否成功运行。 2. **多机环境搭建** - **主机命名与网络设置**：在每台虚拟机上分配不同的主机名（例如Master和Slave），并确保它们之间能够互相通信。 - **SSH免密登录配置**：生成SSH密钥对并在所有节点间建立信任关系，以实现无密码访问。 - **同步配置文件**：更新包括slaves、core-site.xml在内的多个配置文件内容，指定集群信息。 - **软件包分发与版本一致性维护**：将Hadoop安装到每个节点上，并确保各机器上的版本一致。 - **启动服务并验证集群状态**：在主控机（Master）上启动所有必需的服务组件。 【实验操作】 3. **Shell命令使用** 通过如`hadoop fs -mkdir /test`创建目录，利用`hadoop fs -put`上传本地文件至HDFS，并用`hadoop fs -ls`查看文件列表等方法进行基本的文件管理任务。 4. **Java接口访问** 在Eclipse中集成必要的jar包后使用如FileSystem、FSDataInputStream等API实现对HDFS中的操作，包括创建、读取、上传和删除数据等功能。 5. **WordCount实验** 编写并运行一个简单的WordCount程序用于统计文本段落件内单词的数量。通过连接至集群环境输入包含特定词汇的数据集来测试该应用程序，并观察输出结果以确认其正确性。 以上步骤旨在帮助学生全面掌握Hadoop的部署与操作，从而为后续的大数据处理学习奠定坚实的基础。