storma集群安装手册（包含zookeeper集群安装和storm集群安装）

简介：
storma 集群安装手册的知识点详解 本文档将详细说明如何在多台服务器环境中构建完整且高效的Storm集群架构。该过程涉及多个关键步骤，包括Java开发环境的配置、Zookeeper集群的搭建以及Storm核心组件的实际部署。具体来说，本指南将分为三个主要章节：JDK和Java工具链的基础安装、Zookeeper分布式锁机制的具体实现以及基于Storm框架的流处理系统构建。每个部分都将涵盖必要的技术细节和操作步骤，以确保用户能够顺利完成从单机到多节点环境的迁移部署。在进行任何安装操作前，请确保必须完成以下准备工作：以下是您需要预先完成的准备工作 硬件准备：为构建集群环境，建议至少配置三台物理或虚拟服务器，并推荐采用1核2GB内存以上的标准配置。软件准备：获取Java JDK、Zookeeper和Storm安装文件。网络准备：保证集群内各节点间的网络通信顺畅，并实现服务互访。为了确保兼容性，JDK 建议选用 1.7.0 及以上版本。满足最低要求的版本通常为1.8.0及以上。建议选用该版本以获得最佳性能。 具体步骤如下： - **步骤1**：复制指定路径下的jdk-8u171-linux-x64.tar.gz文件至目标设备。 - **步骤2**：执行解压操作以获取安装包： ```bash tar -xvf jdk-8u171-linux-x64.tar.gz ``` - **步骤3**：进入root用户并配置环境变量： - 切换到root账户： ```bash su root ``` - 打开etcprofile文件进行设置： ```bash vi etcprofile ``` 添加以下内容以配置JDK路径： ```bash export JAVA_HOME=pathtojdk1.8.0_171 export PATH=$JAVA_HOMEbin:$PATH export CLASSPATH=.:$JAVA_HOMElibdt.jar:$JAVA_HOMElibtools.jar ``` - **步骤4**：重启虚拟机或服务器以应用新配置： ```bash reboot ``` - **步骤5**：验证JDK是否正确安装并运行测试命令： ```bash java -version ``` Zookeeper 作为 Storm 集群的核心组件，在分布式系统中负责实现各个节点之间的协调工作。具体的流程详细说明了详细的步骤。- **步骤1**：将 zookeeper 安装包拷贝到机器上。 - **步骤2**：解压安装包。 ``` tar -xvf zookeeper-3.4.10.tar.gz ``` - **步骤3**：配置环境变量。 - **切换到 root 用户**： ``` su root ``` - **打开 etcprofile 文件并配置环境变量**： ``` vi etcprofile ``` 添加以下内容： ``` export ZOOCFG_DIR=pathtozookeeper-3.4.10conf export ZOOKEEPER_HOME=pathtozookeeper-3.4.10 export CLASSPATH=$CLASSPATH:$ZOOKEEPER_HOMEconf ``` - **步骤4**：修改 zookeeper 配置文件。 - **创建 zoo.cfg 配置文件**： ``` cd $ZOOKEEPER_HOMEconf touch zoo.cfg ``` - **添加以下内容**： ``` tickTime=2000 initLimit=10 syncLimit=5 dataDir=pathtozookeeper-3.4.10data clientPort=2181 server.1=192.168.10.144:2888:3888 server.2=192.168.10.166:2888:3888 server.3=192.168.10.169:2888:3888 ``` - **步骤5**：创建数据目录和日志目录。 ``` mkdir -p $ZOOKEEPER_HOMEdata mkdir -p $ZOOKEEPER_HOMElog ``` - **步骤6**：创建 myid 文件。 - **nimbus 上**： ``` echo 1 > $ZOOKEEPER_HOMEdatamyid ``` - **supervisor1 上**： ``` echo 2 > $ZOOKEEPER_HOMEdatamyid ``` - **supervisor2 上**： ``` echo 3 > $ZOOKEEPER_HOMEdatamyid ``` - **步骤7**：配置 hosts 文件。 - **编辑 etchosts 文件**： ``` 192.168.10.144 nimbus 192.168.10.166 supervisor1 192.168.10.169 supervisor2 ``` - **步骤8**：修改主机名称。 - **nimbus 上**： ``` vi etcsysconfignetwork NETWORKING=yes HOSTNAME=nimbus ``` - **supervisor1 上**： ``` vi etcsysconfignetwork NETWORKING=yes HOSTNAME=supervisor1 ``` - **supervisor2 上**： ``` vi etcsysconfignetwork NETWORKING=yes HOSTNAME=supervisor2 ``` - **步骤9**：关闭防火墙和 selinux。 - **关闭 selinux**： ``` (1). 永久有效 修改 etcselinuxconfig 文件中的 SELINUX= 为 disabled，然后重启。 (2) 立即生效 启用防火墙设置为0状态 关闭防火墙部分： (1) 一直保持开启状态 启动：chkconfig iptables on 停止：chkconfig iptables off 步骤10：为启动 zookeeper 服务配置文件。在nimbus 上进行如下操作：[root@nimbus conf]# zkServer.sh start。同样地，在supervisor1 和 supervisor2 上分别执行相同的命令：[root@supervisor1 conf]# zkServer.sh start；[root@supervisor2 conf]# zkServer.sh start。 步骤11：通过检查 zookeeper 服务的状态来确认其是否已启动。该分布式实时计算平台基于Storm架构设计。特别地，它专为处理大规模数据流而设计，能够满足高吞吐量和实时性的要求。 具体的步骤依次是 - **步骤1**：将Storm的可执行文件复制到目标机器。 - **步骤2**：解压安装文件，使用`tar -xvf apache-storm-1.0.2.tar.gz`展开安装文件。 ``` tar -xvf apache-storm-1.0.2.tar.gz ``` - **步骤3**：调整Storm的配置参数。包括： - 创建数据存储目录：`mkdir -p homenimbusinstall_tarstorm-local` - 编辑 Storm 的配置文件，设置Nimbus和Supervisor服务器的相关信息。 - 调整JVM运行参数及其他设置项。 - **步骤4**：编写启动脚本。在以下位置进行编辑： ``` vi homenimbusinstall_tarapache-storm-1.0.2binstart.sh ``` 在脚本中配置Nimbus主节点和Supervisor从节点的启动命令。 - **步骤5**：运行Storm服务程序，具体操作如下： - 在Nimbus上执行启动命令： ``` cd homenimbusinstall_tarapache-storm-1.0.2bin .start.sh ``` - 在Supervisor1和Supervisor2节点上重复上述命令。 通过上述步骤，本次操作已顺利完成JDK、Zookeeper集群和Storm集群的部署。请继续对Storm的任务架构进行优化设置，并着手实施实时数据分析作业。在实际操作中，您可能会遇到一些细节性的问题，请务必仔细查阅官方文档以获得更多技术支持和指导。