CDH集群部署指南手册

简介：
本手册详尽介绍了如何搭建和管理CDH（Cloudera Distribution Including Apache Hadoop）集群，涵盖安装、配置及优化等关键步骤。 ### CDH集群部署手册知识点概览 #### 一、服务器规划 **1.1 系统版本** - **操作系统:** Red Hat Enterprise Linux 6.2 和 6.4, CentOS 6.2 和 6.4 (仅限64位) - **内存要求:** 最低需要64GB **1.2 浏览器兼容性** 支持的浏览器包括: - Firefox 11 或更高版本 - Google Chrome - Internet Explorer 9 - Safari 5 或更高版本 **1.3 硬盘空间需求** - `var` 分区至少需要 20GB - `usr` 分区至少需要 15GB - `opt` 分区至少需要 15GB **1.4 主机名与 hosts 文件配置** 每台主机都需要配置 `hosts` 文件以确保名称解析正确。示例配置如下: ``` 127.0.0.1 localhost.localdomain localhost 192.168.1.1 host-01.domain host-01 192.168.1.2 host-02.domain host-02 192.168.1.3 host-03.domain host-03 ``` 修改主机名命令示例: ``` hostname host-01.domain echo NETWORKING=yes > etcsysconfignetwork echo HOSTNAME=host-01.domain >> etcsysconfignetwork ``` **1.5 密码一致性** 所有服务器的密码需保持一致。 **1.6 CentOS 6.3 特殊配置** 需要禁用透明大页功能: ``` echo never > syskernelmmredhat_transparent_hugepagedefrag echo echo never > syskernelmmredhat_transparent_hugepagedefrag >> etcrc.local echo service ip6tables stop >> etcrc.local ``` **1.7 SELinux 关闭** 永久关闭 SELinux: ``` setenforce 0 sed -i s(SELINUX=enforcing)(SELINUX=disabled)g etcselinuxconfig ``` **1.8 时钟同步** 配置定时任务以同步时钟: ``` echo 03 * * * * /usr/sbin/ntpdate example.ntp.server; /sbin/hwclock -w >> varspoolcronroot service crond restart ``` 即时同步命令如下： ``` ntpdate example.ntp.server service ntpd start ``` **1.9 防火墙配置** 需要配置防火墙规则以确保集群内部网络通畅。 #### 二、MySQL 数据库安装与配置 **2.1 安装步骤** 下载官方 Yum 源并安装: ``` sudo yum localinstall mysql-community-release-el6-*.noarch.rpm sudo yum install mysql-server ``` 安装完成后按照 Cloudera 官方文档进行配置。 **2.2 更新配置文件** 需要更新 `etcmy.cnf` 或 `etcmysqlmy.cnf` 文件, 示例配置如下: ``` [mysqld] datadir=homemysql socket=varlibmysql/mysql.sock user=mysql skip-name-resolve skip-grant-tables # Disabling symbolic links is recommended ``` 在更改配置文件之前，应确保 MySQL 用户对新目录拥有相应权限。 以上是CDH集群部署过程中涉及的关键知识点, 包括了服务器规划、浏览器兼容性要求、硬盘空间需求、主机名与hosts文件配置说明、密码一致性设置、特殊系统配置（如CentOS 6.3）、SELinux关闭操作、时钟同步方法和MySQL数据库的安装及配置等内容。这些步骤是成功部署CDH集群的基础, 对于确保集群稳定运行至关重要。