南邮大数据存储与管理实验（二）

简介：
《南邮大数据存储与管理实验（二）》是针对南京邮电大学学生设计的专业课程实践教程，深入讲解了大数据环境下的数据存储技术、数据库管理系统以及相关开发工具的应用技巧。通过丰富的实验案例和操作练习，帮助学习者掌握高效的数据管理和分析方法，为未来从事大数据领域的工作打下坚实的基础。 ### 南邮大数据存储与管理实验二：MongoDB的安装与应用 #### 一、实验背景及目标 在当前的大数据时代背景下，高效且稳定的数据存储解决方案变得尤为重要。MongoDB作为一种非关系型数据库，以其高性能、高灵活性以及易扩展的特点，在大数据处理领域占据了一席之地。本次实验旨在通过南京邮电大学的学生实践项目——《南邮大数据存储与管理实验二》，详细介绍如何安装和配置MongoDB，并构建一个包含多节点集群的系统。此外，还将利用Python技术开发一个针对学生就业形势的在线分析系统。 #### 二、实验目的 1. **搭建MongoDB集群**：构建一个包含两个分片节点副本集、一个配置节点副本集及两个路由节点的MongoDB集群。 2. **编写Shell脚本**：编写用于部署和管理该集群的Shell脚本。 3. **开发Python应用**：使用Python开发一个可以收集并分析学生就业数据的应用程序。 #### 三、实验环境 - **硬件**: 微型计算机，操作系统为Ubuntu 16.04。 - **软件**: - Linux操作系统。 - PyCharm作为Python开发工具。 - MongoDB数据库管理系统。 - Navicat Premium用于数据库管理。 #### 四、实验步骤详解 ##### 1. 安装MongoDB - **下载并解压MongoDB**： 下载地址为[MongoDB官网](http://www.mongodb.com/download-center/community)，然后使用命令 `sudo tar -zxvf mongodb-linux-x86_64-ubuntu1804-6.0.14.tgz` 进行解压。 - **重命名解压后的文件夹**：执行 `sudo mv mongodb-linux-x86_64-ubuntu1804-6.0.14 mongodb` 命令以完成重命名操作。 - **创建必要的目录**： - 数据目录：使用命令 `sudo mkdir -p etcmongodbdata` - 日志目录：执行 `sudo mkdir -p etcmongodblog` - 配置文件目录：运行 `sudo mkdir -p etcmongodbconf` - **创建MongoDB配置文件**： 创建空白的配置文件，通过命令`sudo touch etcmongodbconfmongodb.conf`实现，并编辑该配置文件。 - **配置文件内容**（示例）： ```plaintext storage: dbPath: /etc/mongodb/data/db net: bindIp: 127.0.0.1 port: 27017 systemLog: destination: file logAppend: true path: /etc/mongodb/log/mongodb.log ``` - **启动MongoDB服务**：执行命令 `mongod -f optmongodbconfmongodb.conf` 启动服务。 - **登录MongoDB客户端**：使用命令 `mongo` 登录到数据库中。 - **切换到admin数据库**：在MongoDB shell中输入 `use admin` - **关闭MongoDB服务**：执行命令 `db.shutdownServer()` ##### 2. 搭建MongoDB集群 - **创建两套副本集**，分别为`shard1`和`shard2`，每套包含三个成员节点。 - **启动副本集**： - 使用以下命令为每个副本集分别创建配置文件，并启动： `mongod -f optmongodbconfshard1mongodb.conf` - 再次使用类似命令启动另一个副本集: `mongod -f optmongodbconfshard2mongodb.conf` - **创建配置副本集**，同样包括三个成员节点。 - **启动配置副本集**： 使用如下命令启动：`mongod -f optmongodbconfshard3mongodb.conf` - **初始化副本集**： 进入其中一个副本实例并进行初始化操作: ```bash mongo --port 27018 rs.initiate() ``` - **添加副本节点**：继续添加其他副本节点并退出： ```bash rs.add(192.168.211.133:27019) rs.addArb(192.168.211.133:27020) exit ``` - **初始化配置节点的副本集**：重复上述步骤来完成对配置副本集的初始化操作。 - **创建路由节点**： 使用`mongos`命令启动，并编辑相应配置文件。 - **启动mongos**: 执行 `mongos -f optmongodbconfmongos.conf` - **连接到mongos**: 登录并使用以下命令添加分片副本集：`mongo --port 27017` - **添加分片副本集**： ```bash sh