NCCL-Tests: NCCL测试

简介：
NCCL-Tests 是一个针对 NVIDIA Collective Communications Library (NCCL) 的性能和功能进行验证的工具集合，用于确保在多GPU环境下的高效通信。 NCCL测试用于同时检查操作的性能与正确性。要构建这些测试，请直接输入`make`命令。如果CUDA并未安装在默认位置（即 `/usr/local/cuda`），可以通过设置 `CUDA_HOME=/path/to/cuda` 来指定其路径；同理，若未将 NCCL 安装到标准目录（例如 `/usr`），则需要通过变量 `NCCL_HOME=/path/to/nccl` 指定安装位置。此外，由于这些测试依赖于MPI来处理多进程和跨节点通信，因此在构建时可能还需要设置 MPI 支持，并指定其路径：`make MPI=1 MPI_HOME=/path/to/mpi CUDA_HOME=/path/to/cuda NCCL_HOME=/path/to/nccl` 使用NCCL测试可以在多个进程中运行，每个进程中可以有多个线程和CUDA设备。进程的数量由变量 `MP` 控制。