Apex: PyTorch的扩展工具

简介：
Apex是NVIDIA开发的一个PyTorch库，提供自动混合精度训练、分片跨GPU和节点批处理等功能，助力用户优化深度学习模型性能。 该存储库包含NVIDIA维护的实用程序，旨在简化Pytorch中的混合精度训练及分布式训练过程。其中一些代码将来可能会被上游Pytorch集成。Apex的目标是让用户能够尽早使用最新的工具和技术。 完整的API文档： 1. 放大器：自动混合精度 apex.amp是一个工具，通过仅修改脚本的三行就可以启用混合精度训练模式。用户可以通过设置不同的参数来尝试不同类型的纯精度和混合精度训练方式。（注意标志cast_batchnorm已重命名为keep_batchnorm_fp32）。 2. 分布式培训 apex.parallel.DistributedDataParallel是一个模块包装器，类似于torch.nn.parallel.DistributedDataParallel，用于简化分布式数据并行处理。