利用DALI加速PyTorch DataLoader在图像预处理中的性能- Python开发

简介：
本文探讨了如何运用DALI工具包来优化基于PyTorch的数据加载器，在图像预处理阶段实现显著的速度提升，特别适合于Python环境下的深度学习模型训练。 我们已经使用nvidia-dali实现了PyTorch数据加载器，并且支持CIFAR-10和ImageNet数据集的加载。未来还将增加更多的数据加载器。 通过配置2个Intel Xeon Gold 6154 CPU处理器、1块Tesla V100 GPU以及内存磁盘中的所有数据集，我们能够利用DALI显著加速图像预处理过程。 在训练时的数据成本（批量大小为256）方面，CIFAR-10和ImageNet的比较如下： - CIFAR-10: 使用DALI耗时1.4秒（使用两个处理器），而PyTorch DataLoader则需要280.1秒。 - ImageNet: 使用DALI耗时625秒（使用八个处理器），相比之下，PyTorch DataLoader需要的时间为13,400秒。