有效解决了TensorFlow和Keras处理大数据时内存溢出的问题。

简介：
内存溢出（OOM）问题常常是参与Kaggle竞赛或进行大规模实验的初学者们面临的首要挑战。以往在个人练习项目中所形成的习惯性思维模式——即在读取训练集图像时将所有图像一次性加载到内存中，再进行分批训练——实际上存在缺陷，容易引发OOM错误。考虑到当前内存容量通常为16GB，而训练集图像数量往往达到数千张，并且均为RGB图像且尺寸较大（例如VGG16模型的图像尺寸为224x224x3），16GB的内存显然难以满足需求。在这种情况下，人们可能会想到通过设置batch size来解决问题，然而，将图片作为batch size的输入参数并不能从根本上避免OOM错误，它只是将图像分批地传递给显卡进行处理，而OOM的发生点仍然在于“传递”过程中的那些原始图像本身。因此，解决这一问题的关键在于打破固有的思维定式，摒弃将所有图像一次性加载到内存中的做法，而是专注于只加载必要的图像数据。