梅州做网站wlwl,房产中介网站,网上商城平台有哪些,建设微信网站制作描述一下背景#xff0c;和遇到的问题#xff1a;
我在做一个超大数据集的多分类#xff0c;设备Ubuntu 22.04i9 13900KNvidia 409064GB RAM#xff0c;第一次的训练的训练集有700万张#xff0c;训练成功。后面收集到更多数据集#xff0c;数据增强后达到了1000万张。… 描述一下背景和遇到的问题
我在做一个超大数据集的多分类设备Ubuntu 22.04i9 13900KNvidia 409064GB RAM第一次的训练的训练集有700万张训练成功。后面收集到更多数据集数据增强后达到了1000万张。但第二次训练4个小时后就被系统杀掉进程了原因是Out of Memory。找了很久的原因发现内存随着训练step的增加而线性增加猜测是内存泄露最后定位到了DataLoader的num_workers参数只要num_workers0就没有问题。 真正原因
PythonPytorch中的list转换成tensor时会发生内存泄漏要避免list的使用可以通过使用np.array来代替list。 解决办法
自定义DataLoader中的Dataset类然后Dataset类中的list全部用np.array来代替。这样的话DataLoader将np.array转换成Tensor的过程就不会发生内存泄露。 下面给两个错误的示例代码和一个正确的代码都是我自己犯过的错误
1.错误的DataLoader加载数据集方法1
# 加载数据
train_data datasets.ImageFolder(rootTRAIN_DIR_ARG, transformtransform)
valid_data datasets.ImageFolder(rootVALIDATION_DIR, transformtransform)
test_data datasets.ImageFolder(rootTEST_DIR, transformtransform)train_loader DataLoader(train_data, batch_sizeBATCH_SIZE, shuffleTrue, num_workers8)
valid_loader DataLoader(valid_data, batch_sizeBATCH_SIZE, shuffleFalse, num_workers8)
test_loader DataLoader(test_data, batch_sizeBATCH_SIZE, shuffleFalse, num_workers8)
2.错误的DataLoader加载数据集方法2重写了Dataset方法 class CustomDataset(Dataset):def __init__(self, data_dir, transformNone):self.data_dir data_dirself.transform transformself.image_paths []self.labels []# 遍历数据目录并收集图像文件路径和对应的标签classes os.listdir(data_dir)for i, class_name in enumerate(classes):class_dir os.path.join(data_dir, class_name)if os.path.isdir(class_dir):for image_name in os.listdir(class_dir):image_path os.path.join(class_dir, image_name)self.image_paths.append(image_path)self.labels.append(i)def __len__(self):return len(self.image_paths)def __getitem__(self, idx):image_path self.image_paths[idx]label self.labels[idx]# # 在需要时加载图像image Image.open(image_path)if self.transform:image self.transform(image)return image, labeltrain_data CustomDataset(data_dirTRAIN_DIR_ARG, transformtransform)
valid_data CustomDataset(data_dirVALIDATION_DIR, transformtransform)
test_data CustomDataset(data_dirTEST_DIR, transformtransform)train_loader DataLoader(train_data, batch_sizeBATCH_SIZE, shuffleTrue, num_workers18)
valid_loader DataLoader(valid_data, batch_sizeBATCH_SIZE, shuffleFalse, num_workers8)
test_loader DataLoader(test_data, batch_sizeBATCH_SIZE, shuffleFalse, num_workers8, pin_memoryFalse)
3.重写Dataset的正确方法重写了Dataset方法list全部转成np.array
class CustomDataset(Dataset):def __init__(self, data_dir, transformNone):self.data_dir data_dirself.transform transformself.image_paths [] # 使用Python列表self.labels [] # 使用Python列表# 遍历数据目录并收集图像文件路径和对应的标签classes os.listdir(data_dir)for i, class_name in enumerate(classes):class_dir os.path.join(data_dir, class_name)if os.path.isdir(class_dir):for image_name in os.listdir(class_dir):image_path os.path.join(class_dir, image_name)self.image_paths.append(image_path) # 添加到Python列表self.labels.append(i) # 添加到Python列表# 转换为NumPy数组这里就是解决内存泄露的关键代码self.image_paths np.array(self.image_paths)self.labels np.array(self.labels)def __len__(self):return len(self.image_paths)def __getitem__(self, idx):image_path self.image_paths[idx]label self.labels[idx]# 在需要时加载图像image Image.open(image_path)if self.transform:image self.transform(image)# 将图像数据转换为NumPy数组image np.array(image)return image, labeltrain_data CustomDataset(data_dirTRAIN_DIR_ARG, transformtransform)
valid_data CustomDataset(data_dirVALIDATION_DIR, transformtransform)
test_data CustomDataset(data_dirTEST_DIR, transformtransform)train_loader DataLoader(train_data, batch_sizeBATCH_SIZE, shuffleTrue, num_workers18)
valid_loader DataLoader(valid_data, batch_sizeBATCH_SIZE, shuffleFalse, num_workers8)
test_loader DataLoader(test_data, batch_sizeBATCH_SIZE, shuffleFalse, num_workers8, pin_memoryFalse)
