RuntimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILED about sigma HOT 5 CLOSED

您好，我发现你的gpu型号是a4000，我没有在这种型号的卡上配置过环境。不过我曾经尝试在3090上配置，需要注意的是由于有些新型号卡只支持cuda11的环境，而torch和cuda的版本也需要匹配上，所以我当时是用了更高版本的torch以及cuda11，这方面你可以检查下。我近期比较忙可能没办法帮你详细check，之后有时间的时候可以再详细帮你看看，如果还没有解决的话。

from sigma.

您好，我发现你的gpu型号是a4000，我没有在这种型号的卡上配置过环境。不过我曾经尝试在3090上配置，需要注意的是由于有些新型号卡只支持cuda11的环境，而torch和cuda的版本也需要匹配上，所以我当时是用了更高版本的torch以及cuda11，这方面你可以检查下。我近期比较忙可能没办法帮你详细check，之后有时间的时候可以再详细帮你看看，如果还没有解决的话。

conda install pytorch==1.10.0 torchvision==0.11.0 torchaudio==0.10.0 cudatoolkit=11.3 -c pytorch -c conda-forge
您好，我用如上述命令重新安装了torch，出现的版本不匹配问题已解决，当前代码可运行。
我使用代码原本的参数设置，
包括
IMS_PER_BATCH: 4
MAX_ITER: 100000
MATCHING_CFG: 'o2o'
_C.DATALOADER.NUM_WORKERS = 4
等
我的显卡总显存为16117MiB，运行时所用显存为12659MiB，代码运行预估需要3天，请问这个时间是否正常，我如何设置参数才能减少运行时间？

日志信息如下：
log.txt

from sigma.

您好，我发现你的gpu型号是a4000，我没有在这种型号的卡上配置过环境。不过我曾经尝试在3090上配置，需要注意的是由于有些新型号卡只支持cuda11的环境，而torch和cuda的版本也需要匹配上，所以我当时是用了更高版本的torch以及cuda11，这方面你可以检查下。我近期比较忙可能没办法帮你详细check，之后有时间的时候可以再详细帮你看看，如果还没有解决的话。

conda install pytorch==1.10.0 torchvision==0.11.0 torchaudio==0.10.0 cudatoolkit=11.3 -c pytorch -c conda-forge 您好，我用如上述命令重新安装了torch，出现的版本不匹配问题已解决，当前代码可运行。 我使用代码原本的参数设置， 包括 IMS_PER_BATCH: 4 MAX_ITER: 100000 MATCHING_CFG: 'o2o' _C.DATALOADER.NUM_WORKERS = 4 等 我的显卡总显存为16117MiB，运行时所用显存为12659MiB，代码运行预估需要3天，请问这个时间是否正常，我如何设置参数才能减少运行时间？

日志信息如下： log.txt

您好，适当减小训练迭代就可以：也就是减少MAX_ITER，我印象里大概只需要3w 左右的迭代就可以得到很近似的结果，我们用更长的时间训练是为了结果的稳定性。目前看来应该是可以正常运行的，而且似乎收敛速度比我们的实验更快一点，可能是高torch版本的原因。

from sigma.

您好，我发现你的gpu型号是a4000，我没有在这种型号的卡上配置过环境。不过我曾经尝试在3090上配置，需要注意的是由于有些新型号卡只支持cuda11的环境，而torch和cuda的版本也需要匹配上，所以我当时是用了更高版本的torch以及cuda11，这方面你可以检查下。我近期比较忙可能没办法帮你详细check，之后有时间的时候可以再详细帮你看看，如果还没有解决的话。

conda install pytorch==1.10.0 torchvision==0.11.0 torchaudio==0.10.0 cudatoolkit=11.3 -c pytorch -c conda-forge 您好，我用如上述命令重新安装了torch，出现的版本不匹配问题已解决，当前代码可运行。 我使用代码原本的参数设置， 包括 IMS_PER_BATCH: 4 MAX_ITER: 100000 MATCHING_CFG: 'o2o' _C.DATALOADER.NUM_WORKERS = 4 等 我的显卡总显存为16117MiB，运行时所用显存为12659MiB，代码运行预估需要3天，请问这个时间是否正常，我如何设置参数才能减少运行时间？
日志信息如下： log.txt

您好，适当减小训练迭代就可以：也就是减少MAX_ITER，我印象里大概只需要3w 左右的迭代就可以得到很近似的结果，我们用更长的时间训练是为了结果的稳定性。目前看来应该是可以正常运行的，而且似乎收敛速度比我们的实验更快一点，可能是高torch版本的原因。

十分感谢您的解答！

from sigma.

不客气！如果后续有问题可以重新开启issue哈

from sigma.