CUDA out of memory

[bzmtxh]

torch1.13.1+cuda11.7
RTX-Titan 24G
使用默认配置，提示显存不够，batch_size设置为1还是不行。

[zzr-idam]

***@***.***，BS可以设置为4最高。

…

---------- 该邮件从移动设备发送

--------------原始邮件-------------- 发件人："bzmtxh ***@***.***>; 发送时间：2024年2月21日(星期三) 晚上10:37 收件人："zzr-idam/UVM-Net" ***@***.***>; 抄送："Subscribed ***@***.***>; 主题：[zzr-idam/UVM-Net] CUDA out of memory (Issue #2) ----------------------------------- torch1.13.1+cuda11.7 RTX-Titan 24G 使用默认配置，提示显存不够，batch_size设置为1还是不行。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>

[bzmtxh]

        改成半精度才能BS为1跑起来，显存占用23.5G，RTX-Titan是图灵架构的是不是不行？
       
        content = batch[0].half().cuda()
        information = batch[1].half().cuda()
        optimizer.zero_grad()
        with autocast():
            output = model(content)
            total_loss = mse(output, information)
            scaler.scale(total_loss).backward()
            scaler.step(optimizer)
            scaler.update()

数据集是6k那个。
0%| | 9/6000 [00:03<35:58, 2.78it/s]result, Epoch:0 Iter:9 total loss: 0.4622668921947479
0%| | 10/6000 [00:03<35:34, 2.81it/s]result, Epoch:0 Iter:10 total loss: 0.19697485864162445
0%| | 11/6000 [00:04<35:24, 2.82it/s]result, Epoch:0 Iter:11 total loss: 0.10530735552310944
0%| | 12/6000 [00:04<35:11, 2.84it/s]result, Epoch:0 Iter:12 total loss: nan
0%| | 13/6000 [00:04<30:40, 3.25it/s]result, Epoch:0 Iter:13 total loss: nan
12开始，就nan了。

[zzr-idam]

不可能啊，我在autodl租的一张3090 24G BS可以设置为4，加我微信 我看看ran4082391

…

---------- 该邮件从移动设备发送

--------------原始邮件-------------- 发件人："bzmtxh ***@***.***&gt;; 发送时间：2024年2月21日(星期三) 晚上11:00 收件人："zzr-idam/UVM-Net" ***@***.***&gt;; 抄送："Zhuoran Zheng ***@***.***&gt;;"Comment ***@***.***&gt;; 主题：Re: [zzr-idam/UVM-Net] CUDA out of memory (Issue #2) ----------------------------------- 改成半精度才能BS为1跑起来，显存占用23.5G，RTX-Titan是图灵架构的是不是不行？ content = batch[0].half().cuda() information = batch[1].half().cuda() optimizer.zero_grad() with autocast(): output = model(content) total_loss = mse(output, information) scaler.scale(total_loss).backward() scaler.step(optimizer) scaler.update() 数据集是6k那个。 0%| | 9/6000 [00:03<35:58, 2.78it/s]result, Epoch:0 Iter:9 total loss: 0.4622668921947479 0%| | 10/6000 [00:03<35:34, 2.81it/s]result, Epoch:0 Iter:10 total loss: 0.19697485864162445 0%| | 11/6000 [00:04<35:24, 2.82it/s]result, Epoch:0 Iter:11 total loss: 0.10530735552310944 0%| | 12/6000 [00:04<35:11, 2.84it/s]result, Epoch:0 Iter:12 total loss: nan 0%| | 13/6000 [00:04<30:40, 3.25it/s]result, Epoch:0 Iter:13 total loss: nan 12开始，就nan了。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***&gt;

[zzr-idam]

[MitcML]

同样的问题，cuda out of memory，出现nan可能是因为半精度溢出？

        改成半精度才能BS为1跑起来，显存占用23.5G，RTX-Titan是图灵架构的是不是不行？
       
        content = batch[0].half().cuda()
        information = batch[1].half().cuda()
        optimizer.zero_grad()
        with autocast():
            output = model(content)
            total_loss = mse(output, information)
            scaler.scale(total_loss).backward()
            scaler.step(optimizer)
            scaler.update()

数据集是6k那个。 0%| | 9/6000 [00:03<35:58, 2.78it/s]result, Epoch:0 Iter:9 total loss: 0.4622668921947479 0%| | 10/6000 [00:03<35:34, 2.81it/s]result, Epoch:0 Iter:10 total loss: 0.19697485864162445 0%| | 11/6000 [00:04<35:24, 2.82it/s]result, Epoch:0 Iter:11 total loss: 0.10530735552310944 0%| | 12/6000 [00:04<35:11, 2.84it/s]result, Epoch:0 Iter:12 total loss: nan 0%| | 13/6000 [00:04<30:40, 3.25it/s]result, Epoch:0 Iter:13 total loss: nan 12开始，就nan了。

[MitcML]

我同样使用的RTX3090，仍然出现cuda of memory问题

[zzr-idam]

我们也发现了nan问题，把学习率弄低点就不会出现这个问题了。

…

---------- 该邮件从移动设备发送

--------------原始邮件-------------- 发件人："MitcML ***@***.***&gt;; 发送时间：2024年3月2日(星期六) 中午1:54 收件人："zzr-idam/UVM-Net" ***@***.***&gt;; 抄送："Zhuoran Zheng ***@***.***&gt;;"Comment ***@***.***&gt;; 主题：Re: [zzr-idam/UVM-Net] CUDA out of memory (Issue #2) ----------------------------------- 同样的问题，cuda out of memory，出现nan可能是因为半精度溢出？ 改成半精度才能BS为1跑起来，显存占用23.5G，RTX-Titan是图灵架构的是不是不行？ content = batch[0].half().cuda() information = batch[1].half().cuda() optimizer.zero_grad() with autocast(): output = model(content) total_loss = mse(output, information) scaler.scale(total_loss).backward() scaler.step(optimizer) scaler.update() 数据集是6k那个。 0%| | 9/6000 [00:03<35:58, 2.78it/s]result, Epoch:0 Iter:9 total loss: 0.4622668921947479 0%| | 10/6000 [00:03<35:34, 2.81it/s]result, Epoch:0 Iter:10 total loss: 0.19697485864162445 0%| | 11/6000 [00:04<35:24, 2.82it/s]result, Epoch:0 Iter:11 total loss: 0.10530735552310944 0%| | 12/6000 [00:04<35:11, 2.84it/s]result, Epoch:0 Iter:12 total loss: nan 0%| | 13/6000 [00:04<30:40, 3.25it/s]result, Epoch:0 Iter:13 total loss: nan 12开始，就nan了。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***&gt;

[ndwsfkba]

请问爆显存的问题解决了吗

[zjtco-yr]

我也出现了爆显存的问题

[zjtco-yr]

我发现把options.py里的num_gpus设置为1就不会OOM，设置成2或者更大的数都回爆显存

[12138ppuk]

我也是使用的RTX3090，同样出现cuda of memory问题，请问有人解决了这个问题吗，可以提供一下您的参数吗

[init1aL]

我们也发现了nan问题，把学习率弄低点就不会出现这个问题了。
…
---------- 该邮件从移动设备发送
--------------原始邮件-------------- 发件人："MitcML @.>; 发送时间：2024年3月2日(星期六) 中午1:54 收件人："zzr-idam/UVM-Net" @.>; 抄送："Zhuoran Zheng @.>;"Comment @.>; 主题：Re: [zzr-idam/UVM-Net] CUDA out of memory (Issue #2) ----------------------------------- 同样的问题，cuda out of memory，出现nan可能是因为半精度溢出？ 改成半精度才能BS为1跑起来，显存占用23.5G，RTX-Titan是图灵架构的是不是不行？ content = batch[0].half().cuda() information = batch[1].half().cuda() optimizer.zero_grad() with autocast(): output = model(content) total_loss = mse(output, information) scaler.scale(total_loss).backward() scaler.step(optimizer) scaler.update() 数据集是6k那个。 0%| | 9/6000 [00:03<35:58, 2.78it/s]result, Epoch:0 Iter:9 total loss: 0.4622668921947479 0%| | 10/6000 [00:03<35:34, 2.81it/s]result, Epoch:0 Iter:10 total loss: 0.19697485864162445 0%| | 11/6000 [00:04<35:24, 2.82it/s]result, Epoch:0 Iter:11 total loss: 0.10530735552310944 0%| | 12/6000 [00:04<35:11, 2.84it/s]result, Epoch:0 Iter:12 total loss: nan 0%| | 13/6000 [00:04<30:40, 3.25it/s]result, Epoch:0 Iter:13 total loss: nan 12开始，就nan了。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

大概要低多少

[lwtgithublwt]

我们也发现了nan问题，把学习率弄低点就不会出现这个问题了。
…
---------- 该邮件从移动设备发送
--------------原始邮件-------------- 发件人："MitcML @.>; 发送时间：2024年3月2日(星期六) 中午1:54 收件人："zzr-idam/UVM-Net" @.>; 抄送："Zhuoran Zheng @.>;"Comment @.>; 主题：Re: [zzr-idam/UVM-Net] CUDA out of memory (Issue #2) ----------------------------------- 同样的问题，cuda out of memory，出现nan可能是因为半精度溢出？ 改成半精度才能BS为1跑起来，显存占用23.5G，RTX-Titan是图灵架构的是不是不行？ content = batch[0].half().cuda() information = batch[1].half().cuda() optimizer.zero_grad() with autocast(): output = model(content) total_loss = mse(output, information) scaler.scale(total_loss).backward() scaler.step(optimizer) scaler.update() 数据集是6k那个。 0%| | 9/6000 [00:03<35:58, 2.78it/s]result, Epoch:0 Iter:9 total loss: 0.4622668921947479 0%| | 10/6000 [00:03<35:34, 2.81it/s]result, Epoch:0 Iter:10 total loss: 0.19697485864162445 0%| | 11/6000 [00:04<35:24, 2.82it/s]result, Epoch:0 Iter:11 total loss: 0.10530735552310944 0%| | 12/6000 [00:04<35:11, 2.84it/s]result, Epoch:0 Iter:12 total loss: nan 0%| | 13/6000 [00:04<30:40, 3.25it/s]result, Epoch:0 Iter:13 total loss: nan 12开始，就nan了。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

@zzr-idam 你好，当我改为half精度时，无论我怎么修改都会出现nan，该把学习率修改到多低，当改会float32时，就又会出现显存爆满，感谢您的回答。

[Albertchamberlain]

@zzr-idam
你好，当我改为half精度时，无论我怎么修改都会出现nan，该把学习率修改到多低，当改会float32时，就又会出现显存爆满，感谢您的回答。