Linux系统rwf文件存储问题

wwwwwt · 发表于 Post on 2025-5-15 11:23:08

各位大神，我发现一个问题，我在第三方页面（一个用于提交Gaussian计算的页面，因为只购买了g16的Linux版本）里提交Gaussian计算文件后，生成的rwf文件特别大，动不动就6000万GB，基本每计算一个文件就得清理rwf，导致我的计算中断，出现"g write"的报错，请问我在输入文件里加入“%mem=10GB”这样的关键词可以避免吗？或者有什么其他的办法可以减小rwf的预留存储空间吗？

1_1_g_write.out (107.28 KB, 下载次数 Times of downloads: 13)
ps：但是我利用脚本批量提交计算文件时，就不会出现这种情况，因为它每个计算文件都会单独分配一个文件夹，所有的计算文件都在里面，相当于一个rwf对应一个文件夹。请问有办法在第三方页面提交时把rwf文件做同样的处理吗？

wwwwwt · 发表于 Post on 2025-5-23 13:35:04

snljty2 发表于 2025-5-23 10:59
那是硬盘（存储），不是内存。几十PB相当于几个数据中心的数据量之和了，相当于3千块以上常用的企业级硬 ...

对的，相当于我们100个厂的设备总和

snljty2 · 发表于 Post on 2025-5-23 10:59:08

wwwwwt 发表于 2025-5-23 10:23
和IT确认了，这个文件是虚拟内存，不是实际内存

那是硬盘（存储），不是内存。几十PB相当于几个数据中心的数据量之和了，相当于3千块以上常用的企业级硬盘，几万块家用硬盘的存储量...

wwwwwt · 发表于 Post on 2025-5-23 10:23:50

和IT确认了，这个文件是虚拟内存，不是实际内存

gezq · 发表于 Post on 2025-5-23 00:47:20

这么大的临时文件，硬盘是怎么存储的？

wwwwwt · 发表于 Post on 2025-5-22 15:19:11

Loading0760 发表于 2025-5-22 14:11
你到那个目录下,用linux指令看看多大,60PB还是难以置信

我着急继续新的计算，删掉了，我试着下载这个文件，下了很久进度条还是1%，我认为内存应该没显示错误

Loading0760 · 发表于 Post on 2025-5-22 14:11:51

wwwwwt 发表于 2025-5-22 14:02
有图有真相，终于出现了，不知道这是不是6000万GB

你到那个目录下,用linux指令看看多大,60PB还是难以置信

ls -lhtr

复制代码

wwwwwt · 发表于 Post on 2025-5-22 14:02:50

有图有真相，终于出现了，不知道这是不是6000万GB

wxsxjj · 发表于 Post on 2025-5-16 10:50:03

wwwwwt 发表于 2025-5-16 10:07
之前的文件单位是GiB，数值是6000多万，那个文件我清理掉了，等后面出现类似情况，我把文件截图放上来

绝对不可能，你一定搞错了

wwwwwt · 发表于 Post on 2025-5-16 10:07:10

sobereva 发表于 2025-5-16 07:01
你先搞清楚GB是什么概念、你弄错了多少个0
储存这么大文件需要3000个20TB的硬盘

之前的文件单位是GiB，数值是6000多万，那个文件我清理掉了，等后面出现类似情况，我把文件截图放上来

sobereva · 发表于 Post on 2025-5-16 07:01:11

wwwwwt 发表于 2025-5-15 13:42
嗯，我表达不准确，有什么方法可以规定这个占用空间的大小？

你先搞清楚GB是什么概念、你弄错了多少个0
储存这么大文件需要3000个20TB的硬盘

maxdisk关键词设置临时文件的尺寸上限

snljty2 · 发表于 Post on 2025-5-15 14:24:39

6000万GB那是60 PB，怎么可能...而且你这么小的任务，最多也就十几个GB...

wwwwwt · 发表于 Post on 2025-5-15 13:42:17

Loading0760 发表于 2025-5-15 13:29
什么叫预留,不是占用吗?一般是开始的时候就先把那么的空间给你占了.

嗯，我表达不准确，有什么方法可以规定这个占用空间的大小？

Loading0760 · 发表于 Post on 2025-5-15 13:29:00

wwwwwt 发表于 2025-5-15 13:20
rwf文件生成时会预留很大的空间（6000万GB），有什么办法可以设置这个预留空间吗？

什么叫预留,不是占用吗?一般是开始的时候就先把那么的空间给你占了.

wwwwwt · 发表于 Post on 2025-5-15 13:20:09

Loading0760 发表于 2025-5-15 12:58
以下为社长的原话,出处http://sobereva.com/112

因此rwf在计算的时候是不能删除的,大小是和你的计算级别 ...

rwf文件生成时会预留很大的空间（6000万GB），有什么办法可以设置这个预留空间吗？

wwwwwt · 发表于 Post on 2025-5-15 13:15:46

Loading0760 发表于 2025-5-15 12:58
以下为社长的原话,出处http://sobereva.com/112

因此rwf在计算的时候是不能删除的,大小是和你的计算级别 ...

明白了，谢谢

		自动登录 Automatic login	找回密码 Forget password
密码 Password			注册 Register

[新手求助] Linux系统rwf文件存储问题

评分 Rate

浏览过的版块