Linux系统rwf文件存储问题

wwwwwt · 发表于 Post on 2025-5-15 11:23:08

各位大神，我发现一个问题，我在第三方页面（一个用于提交Gaussian计算的页面，因为只购买了g16的Linux版本）里提交Gaussian计算文件后，生成的rwf文件特别大，动不动就6000万GB，基本每计算一个文件就得清理rwf，导致我的计算中断，出现"g write"的报错，请问我在输入文件里加入“%mem=10GB”这样的关键词可以避免吗？或者有什么其他的办法可以减小rwf的预留存储空间吗？

1_1_g_write.out (107.28 KB, 下载次数 Times of downloads: 13)
ps：但是我利用脚本批量提交计算文件时，就不会出现这种情况，因为它每个计算文件都会单独分配一个文件夹，所有的计算文件都在里面，相当于一个rwf对应一个文件夹。请问有办法在第三方页面提交时把rwf文件做同样的处理吗？

Loading0760 · 发表于 Post on 2025-5-15 12:58:43

以下为社长的原话,出处http://sobereva.com/112

Gaussian程序是由一个个独立的Link子程序组成的，完成一个计算任务需要各种Link按照指定顺序和特定选项依次被调用，如同一条作业流水线。在每个Link之间传递临时数据最主要依靠的是rwf文件，即读写文件，这个文件在计算任务一开始被初始化，随着计算的进行，不断地被填进更多的信息，如果没有通过%rwf=xxx来指定rwf文件保存的位置，在任务正常结束时会被自动删除。

因此rwf在计算的时候是不能删除的,大小是和你的计算级别精度有关的,你可以给rwf指定路径,这样就实现了单独分配文件夹的效果了.

wwwwwt · 发表于 Post on 2025-5-15 13:15:46

Loading0760 发表于 2025-5-15 12:58
以下为社长的原话,出处http://sobereva.com/112

因此rwf在计算的时候是不能删除的,大小是和你的计算级别 ...

明白了，谢谢

wwwwwt · 发表于 Post on 2025-5-15 13:20:09

Loading0760 发表于 2025-5-15 12:58
以下为社长的原话,出处http://sobereva.com/112

因此rwf在计算的时候是不能删除的,大小是和你的计算级别 ...

rwf文件生成时会预留很大的空间（6000万GB），有什么办法可以设置这个预留空间吗？

Loading0760 · 发表于 Post on 2025-5-15 13:29:00

wwwwwt 发表于 2025-5-15 13:20
rwf文件生成时会预留很大的空间（6000万GB），有什么办法可以设置这个预留空间吗？

什么叫预留,不是占用吗?一般是开始的时候就先把那么的空间给你占了.

wwwwwt · 发表于 Post on 2025-5-15 13:42:17

Loading0760 发表于 2025-5-15 13:29
什么叫预留,不是占用吗?一般是开始的时候就先把那么的空间给你占了.

嗯，我表达不准确，有什么方法可以规定这个占用空间的大小？

snljty2 · 发表于 Post on 2025-5-15 14:24:39

6000万GB那是60 PB，怎么可能...而且你这么小的任务，最多也就十几个GB...

sobereva · 发表于 Post on 2025-5-16 07:01:11

wwwwwt 发表于 2025-5-15 13:42
嗯，我表达不准确，有什么方法可以规定这个占用空间的大小？

你先搞清楚GB是什么概念、你弄错了多少个0
储存这么大文件需要3000个20TB的硬盘

maxdisk关键词设置临时文件的尺寸上限

wwwwwt · 发表于 Post on 2025-5-16 10:07:10

sobereva 发表于 2025-5-16 07:01
你先搞清楚GB是什么概念、你弄错了多少个0
储存这么大文件需要3000个20TB的硬盘

之前的文件单位是GiB，数值是6000多万，那个文件我清理掉了，等后面出现类似情况，我把文件截图放上来

wxsxjj · 发表于 Post on 2025-5-16 10:50:03

wwwwwt 发表于 2025-5-16 10:07
之前的文件单位是GiB，数值是6000多万，那个文件我清理掉了，等后面出现类似情况，我把文件截图放上来

绝对不可能，你一定搞错了

wwwwwt · 发表于 Post on 2025-5-22 14:02:50

有图有真相，终于出现了，不知道这是不是6000万GB

Loading0760 · 发表于 Post on 2025-5-22 14:11:51

wwwwwt 发表于 2025-5-22 14:02
有图有真相，终于出现了，不知道这是不是6000万GB

你到那个目录下,用linux指令看看多大,60PB还是难以置信

ls -lhtr

复制代码

wwwwwt · 发表于 Post on 2025-5-22 15:19:11

Loading0760 发表于 2025-5-22 14:11
你到那个目录下,用linux指令看看多大,60PB还是难以置信

我着急继续新的计算，删掉了，我试着下载这个文件，下了很久进度条还是1%，我认为内存应该没显示错误

gezq · 发表于 Post on 2025-5-23 00:47:20

这么大的临时文件，硬盘是怎么存储的？

wwwwwt · 发表于 Post on 2025-5-23 10:23:50

和IT确认了，这个文件是虚拟内存，不是实际内存

		自动登录 Automatic login	找回密码 Forget password
密码 Password			注册 Register

[新手求助] Linux系统rwf文件存储问题

评分 Rate

浏览过的版块