计算化学公社

标题: Linux系统rwf文件存储问题 [打印本页]

作者
Author: wwwwwt 时间: 2025-5-15 11:23
标题: Linux系统rwf文件存储问题
各位大神，我发现一个问题，我在第三方页面（一个用于提交Gaussian计算的页面，因为只购买了g16的Linux版本）里提交Gaussian计算文件后，生成的rwf文件特别大，动不动就6000万GB，基本每计算一个文件就得清理rwf，导致我的计算中断，出现"g write"的报错，请问我在输入文件里加入“%mem=10GB”这样的关键词可以避免吗？或者有什么其他的办法可以减小rwf的预留存储空间吗？ (, 下载次数 Times of downloads: 13)
ps：但是我利用脚本批量提交计算文件时，就不会出现这种情况，因为它每个计算文件都会单独分配一个文件夹，所有的计算文件都在里面，相当于一个rwf对应一个文件夹。请问有办法在第三方页面提交时把rwf文件做同样的处理吗？

作者
Author: Loading0760 时间: 2025-5-15 12:58
以下为社长的原话,出处http://sobereva.com/112

Gaussian程序是由一个个独立的Link子程序组成的，完成一个计算任务需要各种Link按照指定顺序和特定选项依次被调用，如同一条作业流水线。在每个Link之间传递临时数据最主要依靠的是rwf文件，即读写文件，这个文件在计算任务一开始被初始化，随着计算的进行，不断地被填进更多的信息，如果没有通过%rwf=xxx来指定rwf文件保存的位置，在任务正常结束时会被自动删除。

因此rwf在计算的时候是不能删除的,大小是和你的计算级别精度有关的,你可以给rwf指定路径,这样就实现了单独分配文件夹的效果了.

作者
Author: wwwwwt 时间: 2025-5-15 13:15

Loading0760 发表于 2025-5-15 12:58
以下为社长的原话,出处http://sobereva.com/112

因此rwf在计算的时候是不能删除的,大小是和你的计算级别 ...

明白了，谢谢

作者
Author: wwwwwt 时间: 2025-5-15 13:20

Loading0760 发表于 2025-5-15 12:58
以下为社长的原话,出处http://sobereva.com/112

因此rwf在计算的时候是不能删除的,大小是和你的计算级别 ...

rwf文件生成时会预留很大的空间（6000万GB），有什么办法可以设置这个预留空间吗？

作者
Author: Loading0760 时间: 2025-5-15 13:29

wwwwwt 发表于 2025-5-15 13:20
rwf文件生成时会预留很大的空间（6000万GB），有什么办法可以设置这个预留空间吗？

什么叫预留,不是占用吗?一般是开始的时候就先把那么的空间给你占了.

作者
Author: wwwwwt 时间: 2025-5-15 13:42

Loading0760 发表于 2025-5-15 13:29
什么叫预留,不是占用吗?一般是开始的时候就先把那么的空间给你占了.

嗯，我表达不准确，有什么方法可以规定这个占用空间的大小？

作者
Author: snljty2 时间: 2025-5-15 14:24
6000万GB那是60 PB，怎么可能...而且你这么小的任务，最多也就十几个GB...

作者
Author: sobereva 时间: 2025-5-16 07:01

wwwwwt 发表于 2025-5-15 13:42
嗯，我表达不准确，有什么方法可以规定这个占用空间的大小？

你先搞清楚GB是什么概念、你弄错了多少个0
储存这么大文件需要3000个20TB的硬盘

maxdisk关键词设置临时文件的尺寸上限

作者
Author: wwwwwt 时间: 2025-5-16 10:07

sobereva 发表于 2025-5-16 07:01
你先搞清楚GB是什么概念、你弄错了多少个0
储存这么大文件需要3000个20TB的硬盘

之前的文件单位是GiB，数值是6000多万，那个文件我清理掉了，等后面出现类似情况，我把文件截图放上来

作者
Author: wxsxjj 时间: 2025-5-16 10:50

wwwwwt 发表于 2025-5-16 10:07
之前的文件单位是GiB，数值是6000多万，那个文件我清理掉了，等后面出现类似情况，我把文件截图放上来

绝对不可能，你一定搞错了

作者
Author: wwwwwt 时间: 2025-5-22 14:02
有图有真相，终于出现了，不知道这是不是6000万GB

作者
Author: Loading0760 时间: 2025-5-22 14:11

wwwwwt 发表于 2025-5-22 14:02
有图有真相，终于出现了，不知道这是不是6000万GB

你到那个目录下,用linux指令看看多大,60PB还是难以置信

ls -lhtr

复制代码

作者
Author: wwwwwt 时间: 2025-5-22 15:19

Loading0760 发表于 2025-5-22 14:11
你到那个目录下,用linux指令看看多大,60PB还是难以置信

我着急继续新的计算，删掉了，我试着下载这个文件，下了很久进度条还是1%，我认为内存应该没显示错误

作者
Author: gezq 时间: 2025-5-23 00:47
这么大的临时文件，硬盘是怎么存储的？

作者
Author: wwwwwt 时间: 2025-5-23 10:23
和IT确认了，这个文件是虚拟内存，不是实际内存

作者
Author: snljty2 时间: 2025-5-23 10:59

wwwwwt 发表于 2025-5-23 10:23
和IT确认了，这个文件是虚拟内存，不是实际内存

那是硬盘（存储），不是内存。几十PB相当于几个数据中心的数据量之和了，相当于3千块以上常用的企业级硬盘，几万块家用硬盘的存储量...

作者
Author: wwwwwt 时间: 2025-5-23 13:35

snljty2 发表于 2025-5-23 10:59
那是硬盘（存储），不是内存。几十PB相当于几个数据中心的数据量之和了，相当于3千块以上常用的企业级硬 ...

对的，相当于我们100个厂的设备总和

欢迎光临计算化学公社 (http://bbs.keinsci.com/)