计算化学公社

标题: PBS: job killed: mem exceeded limit 怎么解决 [打印本页]

作者
Author: 林守龙 时间: 2023-5-31 09:05
标题: PBS: job killed: mem exceeded limit 怎么解决
本帖最后由林守龙于 2023-5-31 09:44 编辑

请问各位老师，pbs集群提交高斯计算任务时，显示内存限制10G，但是我这个超算有30核。我不太懂pbs作业系统，请问能修改内存限制吗。

#!/bin/bash
#PBS -N g09
#PBS -q bio
#PBS -l walltime=1440:00:00
#PBS -l nodes=1:ppn=30
#PBS -j oe

cd $PBS_O_WORKDIR

g09 1.gjf

作者
Author: 乐平 时间: 2023-5-31 09:42
请把你提价任务的 PBS文件内容显示出来

作者
Author: 林守龙 时间: 2023-5-31 09:44

乐平发表于 2023-5-31 09:42
请把你提价任务的 PBS文件内容显示出来

#!/bin/bash
#PBS -N g09
#PBS -q bio
#PBS -l walltime=1440:00:00
#PBS -l nodes=1:ppn=30
#PBS -j oe

cd $PBS_O_WORKDIR

g09 1.gjf

作者
Author: 乐平 时间: 2023-5-31 10:44

林守龙发表于 2023-5-31 09:44
#!/bin/bash
#PBS -N g09
#PBS -q bio

30核跟内存多少没关系。
你可以把内存用量稍稍改小一些。比如 8GB

系统运行也需要内存，不能把所有内存都用来做计算，不然系统会崩掉

作者
Author: 林守龙 时间: 2023-5-31 10:46

乐平发表于 2023-5-31 10:44
30核跟内存多少没关系。
你可以把内存用量稍稍改小一些。比如 8GB

老师，难道是我的节点只有10G内存吗

作者
Author: 乐平 时间: 2023-5-31 14:39

林守龙发表于 2023-5-31 10:46
老师，难道是我的节点只有10G内存吗

这就要问你自己了呀…… 你自己的集群……

ssh 到计算节点，free -h 查看内存大小

作者
Author: 林守龙 时间: 2023-5-31 16:09

乐平发表于 2023-5-31 14:39
这就要问你自己了呀…… 你自己的集群……

ssh 到计算节点，free -h 查看内存大小

total       used       free    shared  buff/cache available
Mem:          250G       23G       208G       4.1G       18G       221G
Swap:       127G       0B       127G

老师，我的这个节点内存挺大的，为啥高斯计算就限制了10GB

作者
Author: 啊不错的飞过海 时间: 2023-5-31 18:06
应该是PBS作业系统有单个任务默认10GB的限制，你可以找你的集群管理员问问具体情况。
PBS有-l mem=选项来申请内存使用，也可以试着用用这个。话说你的高斯任务自己设了多少的内存使用限制？

作者
Author: 林守龙 时间: 2023-5-31 18:15

啊不错的飞过海发表于 2023-5-31 18:06
应该是PBS作业系统有单个任务默认10GB的限制，你可以找你的集群管理员问问具体情况。
PBS有-l mem=选项来 ...

自己在route文件里设置了100GB

作者
Author: 林守龙 时间: 2023-5-31 18:17
请问各位老师，话说这个内存设置对计算效率的影响大吗

作者
Author: 啊不错的飞过海 时间: 2023-5-31 18:27

林守龙发表于 2023-5-31 18:17
请问各位老师，话说这个内存设置对计算效率的影响大吗

看什么任务，HF/DFT很少能用到这么大内存，CASSCF/后HF任务有些可以。gaussian内存规划比较好，设小一点只要能跑问题就也不大，10GB一般来讲足够大部分体系尺寸/方法选择合理的任务了。
内存小了的话gaussian可能用一些硬盘缓存的算法，对效率有一些影响；太小的话会直接算不了。
话说我比较好奇为什么要在Default.Route设那么大的内存，机子是只有一两个人在用的吗？

作者
Author: 林守龙 时间: 2023-5-31 20:09

啊不错的飞过海发表于 2023-5-31 18:27
看什么任务，HF/DFT很少能用到这么大内存，CASSCF/后HF任务有些可以。gaussian内存规划比较好，设小一点 ...

total       used       free    shared  buff/cache available
Mem:          250G       23G       208G       4.1G       18G       221G
Swap:       127G       0B       127G

因为查了内存，挺大的，所以30核，设置了100GB

欢迎光临计算化学公社 (http://bbs.keinsci.com/)