计算化学公社

标题: 请教小占用率任务批量计算 [打印本页]

作者
Author:
biogon    时间: 2019-6-10 21:49
标题: 请教小占用率任务批量计算
因为组里有跑MC的,那个程序一个只占很少的系统资源,所以经常大量提交任务同时并行,但是占用率太高的话跑的久的就会死机甚至重启,请问用作业调度系统能不能控制全局的占用率,超过阈值就把后面的任务挂起
作者
Author:
Jasminer    时间: 2019-6-10 23:17
像pbs/touque里面,你把np设得比实际核心数量少一点不就行了嘛。
作者
Author:
biogon    时间: 2019-6-11 09:44
Jasminer 发表于 2019-6-10 23:17
像pbs/touque里面,你把np设得比实际核心数量少一点不就行了嘛。

我用的是torque,知道怎么回事了,不过这个怎么批量提交任务并行,以前跑任务都是按顺序来的
作者
Author:
abdoman    时间: 2019-6-11 10:29
biogon 发表于 2019-6-11 09:44
我用的是torque,知道怎么回事了,不过这个怎么批量提交任务并行,以前跑任务都是按顺序来的

我的理解是:
1. np设置(假如是2)小于机器属性里面的np(假如是8)
2. 一个任务,就一个pbs脚本 (方便管理,追踪计算)
3. 如果集群里面有机器没有满负荷(这里涉及到集群负载均衡的设置,可以先试试),上述1里面只有1个任务(2 np),那么你还可以再投2-3个任务。怕满负荷宕机的话,就再投2个,那样你机器里面就是6 np,3个任务并行。

没有满负荷的意思是:假如你有2个节点A和B,(np均是8), 你投2个任务(np均是2), 你看看你第二个任务是到A还是到B. 还可以投4个任务看看pbs是怎么分配的。(0+4, 1+3, 2+2, 3+1, 4+0 ??)





欢迎光临 计算化学公社 (http://bbs.keinsci.com/) Powered by Discuz! X3.3