请教小占用率任务批量计算

biogon

因为组里有跑MC的，那个程序一个只占很少的系统资源，所以经常大量提交任务同时并行，但是占用率太高的话跑的久的就会死机甚至重启，请问用作业调度系统能不能控制全局的占用率，超过阈值就把后面的任务挂起

Jasminer

像pbs/touque里面，你把np设得比实际核心数量少一点不就行了嘛。

biogon

Jasminer 发表于 2019-6-10 23:17
像pbs/touque里面，你把np设得比实际核心数量少一点不就行了嘛。

我用的是torque，知道怎么回事了，不过这个怎么批量提交任务并行，以前跑任务都是按顺序来的

abdoman

biogon 发表于 2019-6-11 09:44
我用的是torque，知道怎么回事了，不过这个怎么批量提交任务并行，以前跑任务都是按顺序来的

我的理解是：
1. np设置（假如是2）小于机器属性里面的np（假如是8）
2. 一个任务，就一个pbs脚本 （方便管理，追踪计算）
3. 如果集群里面有机器没有满负荷（这里涉及到集群负载均衡的设置，可以先试试），上述1里面只有1个任务（2 np），那么你还可以再投2-3个任务。怕满负荷宕机的话，就再投2个，那样你机器里面就是6 np，3个任务并行。

没有满负荷的意思是：假如你有2个节点A和B，（np均是8）， 你投2个任务（np均是2)， 你看看你第二个任务是到A还是到B. 还可以投4个任务看看pbs是怎么分配的。（0+4, 1+3, 2+2, 3+1, 4+0 ??)