请选择 进入手机版 | 继续访问电脑版

计算化学公社

 找回密码
 现在注册!
查看: 190|回复: 3

[任务提交/队列管理] 请教小占用率任务批量计算

[复制链接]

114

帖子

0

威望

434

eV
积分
548

Level 4 (黑子)

发表于 2019-6-10 21:49:41 | 显示全部楼层 |阅读模式
因为组里有跑MC的,那个程序一个只占很少的系统资源,所以经常大量提交任务同时并行,但是占用率太高的话跑的久的就会死机甚至重启,请问用作业调度系统能不能控制全局的占用率,超过阈值就把后面的任务挂起

217

帖子

0

威望

1791

eV
积分
2008

Level 5 (御坂)

发表于 2019-6-10 23:17:36 | 显示全部楼层
像pbs/touque里面,你把np设得比实际核心数量少一点不就行了嘛。

114

帖子

0

威望

434

eV
积分
548

Level 4 (黑子)

 楼主| 发表于 2019-6-11 09:44:43 | 显示全部楼层
Jasminer 发表于 2019-6-10 23:17
像pbs/touque里面,你把np设得比实际核心数量少一点不就行了嘛。

我用的是torque,知道怎么回事了,不过这个怎么批量提交任务并行,以前跑任务都是按顺序来的

124

帖子

0

威望

777

eV
积分
901

Level 4 (黑子)

发表于 2019-6-11 10:29:19 | 显示全部楼层
biogon 发表于 2019-6-11 09:44
我用的是torque,知道怎么回事了,不过这个怎么批量提交任务并行,以前跑任务都是按顺序来的

我的理解是:
1. np设置(假如是2)小于机器属性里面的np(假如是8)
2. 一个任务,就一个pbs脚本 (方便管理,追踪计算)
3. 如果集群里面有机器没有满负荷(这里涉及到集群负载均衡的设置,可以先试试),上述1里面只有1个任务(2 np),那么你还可以再投2-3个任务。怕满负荷宕机的话,就再投2个,那样你机器里面就是6 np,3个任务并行。

没有满负荷的意思是:假如你有2个节点A和B,(np均是8), 你投2个任务(np均是2), 你看看你第二个任务是到A还是到B. 还可以投4个任务看看pbs是怎么分配的。(0+4, 1+3, 2+2, 3+1, 4+0 ??)
您需要登录后才可以回帖 登录 | 现在注册!

本版积分规则

手机版|北京科音自然科学研究中心|京公网安备 11010502035419号|计算化学公社 — 北京科音旗下高水平计算化学交流论坛 ( 京ICP备14038949-1号 )

GMT+8, 2019-8-26 16:37 , Processed in 0.166171 second(s), 23 queries .

快速回复 返回顶部 返回列表