计算化学公社

 找回密码 Forget password
 注册 Register

通过设置CPU内核绑定降低ORCA同时做多任务的耗时

查看数: 17177 | 评论数: 11 | 收藏 Add to favorites 18
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2020-6-1 14:36

正文摘要:

通过设置CPU内核绑定降低ORCA同时做多任务的耗时Reducing time-consuming of multitasking of ORCA by setting CPU core binding 文/Sobereva@北京科音   2020-Jun-1 1 前言 由于任何程序的并行 ...

回复 Reply

wjc404 发表于 Post on 2024-3-9 22:34:43
最近发现如果同时跑多个ORCA任务,然后每个任务使用多个进程,即使这些任务的总进程数没有超过电脑的物理核心数,也有可能出现这种情况:用top看每个进程的CPU利用率在40%以下(并没有显著IO阻塞)。然后我在ORCA的启动命令中的输入文件路径后面加上"--bind-to none"之后再重新跑所有任务,这时每个进程的CPU利用就接近100%了。应该是默认情况下openmpi给不同的任务分配的CPU核心集合之间有明显重叠导致的。
ljc050512 发表于 Post on 2021-8-27 16:47:06
snljty 发表于 2021-8-27 11:43
mpiexec -help3查看帮助菜单

好滴谢谢,我研究研究
ljc050512 发表于 Post on 2021-8-27 16:46:37
sobereva 发表于 2021-8-27 06:35
这是OpenMPI特有的
MSMPI或许有别的办法,我没研究

谢谢老师~
snljty 发表于 Post on 2021-8-27 11:43:21
ljc050512 发表于 2021-8-26 13:55
老师,请问windows版本的ORCA也能如此通过给出的rankfile设置CPU内核绑定吗?

mpiexec -help3查看帮助菜单
sobereva 发表于 Post on 2021-8-27 06:35:20
ljc050512 发表于 2021-8-26 13:55
老师,请问windows版本的ORCA也能如此通过给出的rankfile设置CPU内核绑定吗?

这是OpenMPI特有的
MSMPI或许有别的办法,我没研究
ljc050512 发表于 Post on 2021-8-26 13:55:02
老师,请问windows版本的ORCA也能如此通过给出的rankfile设置CPU内核绑定吗?
sobereva 发表于 Post on 2020-6-30 00:28:41
风飞 发表于 2020-6-30 00:26
老师,请问windows版本的ORCA快还是Linux下的快?

Linux
风飞 发表于 Post on 2020-6-30 00:26:07
老师,请问windows版本的ORCA快还是Linux下的快?
abin 发表于 Post on 2020-6-2 13:36:43
PBS Pro / Slurm / cgroup 自动锁定资源。
sobereva 发表于 Post on 2020-6-2 08:36:01
exity 发表于 2020-6-2 06:08
精品内容!
能不能说明之前我觉得多给核心,计算时间反而增加并不是错觉

可能不是错觉。
之前我跑一些体系的AIMD,发现10核左右速度最快,给比如18核反倒慢一截。而且ORCA用MPI方式并行,内存消耗得大,对于吃内存厉害的任务,少给核多给内存可能比多给核少给内存更快。
exity 发表于 Post on 2020-6-2 06:08:54
精品内容!
能不能说明之前我觉得多给核心,计算时间反而增加并不是错觉

手机版 Mobile version|北京科音自然科学研究中心 Beijing Kein Research Center for Natural Sciences|京公网安备 11010502035419号|计算化学公社 — 北京科音旗下高水平计算化学交流论坛 ( 京ICP备14038949号-1 )|网站地图

GMT+8, 2024-11-25 10:24 , Processed in 0.493162 second(s), 26 queries , Gzip On.

快速回复 返回顶部 返回列表 Return to list