计算化学公社

标题: 服务器使用mpirun提交新任务会影响在运行任务的计算速度。 [打印本页]

作者
Author: Shana 时间: 2023-2-18 15:04
标题: 服务器使用mpirun提交新任务会影响在运行任务的计算速度。
请教各位老师，小弟买了一台塔式服务器，两颗cpu，共128核。安装了intel parallel studio 和vasp。在使用mpirun提交任务的时候，发现一个问题。比如，我先提交32核的vasp任务，每一个电子步大概是20s，之后再提交一次32核的同样任务，两个任务的电子步就会变成30s一步，计算时间增加了。这是什么原因引起的？原则上来说，两个任务一起运行，才占用了50%的cpu，不至于会出现这个问题啊。

作者
Author: zjxitcc 时间: 2023-2-18 15:26
我能想到的是两种因素：（1）硬盘读写毕竟还是存在竞争关系的；（2）CPU内核没绑定。要不试试内核绑定看看效果？
《通过设置CPU内核绑定降低ORCA同时做多任务的耗时》http://sobereva.com/553

作者
Author: 牧生 时间: 2023-2-18 15:40
本帖最后由牧生于 2023-2-18 15:50 编辑

我只晓得，指定线程数在不超过单个CPU物理核心的情况下，即使不绑定CPU内核，用双CPU跑两个gmx/orca任务，聪明的gmx/orca会自动让两个CPU分别跑一个任务，不会出现同一个核，跑两个任务的情况。
以上情况供参考，按理说，vasp也不会这么不智能啊。你看一下跑两个任务的时候，有多少个核在工作，是否出现了一个核在跑两个任务的情况。如果出现了一个核跑两个任务的情况，那么，就要绑定CPU核了

作者
Author: abin 时间: 2023-2-18 15:48
没什么操作技能的话，
用个workload manager,
比如slurm 之类。

自己看英文手册，不瞎理解的话，
几个小时也可以搞定。

不想折腾的话，用我提供的自动配置工具。

https://gitee.com/hpc4you/hpc
https://hpc4you.github.io

作者
Author: Shana 时间: 2023-2-18 16:59

zjxitcc 发表于 2023-2-18 15:26
我能想到的是两种因素：（1）硬盘读写毕竟还是存在竞争关系的；（2）CPU内核没绑定。要不试试内核绑定看看 ...

好的，谢谢指导

作者
Author: Shana 时间: 2023-2-18 17:00

牧生发表于 2023-2-18 15:40
我只晓得，指定线程数在不超过单个CPU物理核心的情况下，即使不绑定CPU内核，用双CPU跑两个gmx/orca任务， ...

好的，多谢指导

作者
Author: Shana 时间: 2023-2-18 17:00

abin 发表于 2023-2-18 15:48
没什么操作技能的话，
用个workload manager,
比如slurm 之类。

好的，谢谢指导

作者
Author: hersvim 时间: 2023-2-18 19:55
先看一下，两个任务是不是各自分配到两颗U。
1. 如果挤在一颗U上，active core从未满到满了，的确是会影响睿频的，不过一般能有个10-20%的影响，不会有50%的影响。
2. 如果各自在两颗U工作，理论上不会有很大的影响。

可以试试16*2的情况，是不是相差很大。

作者
Author: hersvim 时间: 2023-2-18 19:58
另外你确定是128核，而不是超线程后的128假核？
市面上双路达到128物理核的只有AMD EPYC 3代的最高型号及其系列马甲

作者
Author: bluewhale 时间: 2023-2-18 20:31
可以参考这里关于process pinning:
https://www.intel.com/content/ww ... rocess-pinning.html

作者
Author: Shana 时间: 2023-2-23 20:45

hersvim 发表于 2023-2-18 19:58
另外你确定是128核，而不是超线程后的128假核？
市面上双路达到128物理核的只有AMD EPYC 3代的最高型号及 ...

是AMD的cpu，物理核心确实是128

作者
Author: Shana 时间: 2023-2-23 20:46

bluewhale 发表于 2023-2-18 20:31
可以参考这里关于process pinning:
https://www.intel.com/content/www/us/en/develop/documentation/mpi- ...

好的，感谢

欢迎光临计算化学公社 (http://bbs.keinsci.com/)