AMD EPYC 7742服务器运行Gaussian 09效率问题求助！

hgp2006 · 发表于 Post on 2021-3-31 10:49:40

按照Sob大神的推荐，最近配置了一个服务器，2颗AMD EPYC 7742，共128核。16条32G三星DDR4内存。最近运行Gaussian09任务的时候发现很奇怪，每次同时提交4个任务，每个任务32核64G内存，老是发现第一个提交的任务运行很快，第二个很慢，然后第三个又很快，第四个很慢。做测试同时提交4个相同的任务也是这种情况，各位大神有没有遇到过这种情况！！

biogon · 发表于 Post on 2021-4-28 17:29:09

喵星大佬发表于 2021-4-6 22:20
高斯输入文件本身就可以用%cpu编号钉死

但是G09不支持

abin · 发表于 Post on 2021-4-28 09:33:09

单机上简单搞一个slurm，直接通过cgroup绑定CPU编号。
然后就踏实了。

openPBS也是支持的。

喵星大佬 · 发表于 Post on 2021-4-6 22:20:21

beowulf 发表于 2021-4-1 21:40
这货是openmp并行的吧，拿likwid 钉死试试看。likwid是个小工具，自行编译一下就好安装了。
likwid = li ...

高斯输入文件本身就可以用%cpu编号钉死

beowulf · 发表于 Post on 2021-4-1 21:40:03

本帖最后由 beowulf 于 2021-4-1 21:41 编辑

hgp2006 发表于 2021-3-31 22:40
已经安装Gaussian16试过了，还是相同问题！

这货是openmp并行的吧，拿likwid 钉死试试看。likwid是个小工具，自行编译一下就好安装了。
likwid = likely I know what I am doing

灰飞的旋律 · 发表于 Post on 2021-4-1 17:04:06

beowulf 发表于 2021-3-31 13:01
想办法把任务钉扎在固定的cpu核心上。

这里再测试用户最多的分子动力学程序GROMACS的情况。版本是2016.3，体系是三万六千原子的蛋白质+水体系，跑100ps动力学。GROMACS的mdrun可以通过-pin on来强制要求CPU核心与mdrun线程绑定，类似于%CPU。下面来看测试结果
开HT，用72核：       87.053 ns/day 99.252s
开HT，用36核：       77.363 ns/day 111.684s
开HT，用36核，-pin on：81.582 ns/day 105.908s
关HT，用36核：       83.199 ns/day 103.85s
关HT，用36核，-pin on：83.164 ns/day 103.893s
转自正确认识超线程(HT)技术对计算化学运算的影响 - 思想家公社的门口：量子化学·分子模拟·二次元  http://sobereva.com/392

灰飞的旋律 · 发表于 Post on 2021-4-1 13:05:18

hgp2006 发表于 2021-3-31 14:13
是的，如果只提交2个任务是正常的，但是128核的服务器不可能只同时算2个任务，一个任务32核已经足够了， ...

两个任务就正常，那应该就是前面4楼和7楼说的原因，经常切换CPU导致的，所以7楼说的想办法把一个任务固定在一个CPU上，我觉得要是可以实现应该就能解决你的问题

一颗赛艇 · 发表于 Post on 2021-4-1 09:14:24

操作系统，各个软件版本，BIOS设置，NUMA设置

你啥都没说……

biogon · 发表于 Post on 2021-4-1 09:06:13

hgp2006 发表于 2021-3-31 22:44
您好！麻烦问一下intel和amd处理器是不是使用的Gaussian 09的版本应该是不一样的？我现在使用的都是ES64L ...

没有，那么老的软件怎么可能有为epyc优化的版本

hgp2006 · 发表于 Post on 2021-3-31 22:44:39

biogon 发表于 2021-3-31 11:05
甭在这么新的cpu用g09，效率相当堪忧，而且g09在用了12核以后并行效率急剧降低，根本没必要给那么多核心

您好！麻烦问一下intel和amd处理器是不是使用的Gaussian 09的版本应该是不一样的？我现在使用的都是ES64L-G09RevE.01版本。

hgp2006 · 发表于 Post on 2021-3-31 22:40:08

qinzhong605 发表于 2021-3-31 22:26
为啥不换成G16呢，有G09版权不影响用G16呀

已经安装Gaussian16试过了，还是相同问题！

qinzhong605 · 发表于 Post on 2021-3-31 22:26:32

为啥不换成G16呢，有G09版权不影响用G16呀

biogon · 发表于 Post on 2021-3-31 20:35:13

k64_cc 发表于 2021-3-31 16:00
我们组有EPYC 7702，之前测的时候觉得应该真就是内存带宽没分配好。
你们也有128核的intel server可以测试 ...

四路机器效率也不行

hgp2006 · 发表于 Post on 2021-3-31 16:52:16

k64_cc 发表于 2021-3-31 16:00
我们组有EPYC 7702，之前测的时候觉得应该真就是内存带宽没分配好。
你们也有128核的intel server可以测试 ...

内存带宽问题是怎么解决的呢？

hgp2006 · 发表于 Post on 2021-3-31 16:50:07

k64_cc 发表于 2021-3-31 16:00
我们组有EPYC 7702，之前测的时候觉得应该真就是内存带宽没分配好。
你们也有128核的intel server可以测试 ...

之前是老的服务器，不是测试速度，是说在intel服务器上从来没遇到过提交几个相同任务还有速度差异这么大的问题

		自动登录 Automatic login	找回密码 Forget password
密码 Password			注册 Register

[综合交流] AMD EPYC 7742服务器运行Gaussian 09效率问题求助！