请问这样MD配置是否合理

benjaminzhen

求助，服务器小白，预算5-6w，想配一台做分子模拟（主要是gromacs、amber、autodock vina等）中等偏上的服务器，主要做的是大分子如淀粉蛋白脂质等之间的相互作用，想缩短跑完一个体系的时间，老师咨询了一家公司，也私下谈了下，请问这样的配置合理吗？显卡有必要3090吗，3080ti是否就足够，还有哪方面可以提升下，谢谢各位专家指点。

Entropy.S.I

3090不合适，除非你们组以后要搞机器学习方向。双路CPU带一块显卡完全是浪费，GMX这种软件在用GPU加速时如果跨了CPU，效率暴降。你们预算上限6w，所以可以改成3080Ti*2，分别插在7920机箱顶部和底部两个PCIE Zone，但这时候功耗比较夸张，需要把机箱风扇转速拉高。我们实验室有3台7920，风扇拉到30%以上噪音就非常大了。
内存应该换成16GB*8，预算足够就16GB*12，这样可以用满12根内存通道。
RAID卡毫无必要，除非你们以后还要插很多很多硬盘，但这种需求建议专门买一台NAS服务器配合40G内网使用，可以把多台计算服务器挂载到NAS上，这样计算服务器只要有一块小SSD作为系统盘就够（仅限于实验室有很多计算服务器的情况）。
关于价格，以你现在的配置单，如果走政府采购，这个价格很不错，否则直接不建议买品牌工作站整机。

Entropy.S.I

另外，看到你们的需求是要让一个任务尽可能地快，如果跑的是GMX，可以调整并行参数，让2张显卡和2颗CPU跑一个任务，一般来说-ntmpi 8 -ntomp6 -pme gpu -npme 1这个参数比较合适，大约能到单卡1.8倍的速度。

牧生

Entropy.S.I 发表于 2021-11-27 23:15
3090不合适，除非你们组以后要搞机器学习方向。双路CPU带一块显卡完全是浪费，GMX这种软件在用GPU加速时如 ...

1. 双路CPU带一块显卡完全是浪费，GMX这种软件在用GPU加速时如果跨了CPU，效率暴降。

复制代码

双路CPU带一块显卡，以及跨了CPU，我该怎么理解啊。比如我机子是6149 双路，单U是16核32线程，双路就是32核64线程了，且有两个显卡。。
我平时用的命令是gmx mdrun -deffnm md -v -ntomp 10 -ntmpi 1 -pinoffset 10 -gpu_id 0  ，那么，此时pinoff锁定了10线程，这样就不算跨CPU的吧，但GPU利用率最高只有60%多，有没有什么办法将性能尽量榨干？
如果跨U，那么，能否给出一个命令演示一下，设置多少才是跨U？

1. 让2张显卡和2颗CPU跑一个任务，一般来说-ntmpi 8 -ntomp6 -pme gpu -npme 1

复制代码

如果我用2张显卡和2颗CPU跑一个任务，那么，gmx mdrun -deffnm md -v -ntmpi 8 -ntomp 6 -pme gpu -npme 1   这个命令就行了吗？？   

Entropy.S.I

牧生 发表于 2021-11-28 21:12
双路CPU带一块显卡，以及跨了CPU，我该怎么理解啊。比如我机子是6149 双路，单U是16核32线程，双路就是 ...

你这条命令问题很大

我平时用的命令是gmx mdrun -deffnm md -v -ntomp 10 -ntmpi 1 -pinoffset 10 -gpu_id 0

1. 没有加-pin on
2. 仔细看看pinoffset的用法和含义，你用错了，跨了CPU，效率严重降低

我记得你的卡是3090，这卡拿来跑GMX非常非常吃CPU。我有一张3080Ti，浮点性能和3090差不多（低3-4%），用性能是你6149两倍的5950X并用满32线程才勉强能发挥出75-80%。为了不跨CPU，你应该用-nt 16 -pin on -gpu_id 0，也可以试试-nt 32 -pin on -pinstride 1 -gpu_id 0，这样可以用满CPU0（gmx检测到超线程会把pinstride设为2）

推荐安装htop，可以直观地看到CPU每一逻辑线程的占用情况，后面一半的线程是超线程。

gmx使用GPU加速还有很多坑，比如线程编号和系统不一致，gpu编号和系统不一致（两gpu型号相同则无此问题），具体的情况很难用三言两语描述。。但这些都会实打实影响效率。

你这是16*2核的CPU，所以不能用-ntmpi 8 -ntomp 6，可以从-ntmpi 8 -ntomp 4开始，增加或减少MPI RANK来测试速度。

不知道你两张卡型号是不是一样的，如果不是，那跑一个任务的时候调教起来真的很麻烦，可能还要用到-gputasks来均衡负载。。

牧生

Entropy.S.I 发表于 2021-11-28 22:31
你这条命令问题很大

1. 没有加-pin on

感谢。-pin on以后，速度有明显提升，现在用的命令是gmx mdrun -deffnm md -v -ntomp 10 -ntmpi 1 -pinoffset 10 -pin  on -gpu_id 0

我的两个卡是1080TI和3090，偶尔还需要一部分CPU跑一下ORCA或者高斯。。

我已经不记得什么时候开始，-ntmpi 只能设为10，多了或者少了都要报错。现在机子上已经设置好了很多软件，也实在懒得折腾了，能水水就可以了，完成单位考核就行，我也不完全靠这个过日子。就这样保持现状吧，累了。   摊手手

Entropy.S.I

牧生 发表于 2021-11-29 09:03
感谢。-pin on以后，速度有明显提升，现在用的命令是gmx mdrun -deffnm md -v -ntomp 10 -ntmpi 1 -pinof ...

还是不对，应该去掉-pinoffset选项，gmx会调用0-9线程。你现在的参数，gmx调用的是10-19线程，其中16-19线程是第二颗CPU的，你这样跨了CPU，性能受到很大影响。
1080Ti和3090的话，就不必搞两卡并行了，负载均衡很难调，相对于单3090能提升的速度也不多

牧生

Entropy.S.I 发表于 2021-11-29 09:26
还是不对，应该去掉-pinoffset选项，gmx会调用0-9线程。你现在的参数，gmx调用的是10-19线程，其中16-19 ...

谢谢提醒。
但经过我的实际测试，加-pin on，速度确实有提升，但加不加-pinoffset，没有实质性变化，速度不变，GPU利用率不变。

Entropy.S.I

牧生 发表于 2021-11-29 09:43
谢谢提醒。
但经过我的实际测试，加-pin on，速度确实有提升，但加不加-pinoffset，没有实质性变化，速 ...

在双路共32核CPU的计算机中，
对于操作系统：0-15是第1颗CPU；16-31是第2颗CPU；32-47是第1颗CPU超线程；48-63是第2颗CPU超线程。
对于GMX：0、2、4、6...28、30是第一颗CPU；1、3、5、7...29、31是第1颗CPU超线程；32、34、36...60、62是第2颗CPU；33、35、37...61、63是第2颗CPU超线程

牧生

Entropy.S.I 发表于 2021-11-29 09:56
在双路CPU的计算机中，
对于操作系统：0-15是第1颗CPU；16-31是第2颗CPU；32-47是第1颗CPU超线程；48-63 ...

小本本记下，感谢大佬的帮助。。希望我可以改改设置，让速度可以进一步提升。

Entropy.S.I

牧生 发表于 2021-11-29 09:43
谢谢提醒。
但经过我的实际测试，加-pin on，速度确实有提升，但加不加-pinoffset，没有实质性变化，速 ...

跨了CPU速度却没有下降，这有点奇怪，会不会是因为你的3090没有插在CPU0引出的PCIE插槽上？
另外，强烈建议解决一下只能用10线程的问题，这影响太大了。这个问题解决了，你可以试试-nt 32 -pinstride 1，让CPU0的所有线程全部用满，这样应该还能把3090的性能再榨出来一点。
我现在5950X & 3080Ti跑14万原子的体系，非键相互作用cutoff半径1.4，步长2fs，用满32线程，速度80ns/d左右，GPU利用率78%，功耗370W（由于是次旗舰非公卡，七彩虹ADOC，功耗墙被我拉到了400W），频率1980MHz

snljty

牧生 发表于 2021-11-29 09:59
小本本记下，感谢大佬的帮助。。希望我可以改改设置，让速度可以进一步提升。

关于pinoffset参数和htop显示，分享一个图吧。前面的%CPU和%NProcShared是针对Gaussian讲的，主要是为了展示htop命令的输出示意。这是按照双路服务器做的示意图。

Entropy.S.I

snljty 发表于 2021-11-29 10:14
关于pinoffset参数和htop显示，分享一个图吧。前面的%CPU和%NProcShared是针对Gaussian讲的，主要是 ...

GMX有个很傻的问题，如果有多块不同架构的GPU，则GPU编号不会按驱动里面的来，而是按compute cap从大到小排序（架构越新compute cap的值越大）。这个情况我上个月才发现。由于这个情况的存在，为了让驱动中的编号和GMX的编号一致，我们插GPU的位置也得注意。

snljty

Entropy.S.I 发表于 2021-11-29 10:21
GMX有个很傻的问题，如果有多块不同架构的GPU，则GPU编号不会按驱动里面的来，而是按compute cap从大到小 ...

这个我没考虑过...谢谢指教。
不过硬件为什么要这么配置，这不是给自己添麻烦嘛...

牧生

Entropy.S.I 发表于 2021-11-29 10:06
跨了CPU速度却没有下降，这有点奇怪，会不会是因为你的3090没有插在CPU0引出的PCIE插槽上？
另外，强烈 ...

感谢大佬。
机箱里同时插上了1080TI和3090。靠近CPU那边插上3090，其次才能插上1080TI。。刚好且必须只能插在那个位置，无法交换位置，否则空间就不够了。我尝试一下如何解决只能10线程的问题。