计算化学公社

标题: 4090+7950x跑gmx功耗过低（只有160w还不到240w），求大佬指点 [打印本页]

作者
Author: moritaichi 时间: 2023-10-23 11:25
标题: 4090+7950x跑gmx功耗过低（只有160w还不到240w），求大佬指点
我做的体系非常小，只有17000原子，固体+盐溶液接触的模型。gmx使用的win系统下sob社长编译好的2020.6gpu版本。
我自己做了三个简单测试，步长2fs，共1e7步（20ns），
gmx mdrun -v -deffnm md 约87分钟，显卡功耗120w左右

gmx mdrun -v -deffnm md -update gpu -bonded gpu -pin on，约42分钟，显卡功耗170w左右

gmx mdrun -v -deffnm md -update gpu -bonded gpu -nb gpu -pme gpu -pin on，约44分钟，显卡功耗162w左右

这是在翻阅sob老师的讲义和参考了熵神http://bbs.keinsci.com/thread-33296-1-1.html帖子后的改动，但仍觉得即使是在win系统下这个速度也太慢了，功耗也过低，我在查阅资料（如图）后得知4090貌似在功率240w时有90%的满载性能，在此之前几乎时线性的性能增长，这是否由于体系过小才导致如此的呢（我用游戏加加跑显卡压力测试功耗能到350W，英伟达驱动里设置了性能优先）

作者
Author: Entropy.S.I 时间: 2023-10-23 16:30
本帖最后由 Entropy.S.I 于 2023-10-23 16:33 编辑

使用原生Linux。Windows下甚至无法设置CPU affinity，不负责任地推测一下，即使把所有能做的调优都做好（包括本地编译以启用针对sm89的flag、并且-bonded gpu -update gpu），4090实际发挥出来的性能可能连4080都不如。

体系过小也是一个主要原因，我的基准测试起步就是16.9万原子，上到100万乃至1250万原子。

作者
Author: moritaichi 时间: 2023-10-23 22:18

Entropy.S.I 发表于 2023-10-23 16:30
使用原生Linux。Windows下甚至无法设置CPU affinity，不负责任地推测一下，即使把所有能做的调优都做好（包 ...

OK，感谢熵神

作者
Author: moritaichi 时间: 2023-10-26 13:54
我个人又测试了在WSL2中编译gmx2020.6，结果和在win系统下差不多，感觉不是win系统效率太差，应该是系统实在太小了。

作者
Author: Entropy.S.I 时间: 2023-10-26 14:11

moritaichi 发表于 2023-10-26 13:54
我个人又测试了在WSL2中编译gmx2020.6，结果和在win系统下差不多，感觉不是win系统效率太差，应该是系统实 ...

wsl本质上还是Windows，无法设置CPU affinity

作者
Author: Graphite 时间: 2023-10-26 14:56
体系确实太小了，因为不管GPU算多快、有些工作的负载仍然是和体系结构刷新速度有关，会因为这部分产生瓶颈。对多数平台大概是500 ns/day（2 fs步长大概3000步/秒）左右开始产生瓶颈。

你这样才1200万atoms × ns / day不到，可以试试把体系扩64倍跑几分钟，看看原子数×速度（ns/day）是多少。

用2 fs，1.0 nm cutoff，常规分子体系，1.0 g/mL左右的密度，4090的至少有4500万atoms × ns / day，3080大概是2000万。

作者
Author: moritaichi 时间: 2023-10-26 18:51

Graphite 发表于 2023-10-26 14:56
体系确实太小了，因为不管GPU算多快、有些工作的负载仍然是和体系结构刷新速度有关，会因为这部分产生瓶颈 ...

大佬，我刚刚想试试换个大体系，就建了个50*50*50nm的纯水立方盒子，大概1200万原子，奇怪的是每次gmx mdrun -v -deffnm md -update gpu -bonded gpu -pin on后都出现了错误提示，这个错误提示无论是win下的gmx还是WSL2下的gmx都一样，说是GPU没有负载上计算任务：

Program: gmx mdrun, version 2020.6
Source file: src/gromacs/taskassignment/decidegpuusage.cpp (line 482)
Function: bool gmx::decideWhetherToUseGpusForBonded(bool, bool, gmx::TaskTarget, bool, bool, bool, int, bool)

Inconsistency in user input:
Bonded interactions on the GPU were required, but not supported for these
simulation settings. Change your settings, or do not require using GPUs.

For more information and tips for troubleshooting, please check the GROMACS
website at http://www.gromacs.org/Documentation/Errors

我又去试了17000个原子的小体系，是可以计算的，我就很困惑，什么原因导致了GPU不启用呢

作者
Author: moritaichi 时间: 2023-10-26 18:52

Entropy.S.I 发表于 2023-10-26 14:11
wsl本质上还是Windows，无法设置CPU affinity

感谢熵神，WSL2琢磨完了就给这台机子装linux

作者
Author: Graphite 时间: 2023-10-26 21:50

moritaichi 发表于 2023-10-26 18:51
大佬，我刚刚想试试换个大体系，就建了个50*50*50nm的纯水立方盒子，大概1200万原子，奇怪的是每次gmx md ...

你的mdp里面或者top文件里面一些设置跟-bonded gpu冲突，先这样测一下看看：
export OMP_NUM_THREADS=<总线程数或略小于总线程数>
gmx mdrun -v -ntmpi 1 -ntomp <上面那个值> -nb gpu -pme gpu -update gpu -pin on -deffnm <名称>

gmx mdrun性能调优还是有一定深度的，之后批量上任务建议先仔细看看gmx document。
另外建议早日升级到2023版gmx，这两年加速和硬件支持还是有不小更新、改动的。

作者
Author: moritaichi 时间: 2023-10-26 22:56

Graphite 发表于 2023-10-26 21:50
你的mdp里面或者top文件里面一些设置跟-bonded gpu冲突，先这样测一下看看：
export OMP_NUM_THREADS=
...

非常感谢大佬，我明后两天再来重装一个新版的gmx试试。
现在初步跑了一个10W原子的水盒子，cut-off用的1.2，在win原生gmx下，export OMP_NUM_THREADS=12命令提示无效，不过gmx mdrun -v -ntmpi 1 -ntomp 12 -nb gpu -pme gpu -update gpu -pin on -deffnm md命令下，大概有3000W原子*ns/day。这个状态下显卡功耗成功拉到了250W。WSL2与WIN原生的速度也几乎没有任何区别（显卡也成功被拉到250w）。
我本想跑大一点的，90W原子的体系（20nm的立方体水盒子）就完全卡在step 0 不动了，也很诡异。

作者
Author: moritaichi 时间: 2023-10-26 23:18

Graphite 发表于 2023-10-26 21:50
你的mdp里面或者top文件里面一些设置跟-bonded gpu冲突，先这样测一下看看：
export OMP_NUM_THREADS=
...

太诡异了，再用gmx mdrun -v -ntmpi 1 -ntomp 12 -nb gpu -pme gpu -update gpu -pin on -deffnm md跑10W原子水盒子这个体系也是到step 0 就自动终止了，完全蒙了

。

作者
Author: Graphite 时间: 2023-10-27 20:23
本帖最后由 Graphite 于 2023-10-27 20:24 编辑

moritaichi 发表于 2023-10-26 23:18
太诡异了，再用gmx mdrun -v -ntmpi 1 -ntomp 12 -nb gpu -pme gpu -update gpu -pin on -deffnm md跑10W ...

可能跟体系有关系，也可能跟硬件、操作系统有关系。建议先从头读读gmx文档中对mdrun和性能调优的页面。这些指令只是按钮，关键得了解机器（程序、算法）背后是怎么运作的。如果要排除软件和系统因素，可以先去租半天卡（也就几十块钱），试下原生linux、正常安装最新gpu加速版gmx的运作情况。

作者
Author: moritaichi 时间: 2023-10-27 20:49

Graphite 发表于 2023-10-27 20:23
可能跟体系有关系，也可能跟硬件、操作系统有关系。建议先从头读读gmx文档中对mdrun和性能调优的页面。这 ...

OK，谢谢老师，您的建议对我帮助十分大

欢迎光临计算化学公社 (http://bbs.keinsci.com/)