amber18的GPU并行测试：4*Nvidia tesla V100与单卡速度比较

ChaosChiao · 发表于 Post on 2020-2-6 17:27:00

本帖最后由 ChaosChiao 于 2020-2-6 17:31 编辑

之前发帖测试了amber在CPU下的并行效率，可以用惨来形容。
今天使用了天河二号的GPU节点来进行MD。
软件环境：intel编译器，impi，amber18(ambertools19), cuda10
硬件环境：tesla v100 * 4，Gold 6132 64G内存
计算体系：总原子数 260335

之后测试了一下单卡v100下的计算效率：

在多了3张卡的情况下，速度仅从70ns提升到87ns，可以说性价比极低了。
如无必要，请尽量避免采用多GPU并行。

除非是我这种超算资源，一个节点4个卡，独占式计费，单卡价格=4卡价格……

另：
经过测试，tesla V100速度远高于RTX2080ti
图我就不放了，RTX2080TI，25万原子体系，速度大概是49ns/day。
而26万原子体系在v100下可以达到70ns/day，这个速度可以说是相差甚远了。

biogon · 发表于 Post on 2020-2-6 18:01:12

这个加速比也太惨了，另外gmx的专业卡下的表现有测试吗

ChaosChiao · 发表于 Post on 2020-2-6 18:15:58

biogon 发表于 2020-2-6 18:01
这个加速比也太惨了，另外gmx的专业卡下的表现有测试吗

目前木有gmx，有空测一下。

abdoman · 发表于 Post on 2020-2-6 19:50:13

这个与官网的benchmark差距有点大哦
Cellulose 体系，408,609 atoms，NPT，用v100， 1x 都83.9.
"In order to get the best performance out of V100 and Titan V, we used a special compilation with -volta when configuring the Amber installation. "
http://ambermd.org/GPUPerformance.php

多gpu 的时候，有没有NVLINK ？
看官网多GPU的并行都很少，推荐的是单任务单GPU。
多GPU的话，不知道是不是得上NVLINK。

ChaosChiao · 发表于 Post on 2020-2-6 20:02:59

abdoman 发表于 2020-2-6 19:50
这个与官网的benchmark差距有点大哦
Cellulose 体系，408,609 atoms，NPT，用v100， 1x 都83.9.
"In or ...

官网的热浴用的跟我的不一样，官网那个热浴太非主流。

Jasminer · 发表于 Post on 2020-2-7 11:33:28

tesla V100比RTX2080ti快这么多？不应该啊……
不过这是好事啊，对得起它的价格，虽然我用不起

heroooo · 发表于 Post on 2020-2-9 01:34:41

本帖最后由 heroooo 于 2020-2-9 01:39 编辑

请问楼主，现在有个4U的机子，有2张rtx2080ti，请问怎么安装amber18呢？
可以用ubuntu18.04 系统吗，需要用cuda10吗，以前安装过amber18，好像提示只支持cuda9。能否推荐一下楼主用的配置。
1、用什么系统
2、CUDA版本
3、怎么同时用两个显卡呢。或者增加新的4U机箱，怎么同时用4个rtx2080ti呢

谢谢！

ChaosChiao · 发表于 Post on 2020-2-12 11:25:27

heroooo 发表于 2020-2-9 01:34
请问楼主，现在有个4U的机子，有2张rtx2080ti，请问怎么安装amber18呢？
可以用ubuntu18.04 系统吗，需要 ...

我用的centos。ambertools18支持CUDA9，19可以支持CUDA10。同时用多个卡需要安装pmemd.cuda.MPI，参照手册的安装说明一步步来就行。
个人电脑用4个卡还是悠着点，4个卡得2000W电源吧，你的电源跟散热扛得住吗？

知黑守白 · 发表于 Post on 2020-8-31 14:53:03

请教楼主！！！您是如何安装成功调用两块显卡的呀？！！！
我新装了cent os7.8系统，在此基础上安装好了amber18的串行版，并行版，GPU版本和GPU并行版本，对应的运行指令为pmemd.mpi、pmemd.cuda 、pmemd.cuda.mpi
串行版，单cuda版运行无任何问题
运行并行版pmemd.mpi的时候报错，但是前面加上mpirun -np 8 -allow-run-as-root 之后，八核的并行任务就可以跑起来了
本来我以为相应地对pmemd.cuda.mpi再额外加上类似 -gpu 2（我使用了两块GPU）就可以实现GPU同时运算了，但是还是报了和之前一样的错误
能否请您指点一下，该如何添加指令才能使pmemd.cuda.mpi成功运行啊
cuda版本为10.2
openmpi版本为 1.8.8

感谢！！！！！

ps：我试了mpirun -np 2 --allow-run-as-root pmemd.cuda.MPI 还是报错，无法调用两块GPU运算

bobosiji · 发表于 Post on 2020-8-31 17:46:23

“除非是我这种超算资源，一个节点4个卡，独占式计费，单卡价格=4卡价格……”
应该有办法一个节点同时跑4个任务，一个任务用不同显卡的吧？
真不成申请到节点后，直接ssh上计算节点同时跑多个任务，一个任务指定不同显卡（这个gmx应该可以）？

ChaosChiao · 发表于 Post on 2020-9-1 16:02:01

bobosiji 发表于 2020-8-31 17:46
“除非是我这种超算资源，一个节点4个卡，独占式计费，单卡价格=4卡价格……”
应该有办法一个节点同时跑 ...

超算不允许这样

ChaosChiao · 发表于 Post on 2020-9-4 17:13:34

知黑守白发表于 2020-8-31 14:53
请教楼主！！！您是如何安装成功调用两块显卡的呀？！！！
我新装了cent os7.8系统，在此基础上安装好了am ...

最好不要用root安装

fhh2626 · 发表于 Post on 2020-9-4 17:39:46

ChaosChiao 发表于 2020-2-6 20:02
官网的热浴用的跟我的不一样，官网那个热浴太非主流。

测试的话建议用Bussi-Parrinello热浴，用Berendsen热浴的结果确实没什么参考价值

chenbq18 · 发表于 Post on 2021-9-3 16:26:43

小白请教，这个节点计费是怎么回事，看的云里雾里

boinboinxu · 发表于 Post on 2023-12-8 16:48:06

知黑守白发表于 2020-8-31 14:53
请教楼主！！！您是如何安装成功调用两块显卡的呀？！！！
我新装了cent os7.8系统，在此基础上安装好了am ...

请问你是怎么安装的呀？可否出个教程？

		自动登录 Automatic login	找回密码 Forget password
密码 Password			注册 Register

[超级计算机] amber18的GPU并行测试：4*Nvidia tesla V100与单卡速度比较

评分 Rate