计算化学公社

标题: amber18的GPU并行测试：4*Nvidia tesla V100与单卡速度比较 [打印本页]

作者
Author: ChaosChiao 时间: 2020-2-6 17:27
标题: amber18的GPU并行测试：4*Nvidia tesla V100与单卡速度比较
本帖最后由 ChaosChiao 于 2020-2-6 17:31 编辑

之前发帖测试了amber在CPU下的并行效率，可以用惨来形容。
今天使用了天河二号的GPU节点来进行MD。
软件环境：intel编译器，impi，amber18(ambertools19), cuda10
硬件环境：tesla v100 * 4，Gold 6132 64G内存
计算体系：总原子数 260335

(, 下载次数 Times of downloads: 274)

之后测试了一下单卡v100下的计算效率： (, 下载次数 Times of downloads: 288)

在多了3张卡的情况下，速度仅从70ns提升到87ns，可以说性价比极低了。
如无必要，请尽量避免采用多GPU并行。

除非是我这种超算资源，一个节点4个卡，独占式计费，单卡价格=4卡价格……

另：
经过测试，tesla V100速度远高于RTX2080ti
图我就不放了，RTX2080TI，25万原子体系，速度大概是49ns/day。
而26万原子体系在v100下可以达到70ns/day，这个速度可以说是相差甚远了。

作者
Author: biogon 时间: 2020-2-6 18:01
这个加速比也太惨了，另外gmx的专业卡下的表现有测试吗

作者
Author: ChaosChiao 时间: 2020-2-6 18:15

biogon 发表于 2020-2-6 18:01
这个加速比也太惨了，另外gmx的专业卡下的表现有测试吗

目前木有gmx，有空测一下。

作者
Author: abdoman 时间: 2020-2-6 19:50
这个与官网的benchmark差距有点大哦
Cellulose 体系，408,609 atoms，NPT，用v100， 1x 都83.9.
"In order to get the best performance out of V100 and Titan V, we used a special compilation with -volta when configuring the Amber installation. "
http://ambermd.org/GPUPerformance.php

多gpu 的时候，有没有NVLINK ？
看官网多GPU的并行都很少，推荐的是单任务单GPU。
多GPU的话，不知道是不是得上NVLINK。

作者
Author: ChaosChiao 时间: 2020-2-6 20:02

abdoman 发表于 2020-2-6 19:50
这个与官网的benchmark差距有点大哦
Cellulose 体系，408,609 atoms，NPT，用v100， 1x 都83.9.
"In or ...

官网的热浴用的跟我的不一样，官网那个热浴太非主流。

作者
Author: Jasminer 时间: 2020-2-7 11:33
tesla V100比RTX2080ti快这么多？不应该啊……
不过这是好事啊，对得起它的价格，虽然我用不起

作者
Author: heroooo 时间: 2020-2-9 01:34
本帖最后由 heroooo 于 2020-2-9 01:39 编辑

请问楼主，现在有个4U的机子，有2张rtx2080ti，请问怎么安装amber18呢？
可以用ubuntu18.04 系统吗，需要用cuda10吗，以前安装过amber18，好像提示只支持cuda9。能否推荐一下楼主用的配置。
1、用什么系统
2、CUDA版本
3、怎么同时用两个显卡呢。或者增加新的4U机箱，怎么同时用4个rtx2080ti呢

谢谢！

作者
Author: ChaosChiao 时间: 2020-2-12 11:25

heroooo 发表于 2020-2-9 01:34
请问楼主，现在有个4U的机子，有2张rtx2080ti，请问怎么安装amber18呢？
可以用ubuntu18.04 系统吗，需要 ...

我用的centos。ambertools18支持CUDA9，19可以支持CUDA10。同时用多个卡需要安装pmemd.cuda.MPI，参照手册的安装说明一步步来就行。
个人电脑用4个卡还是悠着点，4个卡得2000W电源吧，你的电源跟散热扛得住吗？

作者
Author: 知黑守白 时间: 2020-8-31 14:53
请教楼主！！！您是如何安装成功调用两块显卡的呀？！！！
我新装了cent os7.8系统，在此基础上安装好了amber18的串行版，并行版，GPU版本和GPU并行版本，对应的运行指令为pmemd.mpi、pmemd.cuda 、pmemd.cuda.mpi
串行版，单cuda版运行无任何问题
运行并行版pmemd.mpi的时候报错，但是前面加上mpirun -np 8 -allow-run-as-root 之后，八核的并行任务就可以跑起来了
本来我以为相应地对pmemd.cuda.mpi再额外加上类似 -gpu 2（我使用了两块GPU）就可以实现GPU同时运算了，但是还是报了和之前一样的错误
能否请您指点一下，该如何添加指令才能使pmemd.cuda.mpi成功运行啊
cuda版本为10.2
openmpi版本为 1.8.8

感谢！！！！！

ps：我试了mpirun -np 2 --allow-run-as-root pmemd.cuda.MPI 还是报错，无法调用两块GPU运算

作者
Author: bobosiji 时间: 2020-8-31 17:46
“除非是我这种超算资源，一个节点4个卡，独占式计费，单卡价格=4卡价格……”
应该有办法一个节点同时跑4个任务，一个任务用不同显卡的吧？
真不成申请到节点后，直接ssh上计算节点同时跑多个任务，一个任务指定不同显卡（这个gmx应该可以）？

作者
Author: ChaosChiao 时间: 2020-9-1 16:02

bobosiji 发表于 2020-8-31 17:46
“除非是我这种超算资源，一个节点4个卡，独占式计费，单卡价格=4卡价格……”
应该有办法一个节点同时跑 ...

超算不允许这样

作者
Author: ChaosChiao 时间: 2020-9-4 17:13

知黑守白发表于 2020-8-31 14:53
请教楼主！！！您是如何安装成功调用两块显卡的呀？！！！
我新装了cent os7.8系统，在此基础上安装好了am ...

最好不要用root安装

作者
Author: fhh2626 时间: 2020-9-4 17:39

ChaosChiao 发表于 2020-2-6 20:02
官网的热浴用的跟我的不一样，官网那个热浴太非主流。

测试的话建议用Bussi-Parrinello热浴，用Berendsen热浴的结果确实没什么参考价值

作者
Author: chenbq18 时间: 2021-9-3 16:26
小白请教，这个节点计费是怎么回事，看的云里雾里

作者
Author: boinboinxu 时间: 2023-12-8 16:48

知黑守白发表于 2020-8-31 14:53
请教楼主！！！您是如何安装成功调用两块显卡的呀？！！！
我新装了cent os7.8系统，在此基础上安装好了am ...

请问你是怎么安装的呀？可否出个教程？

作者
Author: 知黑守白 时间: 2023-12-21 14:16

boinboinxu 发表于 2023-12-8 16:48
请问你是怎么安装的呀？可否出个教程？

amber吗，建议去白嫖新版的，现在安装都很简单，只需要改cmake文件就行了

作者
Author: boinboinxu 时间: 2023-12-21 16:34

知黑守白发表于 2023-12-21 14:16
amber吗，建议去白嫖新版的，现在安装都很简单，只需要改cmake文件就行了

谢谢回复，安装完amber18才发现GPU加速版的与我的显卡不兼容……

欢迎光临计算化学公社 (http://bbs.keinsci.com/)