求助AMBER-18测试GPU加速问题

hhhnano

按照AMBER官方提供的测试软件包测试GPU加速运算速度，两块2080TI计算速度与官方数据接近，但也出现了4个GPU，还有其他问题，仔细检测了AMBER-18安装，并作了测试，发现没有问题，是否官方提供的测试脚本需要结合自己的机器进行修改？官方测试数据。
http://ambermd.org/GPUPerformance.php#RCWBenchmarks

附上计算脚本SH文件

JAC_PRODUCTION_NVE - 23,558 atoms PME 4fs
-----------------------------------------

CPU code 16 cores: |         ns/day =      62.73   seconds/ns =    1377.23
      [0] 1 x GPU: |         ns/day =     990.84   seconds/ns =      87.20
      [1] 1 x GPU: |         ns/day =     974.12   seconds/ns =      88.70
      [2] 1 x GPU: cudaGetDeviceCount failed no CUDA-capable device is detected
|         ns/day =     974.12   seconds/ns =      88.70
      [3] 1 x GPU: cudaGetDeviceCount failed no CUDA-capable device is detected
|         ns/day =     974.12   seconds/ns =      88.70
cudaGetDeviceCount failed no CUDA-capable device is detected
cudaGetDeviceCount failed no CUDA-capable device is detected
Multiple Single GPU Run Performance
      [0] 1 x GPU: |         ns/day =     972.28   seconds/ns =      88.86
      [1] 1 x GPU: |         ns/day =     967.99   seconds/ns =      89.26
      [2] 1 x GPU: grep: mdinfo.1GPU_2: No such file or directory
      [3] 1 x GPU: grep: mdinfo.1GPU_3: No such file or directory
cudaMemcpy GpuBuffer::Download failed an illegal memory access was encountered
          2 x GPU: |         ns/day =     364.00   seconds/ns =     237.36
          4 x GPU: |         ns/day =     192.91   seconds/ns =     447.87
cudaGetDeviceCount failed no CUDA-capable device is detected
cudaMemcpy GpuBuffer::Download failed an illegal memory access was encountered
Multiple 2xGPU Run Performance
      [0,1] 2 x GPU: grep: mdinfo.2GPU_0: No such file or directory
      [2,3] 2 x GPU: grep: mdinfo.2GPU_2: No such file or directory

liuyuje714

修改脚本前面的GPU数和CPU核数啊。

hhhnano

谢谢liuyuje714，我是双CPU（每个CPU28核），两个20280TI显卡，修改了参数如下：
GPU_COUNT=2
CPU_COUNT=28（这里是否修改为56，两颗CPU，56核心），
但是还是有错误出现，而且两个GPU加速计算远比单个GPU加速计算慢，这是什么原因？

JAC_PRODUCTION_NPT - 23,558 atoms PME 4fs
-----------------------------------------

CPU code 28 cores: |         ns/day =      68.90   seconds/ns =    1253.92
      [0] 1 x GPU: |         ns/day =     838.67   seconds/ns =     103.02
      [1] 1 x GPU: |         ns/day =     886.49   seconds/ns =      97.46
Multiple Single GPU Run Performance
      [0] 1 x GPU: |         ns/day =     857.28   seconds/ns =     100.78
      [1] 1 x GPU: |         ns/day =     886.67   seconds/ns =      97.44
          2 x GPU: |         ns/day =     285.90   seconds/ns =     302.21
Multiple 2xGPU Run Performance
      [0,1] 2 x GPU: |         ns/day =     297.59   seconds/ns =     290.33

JAC_PRODUCTION_NVE - 23,558 atoms PME 2fs
-----------------------------------------

CPU code 28 cores: |         ns/day =      38.30   seconds/ns =    2256.10
      [0] 1 x GPU: |         ns/day =     510.40   seconds/ns =     169.28
      [1] 1 x GPU: |         ns/day =     513.35   seconds/ns =     168.31
Multiple Single GPU Run Performance
      [0] 1 x GPU: |         ns/day =     508.17   seconds/ns =     170.02
      [1] 1 x GPU: |         ns/day =     509.15   seconds/ns =     169.69
cudaMemcpy GpuBuffer::Download failed an illegal memory access was encountered
          2 x GPU: |         ns/day =     153.21   seconds/ns =     563.94
Multiple 2xGPU Run Performance
      [0,1] 2 x GPU: |         ns/day =     148.43   seconds/ns =     582.08

JAC_PRODUCTION_NPT - 23,558 atoms PME 2fs
-----------------------------------------

CPU code 28 cores: |         ns/day =      38.49   seconds/ns =    2244.69
      [0] 1 x GPU: |         ns/day =     460.04   seconds/ns =     187.81
      [1] 1 x GPU: |         ns/day =     462.64   seconds/ns =     186.76
Multiple Single GPU Run Performance
      [0] 1 x GPU: |         ns/day =     459.35   seconds/ns =     188.09
      [1] 1 x GPU: |         ns/day =     453.62   seconds/ns =     190.47
          2 x GPU: |         ns/day =     139.81   seconds/ns =     617.96
Multiple 2xGPU Run Performance
      [0,1] 2 x GPU: |         ns/day =     134.95   seconds/ns =     640.26

FACTOR_IX_PRODUCTION_NVE - 90,906 atoms PME

abdoman

hhhnano 发表于 2020-6-17 15:10
谢谢liuyuje714，我是双CPU（每个CPU28核），两个20280TI显卡，修改了参数如下：
GPU_COUNT=2
CPU_COUNT= ...

2个gpu间的数据交换要通过cpu来完成。
如果没有NCCL，建议就是单任务，单显卡（也是amber推荐的）。

hhhnano

谢谢abdoman, NCCL安装需要配NVlink吗？还是直接装NCCL就可以？