性能翻倍？RTX4090科学计算之经典MD模拟全面测试

Entropy.S.I

gauss98 发表于 2024-1-19 09:32
感谢博主测试，
问问有没有多卡性能测试？
6卡8卡4090  （D?) 的配置和测试

搭平台成本过高，没测过，也没有必要测。多卡机器每块卡的CPU和通信资源都是独立的。

wangyueda

请问下楼主，我用您的测试集中的体系B在课题组服务器上跑，最高也只能跑91.220 ns/day，与您的最高性能300多ns/day差距较大是为啥？而且我的“-update gpu -bonded gpu”要比“-update gpu”速度快些（前者91.220 ns/day，后者76.52791.220 ns/day）。而且-ntomp=1要比-ntomp>1(8,12,16等)都快，请问下我的问题出在哪？谢谢楼主

我的机器参数：
CPU：AMD EPYC 7402 24-Core Processor
GPU: A100*8

gmx版本信息：

1.   gmx -version
   
2. 
   
3. GROMACS version:    2022.6
   
4. Precision:          mixed
   
5. Memory model:       64 bit
   
6. MPI library:        thread_mpi
   
7. OpenMP support:     enabled (GMX_OPENMP_MAX_THREADS = 128)
   
8. GPU support:        CUDA
   
9. SIMD instructions:  AVX2_256
   
10. CPU FFT library:    fftw-3.3.8-sse2-avx
    
11. GPU FFT library:    cuFFT
    
12. RDTSCP usage:       enabled
    
13. TNG support:        enabled
    
14. Hwloc support:      disabled
    
15. Tracing support:    disabled
    
16. C compiler:         /usr/bin/cc GNU 9.4.0
    
17. C compiler flags:   -mavx2 -mfma -pthread -Wno-missing-field-initializers -fexcess-precision=fast -funroll-all-loops -O3 -DNDEBUG
    
18. C++ compiler:       /usr/bin/c++ GNU 9.4.0
    
19. C++ compiler flags: -mavx2 -mfma -pthread -Wno-missing-field-initializers -fexcess-precision=fast -funroll-all-loops -fopenmp -O3 -DNDEBUG
    
20. CUDA compiler:      /data/soft/cuda-sdk/12.1/bin/nvcc nvcc: NVIDIA (R) Cuda compiler driver;Copyright (c) 2005-2023 NVIDIA Corporation;Built on Tue_Feb__7_19:32:13_PST_2023;Cuda compilation tools, release 12.1, V12.1.66;Build cuda_12.1.r12.1/compiler.32415258_0
    
21. CUDA compiler flags:-std=c++17;--generate-code=arch=compute_50,code=sm_50;--generate-code=arch=compute_52,code=sm_52;--generate-code=arch=compute_60,code=sm_60;--generate-code=arch=compute_61,code=sm_61;--generate-code=arch=compute_70,code=sm_70;--generate-code=arch=compute_75,code=sm_75;--generate-code=arch=compute_80,code=sm_80;--generate-code=arch=compute_86,code=sm_86;--generate-code=arch=compute_89,code=sm_89;--generate-code=arch=compute_90,code=sm_90;-Wno-deprecated-gpu-targets;--generate-code=arch=compute_53,code=sm_53;--generate-code=arch=compute_80,code=sm_80;-use_fast_math;-D_FORCE_INLINES;-mavx2 -mfma -pthread -Wno-missing-field-initializers -fexcess-precision=fast -funroll-all-loops -fopenmp -O3 -DNDEBUG
    
22. CUDA driver:        12.20
    
23. CUDA runtime:       12.10
    

复制代码

提交脚本：

1. #!/bin/bash
   
2. #An example.
   
3. #SBATCH -J wyd-test
   
4. #SBATCH -p normal  # 使用指定的队列
   
5. #SBATCH --qos=normalqos  # 使用normal队列对应的QoS
   
6. #SBATCH --gres=gpu:1  # 使用的GPU卡数
   
7. 
   
8. gmx mdrun -pin on -ntmpi 1 -ntomp 1 -notunepme -bonded gpu -update gpu -v -deffnm B

复制代码

Entropy.S.I

wangyueda 发表于 2024-3-11 17:02
请问下楼主，我用您的测试集中的体系B在课题组服务器上跑，最高也只能跑91.220 ns/day，与您的最高性能300 ...

CPU烂得一蹋糊涂，这种情况下-bonded gpu更快不意外

http://bbs.keinsci.com/thread-39266-1-1.html
看最后一张图，价值不到3000的4060都比你们价值10万多的的A100快

wangyueda

Entropy.S.I 发表于 2024-3-12 10:11
CPU烂得一蹋糊涂，这种情况下-bonded gpu更快不意外，A100能打2080Ti都不错了

好的谢谢楼主，所以我这速度（91.220 ns/day）差不多也是当前配置下的极限了对吧

Entropy.S.I

wangyueda 发表于 2024-3-12 10:32
好的谢谢楼主，所以我这速度（91.220 ns/day）差不多也是当前配置下的极限了对吧

不一定，需要根据CPU架构仔细调优，尽可能减少核间延迟的影响。EPYC 7402每个CCX只有3核，只用3核6线程，把所有omp线程绑定到同一个CCX中可能比用更多核还快。对于这种核间延迟很烂的CPU，1个MPI Rank不建议用很多核

wangyueda

Entropy.S.I 发表于 2024-3-12 10:39
不一定，需要根据CPU架构仔细调优，尽可能减少核间延迟的影响。EPYC 7402每个CCX只有3核，只用3核6线程， ...

好的谢谢楼主，我再试试。

Entropy.S.I

wangyueda 发表于 2024-3-12 11:01
好的谢谢楼主，我再试试。（ps: 刚来课题组有点疑惑采购这机器的人咋想的。。）

外行可能会认为“有GPU就行”，殊不知在科学计算这种小领域，没什么程序能做到让CPU性能不拖累GPU，CPU往往会成为整个计算的瓶颈。底层的优化只有AI行业有充足的人力去做。

tienan0412

请问，4090D和4080如何选择？4090D能不能把贵出的价格值回来呢。

zdworld

13和14代intel缩缸之后性能对齐amd有优势吗