CentOS下GPU加速版QE的编译安装

喵星大佬

kuangll 发表于 2021-12-6 21:30
还是石墨炔算例，补充一个A100 40GB单卡测试结果， 运行时间284.18s，相比前面V100提升1.6倍。（注：使用了 ...

如果仅以这个例子的速度来看，一块A100近6W，由于跑的时候CPU基本在瞧所以成本上不计入，24核的2678V3加上内存和板子算近8000，近似算8倍价格。即使不考虑并行效率要达到这个速度也要6倍左右，这样看来专业卡的性价比反而并不算低。
按照Nvidia官方的测试，QE在4*A100上能做到相对于2代黄金双路36核15倍的速度提升(SXM版，4*PCIe版为11倍)

其实在Gromacs的时候发现了，按照官方的测试，A100的速度明显快于A40(A6000)，所以显然也快与3090，多卡并行方面更加明显，显然是因为更好的NVLink的优势，跑单任务速度扩展性相对于一般游戏卡好得多。当然价格肯定还是高的多的，就看手头有多少了

相关测试结果可以看这里

https://developer.nvidia.com/hpc-application-performance

hzliew

楼主好，请问一下，为什么我按照您这个方法安装，在configure的时候总是退出啊？提示是：
............
setting LDFLAGS... -g -pthread -fopenmp
checking for Fortran flag to compile .f90 files... (cached) none
checking whether Fortran compiler accepts -Mcuda=cuda11.8... no
configure: error: You do not have the cudafor module. Are you using NVHPC compiler?

tanzicong

hzliew 发表于 2022-11-28 14:32
楼主好，请问一下，为什么我按照您这个方法安装，在configure的时候总是退出啊？提示是：
............
s ...

CUDA环境没有配置好，请检查以下是否已经把nvidia hpc sdk的套件添加到环境变量中。nvcc --version/pgcc --version是否有返回信息？或者改用module来调用cuda 环境。

hzliew

nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2022 NVIDIA Corporation
Built on Wed_Sep_21_10:33:58_PDT_2022
Cuda compilation tools, release 11.8, V11.8.89
Build cuda_11.8.r11.8/compiler.31833905_0
pgcc --version

pgcc (aka nvc) 22.11-0 64-bit target on x86-64 Linux -tp haswell
PGI Compilers and Tools
Copyright (c) 2022, NVIDIA CORPORATION & AFFILIATES.  All rights reserved.

包括nvcc,nvfortran,等等，都有版本显示。
但始终提示出错：
                    Sets the limit of stack variables in a procedure or kernel, in KB
    ptxinfo         Print ptxas information
    [no]unroll      Enable automatic inner loop unrolling (default at -O3)
    [no]managed     Use CUDA Managed Memory
    beta            Enable beta code generation features
    autocompare     Automatically compare OpenACC CPU/GPU results: implies redundant
    redundant       Redundant OpenACC CPU/GPU execution
    [no]implicitsections
                    Implicitly convert array element to array section in OpenMP or OpenACC data clauses
make[1]: *** [../make.inc:16：parallel_include.o] 错误 1
make[1]: 离开目录“/home/hz/Downloads/qe-7.1/UtilXlib”
make: *** [Makefile:209：libutil] 错误 1

不知道是何故？

Santz

hzliew 发表于 2022-11-28 14:32
楼主好，请问一下，为什么我按照您这个方法安装，在configure的时候总是退出啊？提示是：
............
s ...

这个错误大概率是因为./configure使用的还是gfortran，而非nvfortran，尽量使用最新的nvhpc。在./configure之前确保已加载了nvhpc。

1. module load nvhpc/23.11
   
2. export PATH=/home/software/apps/nvidia/hpc_sdk/23.11/Linux_x86_64/23.11/compilers/bin:$PATH
   
3. export MANPATH=/home/software/apps/nvidia/hpc_sdk/23.11/Linux_x86_64/23.11/compilers/man:$MANPATH
   
4. export PATH=/home/software/apps/nvidia/hpc_sdk/23.11/Linux_x86_64/23.11/comm_libs/mpi/bin:$PATH

复制代码

snljty2

hzliew 发表于 2022-11-28 14:32
楼主好，请问一下，为什么我按照您这个方法安装，在configure的时候总是退出啊？提示是：
............
s ...

参考 13楼 ./configure的参数加上

1. F90=`which pgfortran` CC=`which pgcc` MPIF90=`which mpif90`

复制代码

qchem

snljty 发表于 2021-11-2 17:59
刚编译了一下QE 6.8的GPU版本，借宝地做一下记录。
QE 6.8版本不管是GPU版本还是CPU版本都需要下载一个dev ...

checking version of nvfortran... nvfortran 24.3-0
setting F90... nvfortran
setting MPIF90... nvfortran
checking whether the compiler supports GNU C... yes
checking whether /opt/nvidia/hpc_sdk/Linux_x86_64/24.3/compilers/bin/pgcc accepts -g... yes
checking for /opt/nvidia/hpc_sdk/Linux_x86_64/24.3/compilers/bin/pgcc option to enable C11 features... none needed
setting CC... /opt/nvidia/hpc_sdk/Linux_x86_64/24.3/compilers/bin/pgcc
setting CFLAGS... -O3
using F90... nvfortran
setting FFLAGS... -fast -mp
setting F90FLAGS... -fast -Mcache_align -Mpreprocess -Mlarge_arrays -mp
setting FFLAGS_NOOPT... -O0
setting FFLAGS_NOMAIN... -Mnomain
setting CPP... cpp
setting CPPFLAGS... -P -traditional -Uvector
setting LD... nvfortran
setting LDFLAGS... -mp
checking whether Fortran compiler accepts -cuda -gpu=cuda12.4... no
configure: error: You do not have the cudafor module. Are you using NVHPC compiler?

还是出错呀，请问要怎么办？

snljty2

qchem 发表于 2024-4-2 21:32
checking version of nvfortran... nvfortran 24.3-0
setting F90... nvfortran
setting MPIF90... nvf ...

在源码目录install/configure文件里搜

1. elif test "$pgf_version" != ""

复制代码

，找到后面几行的

1. version=`echo $pgf_version | cut -d ' ' -f2`

复制代码

一句，改成

1. version=`echo $pgf_version | sed 's/(.*) //' | awk '{print $2}'`

复制代码

。然后记住使用的CUDA版本得是对应NvHPC支持的版本，可以尝试用NvHPC自带的CUDA环境。