计算化学公社

 找回密码 Forget password
 注册 Register
Views: 1904|回复 Reply: 1

[Quantum ESPRESSO] QE GPU版本使用【持续更新】

[复制链接 Copy URL]

6

帖子

0

威望

116

eV
积分
122

Level 2 能力者

发表于 Post on 2021-12-6 00:29:10 | 显示全部楼层 Show all |阅读模式 Reading model
本帖最后由 kuangll 于 2022-5-6 08:47 编辑

      近期关注到Quantum Espresso (QE) 的GPU版本的一些安装、使用和测试。在网上搜了下,国内关于GPU版本的使用只有量子化学公社里面两篇帖子(@喵星大佬@MilkTeaLegend )还有知乎上的一篇。可能还是QE的用户群体相对少很多。这里记录一下个人测试的一些情况,以供大家交流。      
  • 容器方式
      从QE 6.6a1版本开始,就可以从NVIDIA NGC目录 (目前更新到qe-6.8) 上获取QE的容器镜像来方便地使用GPU版本。实际上,在NGC QE页面上就详细比较详细介绍了QE容器镜像的使用方法,包括直接在物理机上运行docker容器、使用Slurm调度方式运行容器。(大家可以直接参考NGC 页面 Overview中的步骤,如果有需要我再在这里加上)

  • 源码安装
      下载源码安装的方式是之前提到的几个帖子中主要的使用方式。推荐使用NVIDIA HPC SDK软件包进行安装,因为它包含了所有需要的编译器、数学库和通讯库(包括nvfortran、CUDA、cuFFT、cuBLAS、cuSolver、OpenMPI等等),这样只需要安装HPC SDK,就能够编译QE GPU版本了。

      1)HPC SDK安装

从NVIDIA官网软件页面下载HPC 软件包(根据实际环境选择版本),下载的时候会提示安装步骤,如下所示:
  1. $ wget https://developer.download.nvidia.com/hpc-sdk/21.9/nvhpc_2021_219_Linux_x86_64_cuda_11.4.tar.gz
  2. $ tar xpzf nvhpc_2021_219_Linux_x86_64_cuda_11.4.tar.gz
  3. $ nvhpc_2021_219_Linux_x86_64_cuda_11.4/install
复制代码
     注意:执行install安装的时候根据提示选择安装路径。

        2)QE 编译安装
         # 下载源码
  1. $ git clone https://gitlab.com/QEF/q-e-gpu.git --branch qe-gpu-6.8
复制代码
         # 加载环境
  1. $ module load nvhpc/21.9
  2. $ CUDADIR=/opt/nvidia-hpc-sdk/Linux_x86_64/20.9/cuda
复制代码
         # 配置
  1. $ ./configure --with-cuda=$CUDADIR --with-cuda-runtime=11.4 --with-cuda-cc=70 --enable-openmp --with-scalapack=no LIBS="-L$CUDADIR/../math_libs/lib64 -L$CUDADIR/lib64/stubs/"
复制代码
         # 编译
  1. $ make pw -j 8
复制代码
         # 运行
  1. $ mpirun -n $NGPUS ../q-e-gpu/bin/pw.x -i input.in
复制代码

其中,配置成功完成时候会生成make.inc文件,为了获得更好的性能可以修改 DFLAGS中,用-D__FFTW3替换-D__FFTW, 增加-D__GPU_MPI;
运行的时候,设置线程数 export OMP_NUM_THREADS=8 (数量根据实际情况设置)。

另外,对于使用数据中心级别GPU,如V100以上,可以使用MPS提高行性能,参考NGC提供的运行脚本

关于QE GPU版本的问题也欢迎大家一起交流讨论。





评分 Rate

参与人数
Participants 10
eV +42 收起 理由
Reason
yihanxu + 5 赞!
zjh1999 + 5 233333
tanyazhi + 5 好物!
sylar + 2 好物!
sobereva + 8
Aridea + 3 GJ!
ChemG + 5 赞!
renzhogn424 + 2 好物!
hdhxx123 + 2 好物!
ljc050512 + 5 谢谢分享

查看全部评分 View all ratings

349

帖子

0

威望

1847

eV
积分
2196

Level 5 (御坂)

真 掘墓者

发表于 Post on 2022-2-24 15:40:18 | 显示全部楼层 Show all
好腻害
圣诞刨坟忙

本版积分规则 Credits rule

手机版 Mobile version|北京科音自然科学研究中心 Beijing Kein Research Center for Natural Sciences|京公网安备 11010502035419号|计算化学公社 — 北京科音旗下高水平计算化学交流论坛 ( 京ICP备14038949号-1 )

GMT+8, 2022-5-18 01:57 , Processed in 0.524093 second(s), 25 queries .

快速回复 返回顶部 返回列表 Return to list