计算化学公社

 找回密码 Forget password
 注册 Register
Views: 3731|回复 Reply: 16
打印 Print 上一主题 Last thread 下一主题 Next thread

[集群维护] Quantum Espresso的安装与slurm作业系统的简单部署

[复制链接 Copy URL]

464

帖子

11

威望

3948

eV
积分
4632

Level 6 (一方通行)

跳转到指定楼层 Go to specific reply
楼主
本帖最后由 丁越 于 2025-5-11 17:38 编辑

Quantum Espresso的安装与slurm作业系统的简单部署


一、前言

    最近有人问我能不能帮忙在服务器上装个Quantum Espresso (简称 QE),并且要能使用slurm系统进行作业管理。虽然编译个QE难度不大,上网Google一下就有许多教程教你怎么编译,但是奈何这些教程说的五花八门,有的也写的不够全面,遂决定把从slurm队列的部署到程序编译,再到如何使用队列系统详细地写个帖子以便新手当作参考,使得自己折腾一下也能够把这些东西学会。 本文中使用的Linux系统为Rocky Linux-9.4, CPU为双路Intel(R) Xeon(R) Silver 4216 CPU@2.10GHz, oneAPI版本为2023.1。

二、slurm作业系统的简单部署

    对于Rocky Linux-9来说,已经有预编译好的slurm-22.05.9的rpm包可供直接下载使用(https://pkgs.org/search/?q=slurm),免去了编译的麻烦。但前提是机子中已经添加了EPEL仓库,如果没有添加的话可以通过 dnf config-manager --set-enabled crb;dnf install epel-release epel-next-release来直接安装。本文中主要针对的是单机用户安装slurm队列,对于集群用户请参考http://bbs.keinsci.com/thread-39120-1-1.html。
    1) 准备工作:
    修改主机名,假如这里我用master作为主机名。vi /etc/hostname,将主机名改为master
    添加计算节点的域名解析地址。vi /etc/hosts,末尾添加 10.7.159.134 master,其中10.7.159.134为主机的IP地址,因为控制节点和计算节点都是同一台机器。
    2)下载安装slurm所需的所有组件,其中slurm-slurmctld是管理节点需要的模块,slurm-slurmd是计算节点需要的模块。
  1. dnf install slurm slurm-slurmctld slurm-slurmd slurm-perlapi
复制代码
   3)安装通信认证的服务的程序Munge
  1. dnf install munge
复制代码
   4)在/etc/munge目录下创建Munge认证的密钥,可以直接使用/usr/sbin/create-munge-key工具来生成密钥,或者也可以dd if=/dev/random of=/etc/munge/munge.key bs=1024 count=1来创建密钥文件。接下来需要检查munge目录以及文件夹的所属者/组以及权限,一般来说使用dnf下载安装的munge目录及生成的密钥所属者/组都是munge,目录权限为700,munge.key文件的权限为400,不需要什么修改。一切正常后接下来就需要启动munge服务以及设置其自启动权限。
  1. systemctl start munge.service
  2. systemctl enable munge.service
复制代码
   5) 配置slurm.conf以及cgroup.conf
    自定义slurm.conf内容可以通过网页版的slurm工具创建(简化版https://slurm.schedmd.com/configurator.easy.html, 完整版https://slurm.schedmd.com/configurator.html)。嫌麻烦的话可以直接拷贝下面的slurm.conf并稍加修改。下面有几点内容稍作说明:SelectTypeParameters参数如果使用网页工具创建的话默认为CR_Core_Memery,也就是说slurm将cpu核数和内存一同当作消费资源进行管理,所以在提交任务时如果在脚本中不对任务所需内存进行分配的话默认将所有可用内存分配给当前运行任务,也就导致了即便有空闲核数,提交的下一个任务仍旧在排队的状况。解决的办法有两个,一个是在提交任务的脚本中指定任务分配的内存容量,通过添加如#SBATCH --mem=100GB参数实现。另一种做法是在slurm.conf定义仅把cpu核数作为消费资源进行管理,即SelectTypeParameters=CR_Core。另一个需要注意修改的内容是倒数第二行,需要把NodeAddr换成自己主机的IP地址,CPUs换成自己机子可用的物理核心数,RealMemory注意不要分配所有的可用内存容量,需要留给一部分给供系统运行占用。CoresPerSocket=16 指定了每颗CPU的物理核心数,ThreadsPerCore=2如果机子开着超线程就填2,关闭了超线程就填1。
    最后将slurm.conf以及cgroup.conf这两个文件一同放到/etc/slurm目录下即可。
  1. # slurm.conf file generated by configurator easy.html.
  2. # Put this file on all nodes of your cluster.
  3. # See the slurm.conf man page for more information.
  4. #
  5. ClusterName=master
  6. SlurmctldHost=master
  7. AuthType = auth/munge
  8. CredType = cred/munge
  9. #
  10. #MailProg=/bin/mail
  11. MpiDefault=none
  12. #MpiParams=ports=#-#
  13. ProctrackType=proctrack/cgroup
  14. ReturnToService=2
  15. SlurmctldPidFile=/var/run/slurmctld.pid
  16. #SlurmctldPort=6817
  17. SlurmdPidFile=/var/run/slurmd.pid
  18. #SlurmdPort=6818
  19. SlurmdSpoolDir=/var/spool/slurmd
  20. SlurmUser=root
  21. #SlurmdUser=root
  22. StateSaveLocation=/var/spool/slurmctld
  23. SwitchType=switch/none
  24. TaskPlugin=task/affinity,task/cgroup
  25. #
  26. #
  27. # TIMERS
  28. #KillWait=30
  29. #MinJobAge=300
  30. #SlurmctldTimeout=120
  31. #SlurmdTimeout=300
  32. #
  33. #
  34. # SCHEDULING
  35. SchedulerType=sched/backfill
  36. SelectType=select/cons_tres
  37. SelectTypeParameters=CR_Core
  38. #
  39. #
  40. # LOGGING AND ACCOUNTING
  41. AccountingStorageType=accounting_storage/none
  42. #JobAcctGatherFrequency=30
  43. JobAcctGatherType=jobacct_gather/none
  44. #SlurmctldDebug=info
  45. SlurmctldLogFile=/var/log/slurmctld.log
  46. #SlurmdDebug=info
  47. SlurmdLogFile=/var/log/slurmd.log
  48. #
  49. #
  50. # COMPUTE NODES
  51. NodeName=master NodeAddr=10.7.159.134 CPUs=32 RealMemory=60000 Sockets=2 CoresPerSocket=16 ThreadsPerCore=2 State=UNKNOWN
  52. PartitionName=master Nodes=ALL Default=YES MaxTime=INFINITE State=UP
复制代码
  1. ###
  2. #
  3. # Slurm cgroup support configuration file
  4. #
  5. # See man slurm.conf and man cgroup.conf for further
  6. # information on cgroup configuration parameters
  7. #--

  8. CgroupAutomount=yes
  9. ConstrainCores=yes
  10. ConstrainRAMSpace=yes
复制代码

   6)启动slurmctld.service 和slurmd.service,并设置开机自启。最后检查队列是否正常运行,输入sinfo,如果看到当前节点的state是idle的话表明slurm队列已经装好了。
  1. systemctl start slurmctld.service
  2. systemctl enable slurmctld.service
  3. systemctl start slurmd.service
  4. systemctl enable slurmd.service
复制代码
后记:如果配置带有GPU的计算节点,假设节点有一块4080显卡,则slurm.conf文件的末尾需要修改为如下所示:
  1. GresTypes=gpu
  2. NodeName=master NodeAddr=10.7.159.134 Gres=gpu:RTX_4080:1 CPUs=32 RealMemory=60000 Sockets=2 CoresPerSocket=16 ThreadsPerCore=2 State=UNKNOWN
  3. PartitionName=master Nodes=ALL Default=YES MaxTime=INFINITE State=UP
复制代码
同时,需要另新建一个名为gres.conf的配置文件,文件内容如下所示:
  1. NodeName=master Name=gpu Type=RTX_4080 File=/dev/nvidia0
复制代码
注意修改节点名称,以及File变量中的CUDA安装目录所在位置。
三、编译安装QE

    QE的编译安装我将以最新版本的qe-7.3.1为案例进行演示,这里笔者非常推荐使用intel编译器来编译QE,这样编译出来版本的要比GNU编译器的效率高不少。但是考虑到有比较喜欢GNU编译器+OpenMPI库组合的群体,在下文中也做了详细说明如何编译。QE有比较常用的两个插件Enviorn以及Libxc,前者提供了第一性原理程序计算中非常常用的SCCS溶剂模型,后者为QE提供了更加丰富的交换相关泛函的选择。关于QE配置这两个插件将在本章节第三部分讲解,如果不需要安装这两个插件的用户直接看本章节第一部分即可。此外,动力学增强采样PLUMED插件在本文截稿前只支持到了QE-7.2,是否适配QE-7.3.1版本笔者没有进行测试,感兴趣的用户可以自行尝试。

3.1. 仅编译QE主体

    这里假定服务器中登录者身份已经切换为了root,oneAPI安装到了/opt目录下。如果用户已经安装了模块化环境管理软件如Lmod的话,输入以下命令来加载frotran,C,mpi, mkl的环境变量,如果没有安装的话可以直接source /opt/intel/oneapi/setvars.sh。
  1. module load compiler-rt/2023.1.0 tbb/2021.9.0 mkl/2023.1.0 icc/2023.1.0 mpi/2021.9.0
复制代码
  1. ./configure --prefix=/opt/qe7.3.1 \
  2.         --with-scalapack=intel --with-scalapack-qrcp=yes \
  3.         MPIF90=mpiifort FC=ifort FCFLAGS=-O3 CC=icc CFLAGS=-O3 \
  4.         LIBDIRS="${MKLROOT}/lib/intel64/ /opt/intel/oneapi/mpi/latest/lib"
复制代码
参数--with-scalapack=intel指定使用intel的MKL数学库来提供对QE所需要的LAPACK和BLAS子程序的支持。--with-scalapack-qrcp=yes指定使用QRCP算法。MPIF90=mpiifort指定编译MPI并行的Fortran程序使用intel MPI 的mpiifort编译器。FC指定Fortran编译器为ifort。FC是对fortran编译器更加现代、通用的封装,能够指向Fortran 77、Fortran 90、Fortran 95、Fortran 2003 或更新版本编译器,所以完全没有必要再指定F90等参数了。对Fortran编译指定了更加激进的-O3以便获得更好的运行性能。CC=icc指定C语言编译器为icc。当configure在标准安装路径中找不到BLAS LIBS, LAPACK LIBS, FFT LIBS, MPI LIBS等时,LIBDIRS参数能够提供额外的configure搜索路径。一般来说只要是标准安装的oneAPI,configure都能找到这些依赖库文件,并不需额外指定LIBDIRS参数。另外,对于2023年上半年及之前部署的oneAPI, 在此之前的fortran以及C/C++语言编译器都没有改名,还称为ifort,icc。后面较新版本的oneapi将Fortran编译器更名为ifx, C编译器为icx, C++编译器为icpx。所以对于如oneAPI-2024版本,编译时参数如下所示:
  1. ./configure --prefix=/opt/qe7.3.1 \
  2.         --with-scalapack=intel --with-scalapack-qrcp=yes \
  3.         MPIF90=mpiifort FC=ifx FCFLAGS=-O3 CC=icx CFLAGS=-O3 \
  4.         LIBDIRS="${MKLROOT}/lib /opt/intel/oneapi/mpi/latest/lib"
复制代码
   ./configure运行结束后,仔细检查make.inc文件中MPIF90= mpiifort,F90= ifort,CC = icx。BLAS库和SCALAPACK库的链接是否正常,正常的话应当为BLAS_LIBS      =   -lmkl_intel_lp64  -lmkl_sequential -lmkl_core, SCALAPACK_LIBS = -lmkl_scalapack_lp64 -lmkl_blacs_intelmpi_lp64。以及DFLAGS         =  -D__DFTI  -D__MPI -D__SCALAPACK -D__SCALAPACK_QRCP。如果没有问题的话执行下面命令编译QE。
  1. make all -j
  2. make install
复制代码

3.2. GNU编译器+OpenMPI库编译QE

    GNU编译器编译QE时确保gcc和gfortran已经安装到机子里了。OpenMPI库的编译这里就不再赘述了,细节请看http://bbs.keinsci.com/thread-18600-1-1.html。这里我们同样利用效率很高的MKL数学库来提升QE计算速度,首先加载MKL的环境变量,对于module环境管理的用户可以通过以下方式加载,对于其他用户可以source /opt/intel/oneapi/mkl/latest/env/vars.sh来加载MKL环境变量。其次也确保OpenMPI库的环境变量也同样加载了。
  1. module load compiler-rt/2024.1.0 tbb/2021.12 mkl/2024.1 openmpi/5.0.4
复制代码
  1. ./configure --prefix=/opt/qe7.3.1_gnu \
  2.         --with-scalapack-qrcp=yes \
  3.         MPIF90=mpifort FC=gfortran FCFLAGS=-O3 CC=gcc CFLAGS=-O3 \
  4.         LIBDIRS="${MKLROOT}/lib"
复制代码
mpifort是一个更加通用的编译MPI Fortran程序的封装器,对现代的以及更早的Fortran代码具有很好的兼容性,包括 Fortran 77、Fortran 90、Fortran 2003 和 Fortran 2008。所以也就没有必要使用诸如MPIF90=mpif90了。FC指定Fortran编译器为gfortran。CC指定C语言编译器为gcc。

3.3. 编译带Environ, Libxc, Elpa 和 HDF5插件支持的QE

    我们首先编译Environ,下载最新版本的Environ-3.1并解压缩到/opt目录。--with-qe=/opt/qe-7.3.1指定QE所在目录。注意这里的QE目录是指QE源码包解压缩后所在的目录,并不是编译完QE所在的目录,不要搞错了。
  1. ./configure --with-qe=/opt/qe-7.3.1 \
  2.         MPIF90=mpiifx FC=ifx FCFLAGS="-O3 -xHost" CC=mpiicx CFLAGS="-O3 -xHost"

  3. make -j32 compile
复制代码
    接下来编译Libxc,下载最新版本的libxc-6.2.2并解压缩到/opt目录。其中autoreconf -i 用于产生configure文件。
  1. autoreconf -i
  2. ./configure --prefix=/opt/libxc6.2.2 FC=ifx FCFLAGS="-O3 -xHost" CC=mpiicx CFLAGS="-O3 -xHost"
  3. make -j32 && make install
复制代码
    然后编译Elpa, 这里使用ELPA 2023.11.001 release。编译Elpa时需要注意CPU所能支持的最高指令集以及使用的编译器,可以参考Elpa的安装文档(https://github.com/marekandreas/ ... entation/INSTALL.md)。这里假设CPU支持AVX512指令集并且全部使用intel编译器编译:
  1. tar -zxf elpa-new_release_2023.11.001.tar.gz

  2. ./autogen.sh        #产生configure文件

  3. mdkir build #进入Elpa的目录并建立build文件夹

  4. ../configure --prefix=/opt/elpa2023 \
  5.         FC=mpiifx CC=mpiicx CXX=mpiicpx CPP="cpp -E" \
  6.         FCFLAGS="-O3 -xCORE-AVX512" CFLAGS="-O3 -xCORE-AVX512" \
  7.         SCALAPACK_LDFLAGS="-L$MKLROOT/lib/intel64 -lmkl_scalapack_lp64 -lmkl_intel_lp64 \
  8.                 -lmkl_sequential -lmkl_core -lmkl_blacs_intelmpi_lp64 -lpthread " \
  9.         SCALAPACK_FCFLAGS="-I$MKL_HOME/include/intel64/lp64" \
  10.         --enable-avx2 --enable-avx512

  11. make -j32 && make install
复制代码
    编译HDF5参数如下:
  1. ./configure --prefix=/opt/hdf5 \
  2.         CC=mpiicx FC=mpiifx CXX=mpiicpx \
  3.         --enable-fortran --enable-fortran2003 --enable-parallel

  4. make -j32 && make install
复制代码
    最后编译QE。注意下面参数中elpa-lib指定的是编译的静态库文件而不是elpa的路径,elpa-include指定的是elpa的inculde路径中的modules目录,而非整个inculde目录。
  1. ./configure --prefix=/opt/qe7.3.1 \
  2.         --with-environ=/opt/Environ-3.1 \
  3.         --with-libxc=yes --with-libxc-prefix=/opt/libxc6.2.2 --with-libxc-include=/opt/libxc6.2.2/include \
  4.         --with-elpa-lib=/opt/elpa2023/lib/libelpa.a --with-elpa-include=/opt/elpa2023/include/elpa-2023.11.001/modules/ \
  5.         --with-hdf5=/opt/hdf5/ --with-hdf5-include=/opt/hdf5/include/ \
  6.         --with-scalapack=intel --with-scalapack-qrcp=yes \
  7.         MPIF90=mpiifx FC=ifx FCFLAGS="-O3 -xHost" CC=mpiicx CFLAGS="-O3 -xHost" \
  8.         LIBDIRS="${MKLROOT}/lib /opt/intel/oneapi/mpi/latest/lib"

  9. make all -j32 && make install
复制代码

四、Slurm作业系统上提交QE计算任务

    对于Intel编译器+Intel MPI版本的QE,提交计算任务至slurm作业系统的脚本如下所示:
  1. #!/bin/bash

  2. #SBATCH --job-name=qe
  3. #SBATCH --partition=master
  4. #SBATCH --nodes=1
  5. #SBATCH --ntasks-per-node=32
  6. #SBATCH --cpus-per-task=1
  7. #SBATCH -o job%j.out
  8. #SBATCH -e job%j.out

  9. export I_MPI_PMI_LIBRARY=/usr/lib64/libpmi2.so.0

  10. inf="Pt.scf.in"

  11. srun --mpi=pmi2 pw.x -i ${inf} > ${inf//in/out}
复制代码
而对于GNU编译器+OpenMPI库版本的QE来说,提交任务的脚本略有不同。另外这个脚本对提交其他使用OpenMPI库的程序都是通用的,比如提交cp2k任务。
  1. #!/bin/bash

  2. #SBATCH --job-name=qe
  3. #SBATCH --partition=master
  4. #SBATCH --nodes=1
  5. #SBATCH --ntasks-per-node=32
  6. #SBATCH --cpus-per-task=1
  7. #SBATCH -o job%j.out
  8. #SBATCH -e job%j.out

  9. inf="Pt.scf.in"
  10. srun --mpi=pmix pw.x -i ${inf} > ${inf//in/out}
复制代码
  1. #!/bin/bash

  2. # Note: this is MPI job script used for cp2k.popt.

  3. #SBATCH --job-name=cp2k
  4. #SBATCH --partition=master
  5. #SBATCH --nodes=1
  6. #SBATCH --ntasks-per-node=32
  7. #SBATCH --cpus-per-task=1
  8. #SBATCH -o job%j.out
  9. #SBATCH -e job%j.out

  10. inf=`ls *.inp`
  11. srun --mpi=pmix cp2k.popt -i ${inf} &> ${inf//inp/out}
复制代码
在这些slurm脚本中,#SBATCH --job-name=qe用于指定任务的名称。#SBATCH --partition=master用于指定计算节点名称。#SBATCH --nodes=1指定几个计算节点,当前使用1个。#SBATCH --ntasks-per-node=32指定每个节点的任务数目,假如下面的#SBATCH --cpus-per-task=1每个任务数的CPU核数将被指定为1,则节点内的所有任务均以MPI方式并行。所以对于MPI并行任务,#SBATCH --cpus-per-task=1即可,然后#SBATCH --ntasks-per-node=32可以简单理解为这个任务分配的核数, 所以每次提交任务时只需要简单修改#SBATCH --job-name和指定核数的#SBATCH --ntasks-per-node参数即可。

后记:对于提交使用GPU计算任务的slurm脚本如下所示:
  1. #!/bin/bash

  2. #SBATCH --job-name=gmx
  3. #SBATCH --partition=master
  4. #SBATCH --nodes=1
  5. #SBATCH --ntasks-per-node=12
  6. #SBATCH --cpus-per-task=1
  7. #SBATCH --gres=gpu:RTX_4080:1
  8. #SBATCH -o job%j.out
  9. #SBATCH -e job%j.out

  10. gmx mdrun -deffnm prod -pin on -nt 12 -bonded gpu -pinoffset 0 -pinstride 1 -ntmpi 1 -ntomp 12 -gpu_id 0
复制代码

评分 Rate

参与人数
Participants 6
威望 +1 eV +24 收起 理由
Reason
plk412 + 4
dzdhp + 5 谢谢
snljty2 + 5 欢迎讨论
chever + 5 好物!
卡开发发 + 5 欢迎讨论
sobereva + 1

查看全部评分 View all ratings

自由发挥,野蛮生长

1

帖子

0

威望

35

eV
积分
36

Level 2 能力者

2#
发表于 Post on 2024-10-8 21:21:28 | 只看该作者 Only view this author
老师您好,请问按照您的方法安装,启动munge服务时,报错如下:
Starting MUNGE authentication service...
Oct 08 04:44:46 localhost munged[4048]: munged: Error: Failed to check keyfile "/etc/munge/munge.key": Permission denied
Oct 08 04:44:46 localhost systemd[1]: munge.service: Control process exited, code=exited, status=1/FAILURE
Oct 08 04:44:46 localhost systemd[1]: munge.service: Failed with result 'exit-code'.
Oct 08 04:44:46 localhost systemd[1]: Failed to start MUNGE authentication service.
应该怎么解决

464

帖子

11

威望

3948

eV
积分
4632

Level 6 (一方通行)

3#
 楼主 Author| 发表于 Post on 2024-10-9 08:53:30 | 只看该作者 Only view this author
本帖最后由 丁越 于 2024-10-9 08:55 编辑
shiqiangqiang 发表于 2024-10-8 21:21
老师您好,请问按照您的方法安装,启动munge服务时,报错如下:
Starting MUNGE authentication service.. ...
munged: Error: Failed to check keyfile "/etc/munge/munge.key": Permission denied

根据这里提示显示检查munge.key文件的权限有问题,你看看/etc/munge目录的权限是不是700,所属者/组都是munge。正常来说对于dnf方式下载就不存在这些权限问题。
自由发挥,野蛮生长

2

帖子

0

威望

51

eV
积分
53

Level 2 能力者

4#
发表于 Post on 2024-12-26 08:08:50 | 只看该作者 Only view this author
丁老师您好,我是QE初学者,有一个计算想请您评估一下,希望您能不吝赐教:
算例1:Ni(001)原胞
算例2:Ni(001)初始取向,欧拉角(226.3°,43.4°,76.5°)对晶格结构进行旋转。结构用建模出了一个四原子的POSCAR。
想请问能否用QE计算出这两种结构的不同电导以及电声耦合性质,主要是不太清楚自旋体系和这个欧拉角变换在计算中是否有些设置应该注意。
再次感谢,祝好!

464

帖子

11

威望

3948

eV
积分
4632

Level 6 (一方通行)

5#
 楼主 Author| 发表于 Post on 2024-12-26 08:56:11 | 只看该作者 Only view this author
JoieRMore 发表于 2024-12-26 08:08
丁老师您好,我是QE初学者,有一个计算想请您评估一下,希望您能不吝赐教:
算例1:Ni(001)原胞
算例2:N ...

不好意思,我对电导和电声耦合性质这一块不太了解,你可以论坛里单独发帖咨询一下。
自由发挥,野蛮生长

30

帖子

0

威望

122

eV
积分
152

Level 3 能力者

6#
发表于 Post on 2025-4-4 23:36:30 | 只看该作者 Only view this author
老师,救命,我按照您这个帖子安装qe7.3.1的教程安装了7.2,在relax计算的时候发现没迭代一步内存就增加从原先的30GB涨到了200GB到系统内存极限,计算进程就被强行终止,重新编译几次还是这样,不知道咋办了(系统上centos7,mpi是2021版,mkl是2023版)

464

帖子

11

威望

3948

eV
积分
4632

Level 6 (一方通行)

7#
 楼主 Author| 发表于 Post on 2025-4-5 09:28:13 | 只看该作者 Only view this author
TJU_RYC 发表于 2025-4-4 23:36
老师,救命,我按照您这个帖子安装qe7.3.1的教程安装了7.2,在relax计算的时候发现没迭代一步内存就增加从 ...

没有具体细节没法说。
自由发挥,野蛮生长

30

帖子

0

威望

122

eV
积分
152

Level 3 能力者

8#
发表于 Post on 2025-4-5 10:57:04 | 只看该作者 Only view this author
丁越 发表于 2025-4-5 09:28
没有具体细节没法说。

老师,应该就是内存泄露了,我也不知道咋回事,难受

30

帖子

0

威望

122

eV
积分
152

Level 3 能力者

9#
发表于 Post on 2025-4-5 14:02:58 | 只看该作者 Only view this author
丁越 发表于 2025-4-5 09:28
没有具体细节没法说。

这是编译时的make.inc

make.inc.txt

6.17 KB, 下载次数 Times of downloads: 2

464

帖子

11

威望

3948

eV
积分
4632

Level 6 (一方通行)

10#
 楼主 Author| 发表于 Post on 2025-4-6 13:38:46 | 只看该作者 Only view this author
TJU_RYC 发表于 2025-4-5 10:57
老师,应该就是内存泄露了,我也不知道咋回事,难受

监控运行时内存占用情况。make.inc里面参数没啥问题。
自由发挥,野蛮生长

30

帖子

0

威望

122

eV
积分
152

Level 3 能力者

11#
发表于 Post on 2025-4-6 14:05:18 | 只看该作者 Only view this author
丁越 发表于 2025-4-6 13:38
监控运行时内存占用情况。make.inc里面参数没啥问题。

监控过pw.x的内存占用,我只计算48个原子理论占用35GB,后面每10秒记录一次占用最后占用370+GB就被杀进程了

memory.log

7.06 KB, 下载次数 Times of downloads: 3

464

帖子

11

威望

3948

eV
积分
4632

Level 6 (一方通行)

12#
 楼主 Author| 发表于 Post on 2025-4-7 11:33:38 | 只看该作者 Only view this author
TJU_RYC 发表于 2025-4-6 14:05
监控过pw.x的内存占用,我只计算48个原子理论占用35GB,后面每10秒记录一次占用最后占用370+GB就被杀进程 ...

你是怎么运行pw.x的,具体细节交代清楚。
自由发挥,野蛮生长

30

帖子

0

威望

122

eV
积分
152

Level 3 能力者

13#
发表于 Post on 2025-4-8 09:27:28 | 只看该作者 Only view this author
丁越 发表于 2025-4-7 11:33
你是怎么运行pw.x的,具体细节交代清楚。

mpirun -np 24 pw.x,换了mpi编译好了

203

帖子

0

威望

1061

eV
积分
1264

Level 4 (黑子)

14#
发表于 Post on 2025-4-18 15:40:57 | 只看该作者 Only view this author
您好。我参考了您的思路安装qe+intel oneapi,不过slurm是apt安装的。在usr/lib64文件夹中没有libpmi2.so.0文件。在用slurm提交任务时,出现了如下的报错:
The application appears to have been direct launched using "srun",
but OMPI was not built with SLURM's PMI support and therefore cannot
execute. There are several options for building PMI support under
SLURM, depending upon the SLURM version you are using:

  version 16.05 or later: you can use SLURM's PMIx support. This
  requires that you configure and build SLURM --with-pmix.

  Versions earlier than 16.05: you must use either SLURM's PMI-1 or
  PMI-2 support. SLURM builds PMI-1 by default, or you can manually
  install PMI-2. You must then build Open MPI using --with-pmi pointing
  to the SLURM PMI library location.

Please configure as appropriate and try again.
您可方便指导一下?

464

帖子

11

威望

3948

eV
积分
4632

Level 6 (一方通行)

15#
 楼主 Author| 发表于 Post on 2025-4-19 10:17:29 | 只看该作者 Only view this author
Shana 发表于 2025-4-18 15:40
您好。我参考了您的思路安装qe+intel oneapi,不过slurm是apt安装的。在usr/lib64文件夹中没有libpmi2.so.0 ...

Linux系统不一样,放的位置可能有变化,locate libpmi2.so查看放在哪里了。
自由发挥,野蛮生长

本版积分规则 Credits rule

手机版 Mobile version|北京科音自然科学研究中心 Beijing Kein Research Center for Natural Sciences|京公网安备 11010502035419号|计算化学公社 — 北京科音旗下高水平计算化学交流论坛 ( 京ICP备14038949号-1 )|网站地图

GMT+8, 2025-8-13 05:28 , Processed in 0.220357 second(s), 31 queries , Gzip On.

快速回复 返回顶部 返回列表 Return to list