结合spack与toolchain的cp2k-2023.2+hip编译

啊不错的飞过海

cp2k是很好用的开源第一性原理程序，就是编译过程很繁，依赖多、兼容性一般、容易出小bug，初次编译非常耗精力。社长写过一篇基于cp2k自带toolchain在centos下编译cp2k的文章（思想家公社的门口），简单说了些编译过程中可能遇到的问题，不用太多第三方依赖项时照着编是个好方法。
spack（spack.io）是个包管理软件，特色是从源码安装、可调控的依赖管理以及一个不小的官方程序仓库。spack上有一个cp2k的仓库，不过只更新到2023.1，还没跟进2023.2版本，且2023.1也有一些莫名其妙的编译问题。楼主是用spack安装cp2k的可用第三方库、再用cp2k的toolchain添加之，最后手动make；应该说spack已经节省了不少时间了，但饶是这样楼主也花了近2天才最终搞出来一份链接了大部分可用第三方库的cp2k-2023.2，踩坑甚多，特开一楼，记录一下，顺便供有需要的坛友参考。

========================
cp2k-2023.2的可选外部程序已比社长写文时候多了不少，其中的相当一部分在链接时都可能遇到问题；cp2k的toolchain本身也有一些bug。本楼会在前面简单介绍怎样更方便地给cp2k的toolchain排雷、列出cp2ktoolchain中已知的bug，然后用主要的篇幅列出已知的cp2k-2023.2对外部程序的要求/安装这些外部程序时需要开启的选项。

楼主手头有一块刷了专业卡vbios的amd矿卡，所以cp2k与外部程序都尽量开启了rocm支持；不过amd的编译器兼容性属实捉急所以有些外部程序还是只安了CPU版......
========================
1.cp2k toolchain的已知问题与排障技巧
1.1 已知问题
cp2k toolchain的作用是检查链接的外部程序情况并生成一份写好参数的arch file供make使用。关于cp2k-2023.2的toolchain，已知问题如下：
1.其生成arch文件时，会在CFLAGS中漏掉PEXSI的include、在LD_FLAGS中漏掉HDF5的库，导致编译报错退出。解决方法是手动编辑arch file，我个人使用了如下的bash命令进行自动化编辑：

1. sed -i "s# -L'/home/yizeyi18/soft/spack/opt/spack/linux-ubuntu22.04-zen3/gcc-11.3.0/hdf5-1.14.1-2-lukybmccqlutezh7y2df5kea4g335n5z/lib' -Wl,-rpath,'/home/yizeyi18/soft/spack/opt/spack/linux-ubuntu22.04-zen3/gcc-11.3.0/hdf5-1.14.1-2-lukybmccqlutezh7y2df5kea4g335n5z/lib' -L'/opt/OpenBLAS/lib' -Wl,-rpath,'/opt/OpenBLAS/lib'# -L'/opt/OpenBLAS/lib' -Wl,-rpath,'/opt/OpenBLAS/lib'#g" local_hip.*
   
2. sed -i "s# -L'/opt/OpenBLAS/lib' -Wl,-rpath,'/opt/OpenBLAS/lib'# -L'/home/yizeyi18/soft/spack/opt/spack/linux-ubuntu22.04-zen3/gcc-11.3.0/hdf5-1.14.1-2-lukybmccqlutezh7y2df5kea4g335n5z/lib' -Wl,-rpath,'/home/yizeyi18/soft/spack/opt/spack/linux-ubuntu22.04-zen3/gcc-11.3.0/hdf5-1.14.1-2-lukybmccqlutezh7y2df5kea4g335n5z/lib' -L'/opt/OpenBLAS/lib' -Wl,-rpath,'/opt/OpenBLAS/lib'#g" local_hip.*
   
3. sed -i "s# -I'/home/yizeyi18/soft/fftw/include' -I'/home/yizeyi18/soft/spack/opt/spack/linux-ubuntu22.04-zen3/gcc-11.3.0/pexsi-1.2.0-uhe5ctqqhgj7vplofqyhqfgbksfop2kl/include'# -I'/home/yizeyi18/soft/fftw/include'#g" local_hip.*
   
4. sed -i "s# -I'/home/yizeyi18/soft/fftw/include'# -I'/home/yizeyi18/soft/fftw/include' -I'/home/yizeyi18/soft/spack/opt/spack/linux-ubuntu22.04-zen3/gcc-11.3.0/pexsi-1.2.0-uhe5ctqqhgj7vplofqyhqfgbksfop2kl/include'#g" local_hip.*

复制代码

sed -i "一串关键字" 文件名 会编辑文件内容，s#被替换的字符串#另一字符串#g是全文替换指定字符串为另一字符串的关键字。

2.其检查外部程序时，会在sirius的目录下找lib64这个文件夹，但正常流程下编译出来的sirius没有这个文件夹——toolchain自己编译的也没有，但它不查——这导致默认情况下，使用预先装好的sirius递给toolchain时它会认为你的sirius没有lib64这个文件夹从而报错退出，不生成arch文件。解决方法是手动编辑toolchain的子脚本，让它不检查lib64文件夹的存在性，我使用以下命令进行自动化编辑：

1. sed -i 's/check_dir "${pkg_install_dir}\/lib64"/\#check_dir "${pkg_install_dir}\/lib64"/g' /home/yizeyi18/soft/cp2k-2023.2/tools/toolchain/scripts/stage8/install_sirius.sh

复制代码

sed -i 's/被替换字符串/字符串/g' 文件名与上述的sed -i "s#...#...#g" 文件名是一样的，字符串里有/时候用#分割不用加转义字符，有“时候用'套关键字不用加转义字符，按需取用。

3.其安装quip时候，有时候会要求一个/${cp2k}/tools/toolchain/install/quip-${version}/git_version文件存在，但它还没有被创建，于是就报错退出。楼主懒得手动安装quip了，于是直接选择不链接quip。期待坛友补充可行方案。

4.其生成的编译条件比较苛刻，主要是把函数有未使用的参数作为error、把所有warning都处理为error，在链接libtorch时这会导致编译报error停止，别的外部程序没有注意。解决方法是手动编辑arch file把相关flag删掉，我使用以下命令进行自动化编辑：

1. sed -i 's/-Werror //g' local_hip.*
   
2. sed -i 's/-Werror=unused-parameter //g' local_hip.*

复制代码

5.其生成的${CP2K}/tools/toolchain_command/install/setup脚本中有把依赖、链接的外部程序的编译选项和将其动态链接库添加到LD_LIBRARY_PATH的命令，source之即可将这些动作全部完成，但其中没有HDF5的，需要手动添加，否则执行不了MPI并行版本。

6.其生成的sirius include目录为${SIRIUS}/include，其中只有一个sirius文件夹、没有文件，会导致编译psmp版本时报找不到sirius.mod错误、退出编译。将其改为${SIRIUS}/include/sirius可过，不清楚是不是cp2k没有跟进sirius的目录结构变化所致。

以上是cp2k-2023.2 toolchain的已知问题。
1.2 排障技巧
可以搞一个小脚本，把执行toolchain的命令与上述自动化改脚本/arch file的命令都丢进去，以此缩短排障时反复执行toolchain、反复编译的手操流程。cp2k toolchain在链接外部程序多时参数很多，编译排障时可能需要修改传给toolchain的外部程序地址，打包成小脚本编辑起传给toolchain的参数也方便些。
========================
2.cp2k-2023.2对外部程序的已知要求
下面说cp2k对链接、依赖的外部程序的要求以及可能踩的坑。比较友善的一件事是，cp2k-2023.2可链接的绝大多数外部程序——除了quip与libtorch——都可以用spack安装，这可以省去很大的找源码手动编译手动安装的工夫；以下如不加说明，都认为链接的外部程序是用spack安装的，使用的选项都是spack命令行选项。

cp2k-2023.2可能链接、依赖的外部程序有：
gcc  mpi   cmake libint  fftw  blas  scalapack
libxsmm   elpa   superlu     pexsi
plumed    spglib spfft hdf5 gsl   
cosma      libvdwxc    libvori
sirius        libtorch quip pt-scotch spla
其中，spack默认编译选项下能直接用的有libvdwxc、libvori、gsl、amdscalapack、libint、plumed。
2.1 一般要求
cp2k主体是拿Fortran写的，除libtorch等少数用纯C/CXX接口的以外，所有链接的外部程序都要编译其Fortran接口。spack下很多程序默认不编译Fortran接口，需要手动+fortran使其编译。spack有命令gc(garbage collect)，字面意义是用来清理垃圾，实际作用是清理全部不被其它spack安装的程序依赖的包，类似apt的autoremove；手动编译的cp2k的依赖，不手动添加描述文件spack就观测不到，运行gc可能导致各种依赖库被删。楼主昨晚就干了这种事情，现在正焦头烂额地重装一大堆库，坛友们引以为戒！
2.2 PT-Scotch
在spack中名叫scotch，默认安装最新的7.0.1；cp2k依赖6.0.0版，新旧版本有库名差别所以不能混用。
2.3 libtorch
spack的安装名不详，不过cp2k只是使用其C++接口，官网版本解压即用。2023年8月可用的版本在此处下载。
2.4 PLUMED
spack的默认安装选项即可用。有基于arrayfire实现OpenCL加速的选项，不过spack的依赖管理似乎有些问题，默认依赖的pocl-3.0编译时会报llvm版本不对，使用外部pocl又会说”pocl不是DAC中程序的有效依赖“。试错得到的解决方案是先安装一个指定依赖rocm-opencl的arrayfire（spack认为这个依赖cuda，源码4个G，最好手动从spack源码仓中下载源码后拷贝到它的源码文件夹，否则容易报下载超时退出），再安装有opencl后端arrayfire支持的plumed。
2.5 libint
spack里可以选tune，适配不同的最大角动量配置，可以结合个人使用情况选，小一点编译时间短。cp2k toolchain的默认选项是5。
2.6 PEXSI
cp2k链接依赖pexsi-1.2.0，toolchain默认安装此版；最新版是2.0.0，spack默认安装此版，安装时注意版本。
2.7 ELPA
cp2k可以用ELPA做对角化，并且支持相当新的2023.05.001版；但是ELPA号称只有实验性amd gpu版，性能待测。
ELPA开发者总之也对amd显卡的支持测试甚少，给出的参考configure命令见下：

1. ./configure CXX=hipcc CXXFLAGS="-I/opt/rocm-4.0.0/hip/include/ -I/opt/rocm-4.0.0/rocblas/inlcude -g" CC=hipcc CFLAGS="-I/opt/rocm-4.0.0/hip/include/ -I/opt/rocm-4.0.0/rocblas/include -g" LIBS="-L/opt/rocm-4.0.0/rocblas/lib" --enable-option-checking=fatal --with-mpi=0 FC=gfortran FCFLAGS="-g -LPATH_TO_YOUR_LAPACK_INSTALLATION -lopenblas -llapack" --disable-sse --disable-sse-assembly --disable-avx --disable-avx2 --disable-avx512 --enable-AMD-gpu --enable-single-precision
   

复制代码

实测表明这串命令是完全用不了，甚至--enable部分都有问题，手测能过make的configure脚本见附件。

一些程序，如openmpi、gcc、cmake由于机子上有所以就直接用了，没有测spack源的；或许可以以后测一下？
未完，占个坑先

牧生

目前试了几次，还没能顺利装上cp2k-2023.2
主要是最后make的时候，提示git有什么不对。我也没深究，也没去解决，反正现在2023.1用着也还挺好。

Entropy.S.I

ROCm捆绑的编译器是LLVM，只不过现在ROCm软件栈用的LLVM版本都很新（从ROCm 5.5开始就是LLVM16，然而现在的生产环境的主流还是14），容易产生兼容性问题。可以自己想办法改源码解决这些兼容性问题。

顺带一提，现在知道去用HIP的人少得可怜，大部分人还在用OpenCL或者压根不知道AMD GPU也可以胜任他们的workload，楼主算是走在时代的前列腺上了。

这几天我也尽可能把AMD GPU和intel GPU跑经典MD软件的兼容性指南、troubleshooting以及benchmark文章发出来。本来上个月底就要发，结果突然有别的急事，回过来准备写文却发现软件更新了一大波，只能全部重新测试……实在是浪费生命

啊不错的飞过海

Entropy.S.I 发表于 2023-8-16 21:43
ROCm捆绑的编译器是LLVM，只不过现在ROCm软件栈用的LLVM版本都很新（从ROCm 5.5开始就是LLVM16，然而现在的 ...

intel GPU，是arc吗？还是数据中心那种？

Entropy.S.I

啊不错的飞过海 发表于 2023-8-17 19:41
intel GPU，是arc吗？还是数据中心那种？

ARC A770 16GB。Ponte Vecchio搞不到。A770 16GB目前只能跑GMX，性能相当于3060-4060

djjj148

本地编译很折腾，如果集群允许，用docker配合singularity做镜像很省心，运行官方给的Dockerfile，挂机睡一觉起来就编译好了

乐平

前几天编译了 CP2K 2023.2，用的就是 toolchain，编译过程还算顺利，除了 PEXSI, PT-scotch 之外，没遇到什么 bug 啊

见下面的帖子
http://bbs.keinsci.com/forum.php ... 33&fromuid=1532

编译用到的命令和参数如下：

1. ./install_cp2k_toolchain.sh --math-mode=mkl --with-gcc=install --with-openmpi=install --with-quip=install --with-plumed=install

复制代码

啊不错的飞过海

乐平 发表于 2023-8-18 10:14
前几天编译了 CP2K 2023.2，用的就是 toolchain，编译过程还算顺利，除了 PEXSI, PT-scotch 之外，没遇到什 ...

我碰到的情况是指定hdf5路径后toolchain直接忽略对hdf5的configure，指定外部sirius路径时toolchain默认检测sirius目录下的lib64目录，指定链接libtorch后编译会因为主楼提及的几个选项报error停止；再有就是编译出来的gpu版bug奇多，可能还有很多问题。
没遇到什么bug可能是你不需要加这几个包的原因？

乐平

啊不错的飞过海 发表于 2023-8-18 14:50
我碰到的情况是指定hdf5路径后toolchain直接忽略对hdf5的configure，指定外部sirius路径时toolchain默认 ...

如果你 vi  install_cp2k_toolchain.sh 会看到， sirius, gsl, libspg, elpa, scalapack, hdf5, libxc 是默认自动安装的。

1. The --with-PKG options follow the rules:
   
2.   --with-PKG=install      Will download the package in \$PWD/build and
   
3.                           install the library package in \$PWD/install.
   
4.   --with-PKG=system       The script will then try to find the required
   
5.                           libraries of the package from the system path
   
6.                           variables such as PATH, LD_LIBRARY_PATH and
   
7.                           CPATH etc.
   
8.   --with-PKG=no           Do not use the package.
   
9.   --with-PKG=<path>       The package will be assumed to be installed in
   
10.                           the given <path>, and be linked accordingly.
    
11.   --with-PKG              The option keyword alone will be equivalent to
    
12.                           --with-PKG=install
    
13. 
    
14.   --with-gcc              The GCC compiler to use to compile CP2K.
    
15.                           Default = system
    
16.   --with-intel            Use the Intel compiler to compile CP2K.
    
17.                           Default = system
    
18.   --with-intel-classic    Use the classic Intel compiler to compile CP2K.
    
19.                           Default = no
    
20.   --with-cmake            Cmake utilities
    
21.                           Default = install
    
22.   --with-openmpi          OpenMPI, important if you want a parallel version of CP2K.
    
23.                           Default = system
    
24.   --with-mpich            MPICH, MPI library like OpenMPI. one should
    
25.                           use only one of OpenMPI, MPICH or Intel MPI.
    
26.                           Default = system
    
27.   --with-mpich-device     Select the MPICH device, implies the use of MPICH as MPI library
    
28.                           Default = ch4
    
29.   --with-intelmpi         Intel MPI, MPI library like OpenMPI. one should
    
30.                           use only one of OpenMPI, MPICH or Intel MPI.
    
31.                           Default = system
    
32.   --with-libxc            libxc, exchange-correlation library. Needed for
    
33.                           QuickStep DFT and hybrid calculations.
    
34.                           Default = install
    
35.   --with-libint           libint, library for evaluation of two-body molecular
    
36.                           integrals, needed for hybrid functional calculations
    
37.                           Default = install
    
38.   --with-fftw             FFTW3, library for fast fourier transform
    
39.                           Default = install
    
40.   --with-acml             AMD core maths library, which provides LAPACK and BLAS
    
41.                           Default = system
    
42.   --with-mkl              Intel Math Kernel Library, which provides LAPACK, and BLAS.
    
43.                           If MKL's FFTW3 interface is suitable (no FFTW-MPI support),
    
44.                           it replaces the FFTW library. If the ScaLAPACK component is
    
45.                           found, it replaces the one specified by --with-scalapack.
    
46.                           Default = system
    
47.   --with-openblas         OpenBLAS is a free high performance LAPACK and BLAS library,
    
48.                           the successor to GotoBLAS.
    
49.                           Default = install
    
50.   --with-scalapack        Parallel linear algebra library, needed for parallel
    
51.                           calculations.
    
52.                           Default = install
    
53.   --with-libxsmm          Small matrix multiplication library.
    
54.                           Default = install
    
55.   --with-elpa             Eigenvalue SoLvers for Petaflop-Applications library.
    
56.                           Fast library for large parallel jobs.
    
57.                           Default = install
    
58.   --with-cusolvermp       NVIDIA cusolverMp: CUDA library for distributed dense linear algebra.
    
59.                           Default = no
    
60.   --with-ptscotch         PT-SCOTCH, only used if PEXSI is used
    
61.                           Default = no
    
62.   --with-superlu          SuperLU DIST, used only if PEXSI is used
    
63.                           Default = no
    
64.   --with-pexsi            Enable interface to PEXSI library
    
65.                           Default = no
    
66.   --with-quip             Enable interface to QUIP library
    
67.                           Default = no
    
68.   --with-plumed           Enable interface to the PLUMED library.
    
69.                           Default = no
    
70.   --with-sirius           Enable interface to the plane wave SIRIUS library.
    
71.                           This package requires: gsl, libspg, elpa, scalapack, hdf5 and libxc.
    
72.                           Default = install
    
73.   --with-gsl              Enable the gnu scientific library (required for PLUMED and SIRIUS)
    
74.                           Default = install
    
75.   --with-libvdwxc         Enable support of Van der Waals interactions in SIRIUS. Support provided by libvdwxc
    
76.                           Default = install
    
77.   --with-spglib           Enable the spg library (search of symmetry groups)
    
78.                           This package depends on cmake.
    
79.                           Default = install
    
80.   --with-hdf5             Enable the hdf5 library (used by the sirius library)
    
81.                           Default = install
    
82.   --with-spfft            Enable the spare fft used in SIRIUS (hard dependency)
    
83.                           Default = install
    
84.   --with-spla             Enable the Specialized Parallel Linear Algebra library (required by SIRIUS)
    
85.                           Default = install
    
86.   --with-cosma            Enable cosma as a replacement for scalapack matrix multiplication
    
87.                           Default = install
    
88.   --with-libvori          Enable libvori for the Voronoi integration (and the BQB compressed trajectory format)
    
89.                           Default = install
    
90.   --with-libtorch         Enable libtorch the machine learning framework needed for NequIP and Allegro
    
91.                           Default = no
    

复制代码

所以，并不是所有的 --with-PKG 都需要写（这里的 PKG 代表想安装的库）。 toolchain 里必须安装的库都是默认安装的，有些库需要在编译的时候手动填写 install.

也许是因为你用 spack安装的原因？ 我没接触过 spack，不知道是否有冲突？

啊不错的飞过海

乐平 发表于 2023-8-18 21:20
如果你 vi  install_cp2k_toolchain.sh 会看到， sirius, gsl, libspg, elpa, scalapack, hdf5, libxc[/b ...

sirius、spla等几个库是有gpu实现的。cp2k的toolchain似乎只能装cpu或cuda版本，rocm版本得手动安装，索性就都自己装了。

angervlf

djjj148 发表于 2023-8-18 09:50
本地编译很折腾，如果集群允许，用docker配合singularity做镜像很省心，运行官方给的Dockerfile，挂机睡一 ...

docker小白想问一下，使用docker的话会有性能损失嘛，如果损失的话一般会损失多少？

啊不错的飞过海

angervlf 发表于 2023-8-28 20:34
docker小白想问一下，使用docker的话会有性能损失嘛，如果损失的话一般会损失多少？

损失很小，印象官方测试的结果是不到5%还是10%？能用docker放心用即可，早几天用上省下的编译时间足够把性能损失cover掉了（笑

abin

apptainer singularity
性能损失，完全可以忽略。

如果你要中文资料，华为sig-HPC 有测试。

英文资料，压根就没有提过性能损失……
所以，意味着，这玩意没有性能损失呀……

这东西，不是虚拟机……

鄙人有一个简短的中文资料，
去CSDN搜索hpc4you，就可以看到。

DoorBell

牧生 发表于 2023-8-16 21:15
目前试了几次，还没能顺利装上cp2k-2023.2
主要是最后make的时候，提示git有什么不对。我也没深究，也没去 ...

用git clone来下载源码，最后按要求运行那个git命令就行。不要用tar.gz解压出来的源码，是少了一些隐藏文件的，git clone提示我文件夹不为空才意识到git clone下来的代码和tar.gz不一样

DoorBell

其安装quip时候，有时候会要求一个/${cp2k}/tools/toolchain/install/quip-${version}/git_version文件存在，但它还没有被创建，于是就报错退出。楼主懒得手动安装quip了，于是直接选择不链接quip。期待坛友补充可行方案。

对于我自己的环境，只要注释掉AOCC和AOCL的环境变量，只保留GNU编译器就可以正常安装QUIP