计算化学公社

标题: cp2k全家桶一键安装不挑系统 [打印本页]

作者
Author: abin 时间: 2022-4-26 09:15
标题: cp2k全家桶一键安装不挑系统
本帖最后由 abin 于 2022-4-26 16:16 编辑

需要机器具有docker和singularity. 这两个玩意自己google安装吧.

然后执行

singularity build cp2k-9.1.SIF docker://cp2k/cp2k:9.1

复制代码

耐心等待, 会得到镜像文件cp2k-9.1.SIF.

稍微改一下好听的名字, 并安装:

mkdir $HOME/bin
mv cp2k-9.1.SIF $HOME/bin/cp2k-v9.1.exe

复制代码

如何运行计算?
如果使用的是我修改后的版本,

cp2k-v9.1.exe 8 H2O-128.inp > logfile &

复制代码

如果机器有开着超线程, 会看到8个cp2k.psmp进程, 每一个CPU占用, 接近200%.
注意, 无需安装任何MPI.
无需加载任何module, 也无需在~/.bashrc中添加任何MPI设定.
使用官方原版呢, 看官方说明吧.

喜欢用docker的同学, 可以直接使用docker run.

完毕.

更多细节:
https://blog.csdn.net/hpc4you/article/details/124419142

本人修改后, 直接可用的镜像, 下载地址: https://gitee.com/hpc4you/linux
请查阅百度分享目录中的 readme-before-download.txt 文档先.

作者
Author: devilove 时间: 2022-4-26 12:55
感谢分享

作者
Author: gog 时间: 2022-4-26 15:39
数学库用的openblas还是 intel 的 mkl？

作者
Author: abin 时间: 2022-4-26 15:58
本帖最后由 abin 于 2022-4-26 16:07 编辑

gog 发表于 2022-4-26 15:39
数学库用的openblas还是 intel 的 mkl？

cp2k v9.1, v10.0-dev
均来自官方原版.
支持的信息大概如下(摘抄自官方)

cp2kflags: omp libint fftw3 libxc pexsi elpa parallel mpi3 scalapack cosma quip smm_dnn smm xsmm plumed2 spglib sirius libvori libbqb
compiler: GCC version 11.2.0
compiler options:
-cpp -I /opt/cp2k-toolchain/install/mpich-3.3.2/include -I /opt/cp2k
-toolchain/install/openblas-0.3.20/include -I /opt/cp2k-toolchain/in
stall/fftw-3.3.10/include -I /opt/cp2k-toolchain/install/libint-v2.6
.0-cp2k-lmax-5/include -I /opt/cp2k-toolchain/install/libxc-5.2.2/in
clude -I /opt/cp2k-toolchain/install/libxsmm-1.17/include -I /opt/cp
2k-toolchain/install/COSMA-2.5.1/include -I /opt/cp2k-toolchain/inst
all/elpa-2021.11.002/cpu/include/elpa_openmp-2021.11.002/modules -I
/opt/cp2k-toolchain/install/elpa-2021.11.002/cpu/include/elpa_openmp
-2021.11.002/elpa -I /opt/cp2k-toolchain/install/scotch-6.0.0/includ
e -I /opt/cp2k-toolchain/install/superlu_dist-6.1.0/include -I /opt/
cp2k-toolchain/install/pexsi-1.2.0/include -I /opt/cp2k-toolchain/in
stall/quip-b4336484fb65b0e73211a8f920ae4361c7c353fd/include -I /opt/
cp2k-toolchain/install/gsl-2.7/include -I /opt/cp2k-toolchain/instal
l/hdf5-1.12.0/include -I /opt/cp2k-toolchain/install/libvdwxc-0.4.0/
include -I /opt/cp2k-toolchain/install/spglib-1.16.2/include -I /opt
/cp2k-toolchain/install/SpFFT-1.0.5/include -I /opt/cp2k-toolchain/i
nstall/SpLA-1.5.3/include/spla -I /opt/cp2k-toolchain/install/sirius
-7.3.1/include -I /opt/cp2k/src/start/ -I /opt/cp2k/obj/local/psmp/e
xts/dbcsr -I /opt/cp2k-toolchain/install/mpich-3.3.2/include -I /opt
/cp2k-toolchain/install/mpich-3.3.2/include -imultiarch x86_64-linux
-gnu -D_REENTRANT -D __LIBXSMM -D __parallel -D __FFTW3 -D __LIBINT
-D __LIBXC -D __HAS_smm_dnn -D __SCALAPACK -D __COSMA -D __ELPA -D _
_LIBPEXSI -D __QUIP -D __GSL -D __PLUMED2 -D __HDF5 -D __LIBVDWXC -D
__SPGLIB -D __LIBVORI -D __SPFFT -D __SPLA -D __SIRIUS -D __COMPILE
_ARCH="local" -D __COMPILE_DATE="Fri Apr 1 11:03:48 UTC 2022" -D __
COMPILE_HOST="323e498f2560" -D __COMPILE_REVISION="git:aa9c8d9" -D _
_DATA_DIR="/opt/cp2k/data" -D __SHORT_FILE__="start/cp2k.F" -mtune=g
eneric -march=x86-64 -g -g -O2 -O3 -Werror=aliasing -Werror=ampersan
d -Werror=c-binding-type -Werror=intrinsic-shadow -Werror=intrinsics
-std -Werror=line-truncation -Werror=tabs -Werror=target-lifetime -W
error=underflow -Werror=unused-but-set-variable -Werror=unused-varia
ble -Werror=unused-dummy-argument -Werror=conversion -Werror=zerotri
p -Wno-maybe-uninitialized -Wuninitialized -Wuse-without-only -std=f
2008 -fPIC -fno-omit-frame-pointer -fopenmp -funroll-loops -fbacktra
ce -ffree-form -fimplicit-none -fallow-argument-mismatch -fpre-inclu
de=/usr/include/finclude/math-vector-fortran.h

百度共享链接中, 亦有提供其他版本. 比如 cp2k v7.1,
[wang@lab-itc v7.1]$ singularity inspect cp2k-v7.1-intel2018u4-skx-v2.SIF
Author: hpc4you@163.com
Caution: Only works on AVX512-enabled CPUs.
Dependency: None
Description: cp2k v7.1
Link: https://gitee.com/hpc4you/hpc
Note: All plugins and cp2k.v7.1 are compiled with intel2018u4, AVX512 enabled. CPU Multiplication driver XSMM, which is much faster than BLAS.
Plugins: libint-v2.6.0-cp2k-lmax-6, libxc-4.3.4, libxsmm-1.16.1, elpa-2020.05.001, plumed2-2.6.1

比如 cp2k v8.1,
[wang@lab-itc intel-share-version]$ singularity inspect cp2k-v8.1-intel2018u4-skx-v2.SIF
Author: hpc4you@163.com
Caution: Only works on AVX512-enabled CPUs.
Dependency: None
Description: cp2k v8.1
Link: https://gitee.com/hpc4you/hpc
Note: All plugins and cp2k.v8.1 are compiled with intel2018u4, AVX512 enabled. CPU Multiplication driver XSMM, which is much faster than BLAS.
Plugins: libint-v2.6.0-cp2k-lmax-6, libxc-4.3.4, libxsmm-1.16.1, elpa-2020.05.001, plumed2-2.6.1
org.label-schema.build-arch: amd64

后续的版本,
intel套件越来越庞大, GNU的套件, 效率也越来越好.
所以, 使用GNU/GCC + MPICH + openBLAS效果也挺好的.

从v8.2开始, 就算是使用官方最简单的intel.arch, 也会遭遇部分测试算例失败哦, 非常挑剔编译器的.
你可以试试, 使用intel编译器, 编译cp2k本体,以及各个组件试试.

作者
Author: xzysooyoung 时间: 2022-4-26 16:05
楼主您好！请问按照您的步骤，在执行./cp2k-v9.1.exe时，出现了如下报错。
[cp2k@bogon cp2k]$ ./cp2k-v9.1.exe
ln: failed to create symbolic link '/opt/cp2k/exe/local/cp2k': Read-only file system
请问这是什么原因呢？

作者
Author: abin 时间: 2022-4-26 16:08

xzysooyoung 发表于 2022-4-26 16:05
楼主您好！请问按照您的步骤，在执行./cp2k-v9.1.exe时，出现了如下报错。
[cp2k@bogon cp2k]$ ./cp2k-v9. ...

你用的不是我处理的镜像, 当然无法如此使用了.

如果使用官方的, 请学习docker.

CSDN我有描述, 我做了部分修改.

官方的docker, 缺少必要的设定, 无法使用, 具体去google group查询.

作者
Author: xzysooyoung 时间: 2022-4-26 16:28
楼主，就是说要是按照你的步骤安装，需要付费咨询或者付费购买是么？

作者
Author: abin 时间: 2022-4-26 16:44
本帖最后由 abin 于 2022-4-26 16:50 编辑

xzysooyoung 发表于 2022-4-26 16:28
楼主，就是说要是按照你的步骤安装，需要付费咨询或者付费购买是么？

如果你认可，
官方测试全通过，然后跑计算遇到问题，
应该去给github cp2k项目提供issues ，
而不是认为我必须给你解决，
那你可以试试我修改之后的直接可用之版本。
实际上就是把官方的docker做了一丁点修改。
其实，你也可以修改。

付费，你愿意的话，你自己提个建议吧…
省的又跑来一个高材生，
指责我“以扶贫价格羞辱他”。

或者你用官方的docker也可以。
就是用起来稍微多敲点东西而已。
我自己不理解docker，所以我认为那玩意太繁琐。

也许，诸位朋友看了，会觉得docker才好用。
反而是singularity apptainer才是邪门歪道。

另，我只是以实际的案列，来说明，
如果会用singularity，那么Linux平台的软件安装或者调试，
将非常简单。
复杂的依赖关系，
都可以通过一个简单的可执行文件来解决，
和微软上的使用思维特别相似。
关于singularity，我也在华为的openEuler看到了类似的东西，
似乎叫做贾维斯还是啥的…B站有他们公开的会议视频有。

本周，
我也会参与华为openEuler HPC小组讨论，
分享我捣鼓的hpc4you toolkit套件…会议视频会在B站公开，
如有兴致，可以自己查看。

作者
Author: gog 时间: 2022-4-26 21:31

abin 发表于 2022-4-26 15:58
cp2k v9.1, v10.0-dev
均来自官方原版.
支持的信息大概如下(摘抄自官方)

技术大牛！

作者
Author: abin 时间: 2022-4-27 18:07
补充一下,

关于docker singularity的基本使用,
可以自己查看official manual, 或者观摩这个, http://bbs.keinsci.com/thread-25773-1-1.html

如果你看了这个帖文里面的讨论之后,
能完全理解题主的操作在做啥, 也能理解我的回复在讲什么,
那么,
你完全有能力把SIF做成一个可执行的二进制文件, 而不必在host上准备和配置任何MPI等环境.
但是如果看不懂, 那么你需要花费一点点时间, 学习一下的.

另外提示, http://bbs.keinsci.com/thread-25773-1-1.html 这里面的某一个操作,
可能导致你自己构建的sandbox无法启用...
@djjj148 也许他运气好, 并没有遇到sandbox无法启用的情形.

作者
Author: abin 时间: 2022-4-27 18:32
本帖最后由 abin 于 2022-4-27 18:52 编辑

gog 发表于 2022-4-26 21:31
技术大牛！

别别... 其实我是个计算机外行...
我完全依照自己的理解和经验, 瞎搞呢...

我所有的设计方案都是, 让具备”熟练使用MicroSoft Word, PowerPoint, Excel"电脑技能的硕士博士新生,
能尽快的建立自己的工作平台,
并按照微软的惯性思维, 以单一可执行文件, app.exe, 直接运行的方式,
来加载科学计算.

期望能更简单, 学生不需要考虑这个依赖, 那个库.
如果并行, 只需写一个数字, 告诉几个核心, 然后后面加上输入文件即可.

对于很多做计算的硕士, 博士, 你仅仅需要难道计算输出的数据,
然后给这些数据提供合理的化学解释, 并支撑自己的实验数据, 预期, 以及导师的预期...

其他方面, 如果有兴趣, 可以学习. 前提是, 有兴趣, 看google official manual, 以及有时间.

仅代表个人言论...

另, 做简化方案, 是因为, 某一天看到新生对于互联网的认识, 和老人完全有代沟了....
事情是这样的.
集群有login banner,,,
有一行是 Manual, http://192.168.1.100/hpc
........
我问, 没看登录欢迎信息吗?
自己没看手册吗?
然后人家一脸茫然....
我以为, 微软登录没看到.
去现场, 使用学生的机器测试了一下, login banner正常, 黑色背景, 绿色信息...
我问, 没看这个?
答曰: 啊, 这东西要看吗? (又说了好几句, 大致意思, 机器启动都会有一堆字符串跳啊跳的, 这些用看吗, 不都不看的嘛....)
然后, 我打开浏览器, 在地址栏, 复制粘贴了 http://192.168.1.100/hpc, 并按了回车,
浏览器打开了一个网页.....

惊呼: 啊, 这个地方还可以自己写东西呀(指的是浏览器地址栏)....我以为打开这个, 显示啥, 就看啥. 顶多是把你说的地址粘贴到百度框框里面....

可能, 仅仅是一个特别典型的案列, 小朋友已经不理解什么是浏览器地址栏了....
那么, 小朋友把指令一股脑不分行, 粘贴到终端也不奇怪了....
那么, 小朋友, 不会给指令中间敲空格, 也不奇怪了.... 甚至分不清楚 /etc/hosts / etc/hos ts /ect/host 也就不难想象了....
好在, 我不是以上案例所描述的小朋友的指导老师.....

作者
Author: gog 时间: 2022-4-29 20:35
本帖最后由 gog 于 2022-4-29 20:39 编辑

abin 发表于 2022-4-27 18:32
别别... 其实我是个计算机外行...
我完全依照自己的理解和经验, 瞎搞呢...

商业收费软件，就建个模型，输入些参数，就可以提交计算任务了。
开源的软件嘛，自己编译计算程序、后处理程序和编写输入脚本，是普通得不能再普通的事情了。而这，对非计算机专业出身的用户，啊哈哈，太难了。
反正我一有空余时间，就会倒腾一下两下看看。

作者
Author: gog 时间: 2022-5-12 08:39
最新版CP2K测试，56核心，3728个测试例子，28分钟提升到11分钟。这速度。
https://www.bilibili.com/read/cv16561618

作者
Author: Penson 时间: 2022-5-12 16:03

gog 发表于 2022-5-12 08:39
最新版CP2K测试，56核心，3728个测试例子，28分钟提升到11分钟。这速度。
https://www.bilibili.com/read/ ...

9.1速度提升那么多吗？相比7.1能提升多少

作者
Author: gog 时间: 2022-5-12 16:19

Penson 发表于 2022-5-12 16:03
9.1速度提升那么多吗？相比7.1能提升多少

该是开发版本吧。dev版本

作者
Author: abin 时间: 2022-5-12 18:43
我提供的版本, 测试速度大概也如此.
的确是比7.1快一些的. 我是老旧的v3 36核心机器, 大约17分钟不到.

另, 当前dev, 报告的版本是10.0, 非9.2后者9.1.X.

作者
Author: Hanio 时间: 2022-5-15 22:04
本帖最后由 Hanio 于 2022-5-15 22:08 编辑

官方给的docker方式也挺适合初学者上手自用的~

The only prerequisite is to install Docker.

在单人服务器上用的话，docker感觉还是挺省事的；用在超算或者集群上的话，可能还是singularity更方便一些。

官方目前提供的镜像只有psmp版本的镜像，测试了一下，还是OK的；如果不想根据dockerfile自己build独家镜像的话，直接用dockerhub上的cp2k/cp2k镜像就OK。

（由于众所周知的原因，从dockerhub需要一些科学精神才能够流畅使用；有些科学软件可能无法代理shell的流量，目前来说比较稳妥的办法是架一个软路由来进行透明代理。

下面是test的结果。

$ docker run --rm -it --shm-size=1g cp2k/cp2k /bin/bash
## 因为只运行一次，所以这里在官方的基础上加了--rm参数
# cd /opt/cp2k
## 进入容器内cp2k的安装目录
# make -j 64 ARCH=psmp VERSION=psmp test

复制代码

----------------------------- Settings ---------------------------------
MPI ranks: 2
OpenMP threads: 2
GPU devices: 0
Workers: 32
Timeout [s]: 400
Work base dir: /opt/cp2k/regtesting/TEST-local-psmp-2022-05-15_12-43-00
MPI exec: ['mpiexec']
Keepalive: False
Debug: False
ARCH: local
VERSION: psmp
Flags: omp,libint,fftw3,libxc,pexsi,elpa,parallel,mpi3,scalapack,cosma,quip,smm_dnn,smm,xsmm,plumed2,spglib,sirius,libvori,libbqb
------------------------------------------------------------------------
------------------------------- Summary --------------------------------
Number of FAILED tests 0
Number of WRONG tests 0
Number of CORRECT tests 3694
Total number of tests 3694
Summary: correct: 3694 / 3694; 8min
Status: OK
*************************** Testing ended ******************************

复制代码

作者
Author: Penson 时间: 2022-5-17 11:38

gog 发表于 2022-5-12 16:19
该是开发版本吧。dev版本

可以，我有空也试试

作者
Author: gog 时间: 2022-5-19 19:42
本帖最后由 gog 于 2022-5-19 19:43 编辑

Penson 发表于 2022-5-17 11:38
可以，我有空也试试

开发版功能多，但容易跳坑里。遇到问题，要即时到GitHub反馈给开发组。不然的话，问题没解决方法，若非自己编程技术很厉害。

作者
Author: Acee 时间: 2022-6-7 15:23

gog 发表于 2022-5-12 08:39
最新版CP2K测试，56核心，3728个测试例子，28分钟提升到11分钟。这速度。
https://www.bilibili.com/read/ ...

10.0版本，16个核心，17分钟跑完3657个例子

作者
Author: gog 时间: 2022-6-11 07:35

Acee 发表于 2022-6-7 15:23
10.0版本，16个核心，17分钟跑完3657个例子

看着测试例子，功能还是差了点，少了些算例测试，71个例子。不过该是够用了。

作者
Author: wasd269358 时间: 2022-7-5 09:12

xzysooyoung 发表于 2022-4-26 16:05
楼主您好！请问按照您的步骤，在执行./cp2k-v9.1.exe时，出现了如下报错。
[cp2k@bogon cp2k]$ ./cp2k-v9. ...

因为官方sif镜像没有写环境变量，/.singularity.d/env/91-environment.sh

欢迎光临计算化学公社 (http://bbs.keinsci.com/)