计算化学公社

 找回密码 Forget password
 注册 Register
楼主 Author: djjj148
打印 Print 上一主题 Last thread 下一主题 Next thread

[CP2K] docker-singularity方法安装可随意移植的cp2k

  [复制链接 Copy URL]

1

帖子

0

威望

65

eV
积分
66

Level 2 能力者

106#
发表于 Post on 2021-12-6 21:03:48 | 只看该作者 Only view this author
感谢分享,请问提取码是多少?

2301

帖子

1

威望

5477

eV
积分
7798

Level 6 (一方通行)

107#
发表于 Post on 2021-12-6 23:20:29 | 只看该作者 Only view this author
nontons 发表于 2021-12-2 17:48
非常感谢您提出的方法,编译和测试都通过了,但是在使用的时候出现了这种问题,请问怎么解决呢?我是在root ...

MPI问题.

如果在裸机上无法安装成功,
直接在singularity中折腾, 会更糟糕.

High-Performance Computing for You
为您专属定制的高性能计算解决方案

更多讯息,请访问:
https://labitc.top
http://tophpc.top:8080
电邮: ask@hpc4you.top

13

帖子

0

威望

758

eV
积分
771

Level 4 (黑子)

108#
发表于 Post on 2021-12-7 15:22:11 | 只看该作者 Only view this author
abin 发表于 2021-12-6 23:20
MPI问题.

如果在裸机上无法安装成功,

谢谢您的回复,这个要怎么解决呢?
系统的intel版本是19.1.0.166,重装可以解决吗

2301

帖子

1

威望

5477

eV
积分
7798

Level 6 (一方通行)

109#
发表于 Post on 2021-12-7 17:57:12 | 只看该作者 Only view this author
nontons 发表于 2021-12-7 15:22
谢谢您的回复,这个要怎么解决呢?
系统的intel版本是19.1.0.166,重装可以解决吗

我不晓得你怎么设定的,
不晓得怎么解决。

一般而言,Linux平台上的东西,
重装并不会解决问题。
重装系统,再重刷软件,
可能解决问题。

你可能用了某些所谓的全局设定。
High-Performance Computing for You
为您专属定制的高性能计算解决方案

更多讯息,请访问:
https://labitc.top
http://tophpc.top:8080
电邮: ask@hpc4you.top

13

帖子

0

威望

758

eV
积分
771

Level 4 (黑子)

110#
发表于 Post on 2021-12-7 21:48:40 | 只看该作者 Only view this author
abin 发表于 2021-12-7 17:57
我不晓得你怎么设定的,
不晓得怎么解决。

谢谢您,我再看看

104

帖子

0

威望

3053

eV
积分
3157

Level 5 (御坂)

被催的人

111#
发表于 Post on 2021-12-20 16:16:36 | 只看该作者 Only view this author
老师们好,我在学校集群上测试时发现通过此方法得到的镜像文件在单节点(24核或80核)上运行效率优异,但多节点并行时速度极慢、疑似存在问题。

例如使用楼主老师提供的avx2指令集下的singularity镜像(配合singularity 3.8.4以及intel 2018),对于相同的计算,在使用24核(单节点)和80核(单节点)时每步SCF用时分别约为10.0 s和3.2 s(24核节点与80和节点内存大小不同。)、并行效率正常;但将三个24核节点并行、使用72核计算时,每步SCF用时竟高达25 s左右(多次测试均是如此,可以排除故障节点的因素;使用先前自行编译的CP2K 6.1时多节点并行效率正常,可以排除集群的因素。)、可以说起到了相反的并行效果。

不知道这个问题的原因是什么、是否能够得到解决?谢谢!

247

帖子

1

威望

2407

eV
积分
2674

Level 5 (御坂)

112#
发表于 Post on 2022-1-6 20:29:45 | 只看该作者 Only view this author
cp2k 9.1出来后第一时间用楼主的方案成功产生sif文件,而且第一个离子步卡住的bug也解决了,简单测试发现效率相比cp2k 8.2变化不大,甚至稍有提升,也可能测试体系较小。比我的vmware好用多了,感谢楼主分享
我唯一知道的就是我一无所知,但我是化学小迷弟

2301

帖子

1

威望

5477

eV
积分
7798

Level 6 (一方通行)

113#
发表于 Post on 2022-1-6 22:14:11 | 只看该作者 Only view this author
wth1219 发表于 2021-12-20 16:16
老师们好,我在学校集群上测试时发现通过此方法得到的镜像文件在单节点(24核或80核)上运行效率优异,但多 ...

SIF中的,采用的是MPI+OpenMP?

你之前的6系列版本,是MPI only还是 MPI+OpenMP?
High-Performance Computing for You
为您专属定制的高性能计算解决方案

更多讯息,请访问:
https://labitc.top
http://tophpc.top:8080
电邮: ask@hpc4you.top

104

帖子

0

威望

3053

eV
积分
3157

Level 5 (御坂)

被催的人

114#
发表于 Post on 2022-1-7 00:38:35 | 只看该作者 Only view this author
abin 发表于 2022-1-6 22:14
SIF中的,采用的是MPI+OpenMP?

你之前的6系列版本,是MPI only还是 MPI+OpenMP?

老师您好,我的SIF用的是楼主老师提供的avx2指令集版本,根据先前各位老师的测试结果应该是MPI only的popt版本?
我自己的6.1版本是popt,MPI only的。
感谢您的回复!

55

帖子

1

威望

1551

eV
积分
1626

Level 5 (御坂)

115#
发表于 Post on 2022-1-15 14:58:00 | 只看该作者 Only view this author
这个方法好诶,如果这个方法能移植ms就好了。

18

帖子

0

威望

1650

eV
积分
1668

Level 5 (御坂)

116#
发表于 Post on 2022-1-28 20:49:42 | 只看该作者 Only view this author
nontons 发表于 2021-12-2 17:48
非常感谢您提出的方法,编译和测试都通过了,但是在使用的时候出现了这种问题,请问怎么解决呢?我是在root ...

我直接复制了楼主的sif,也报错HYDU_create_process (../../utils/launch/launch.c:811): execvp error on file singularity (No such file or directory)

2301

帖子

1

威望

5477

eV
积分
7798

Level 6 (一方通行)

117#
发表于 Post on 2022-1-29 10:33:50 | 只看该作者 Only view this author
Puying 发表于 2022-1-15 14:58
这个方法好诶,如果这个方法能移植ms就好了。

High-Performance Computing for You
为您专属定制的高性能计算解决方案

更多讯息,请访问:
https://labitc.top
http://tophpc.top:8080
电邮: ask@hpc4you.top

135

帖子

0

威望

1549

eV
积分
1684

Level 5 (御坂)

118#
发表于 Post on 2022-1-29 18:16:13 | 只看该作者 Only view this author
ChemG 发表于 2022-1-6 20:29
cp2k 9.1出来后第一时间用楼主的方案成功产生sif文件,而且第一个离子步卡住的bug也解决了,简单测试发现效 ...

sif能共享一下不?

1060

帖子

0

威望

3262

eV
积分
4322

Level 6 (一方通行)

119#
发表于 Post on 2022-2-9 15:21:44 | 只看该作者 Only view this author
本帖最后由 乐平 于 2022-2-9 09:27 编辑
ggdh 发表于 2021-10-26 16:17
感谢大佬提示,
最后的脚本里面singularity后面加个选项--bind "/home:/home" 就搞定了

您好!我也遇到和你类似的问题。

我是将楼主百度网盘中的 cp2k82-avx512-1.sif 下载到服务器的共享目录里 /public/home/huan

我的测试输入文件是 cp2k 自带的 H2O-64.inp 文件,并改名为 cp2k.inp,放在  /public/home/huan/H2O_test
目录下。

运行楼主的提交脚本,并做了如下修改
1)在 singularity exec 后面加入了 --bind 参数,
2)根据自己服务器的 Intel 编译器位置进行修改,
如下:

  1. #!/bin/sh

  2. export EXE="singularity exec --bind /public/home/huan/:/opt /opt/cp2k82-avx512-1.sif"
  3. source /public/apps/intel2018/parallel_studio_xe_2018/psxevars.sh

  4. ## cpu cores
  5. export cpu_cores=24
  6. ulimit -s unlimited

  7. mpirun -np ${cpu_cores} ${EXE} cp2k.popt cp2k.inp 1>cp2k.out 2>cp2k.err
复制代码


但是,运行之后并没有得到计算结果。在 cp2k.err 中显示的是

  1. FATAL:   could not open image /opt/cp2k82-avx512-1.sif: failed to retrieve path for /opt/cp2k82-avx512-1.sif: lstat /opt/cp2k82-avx512-1.sif: no such file or directory
复制代码


说是没有 /opt/cp2k82 这个目录。但是,按我的理解是 cp2k82-avx512-1.sif 编译的时候,楼主是在他自己的 /opt/cp2k82 目录编译的,cp2k82-avx512-1.sif 本身就有这个 /opt/cp2k82 目录。

难道迁移 cp2k82-avx512-1.sif 到其他服务器的时候,也必须放在本地的 /opt/cp2k82 目录里?没有管理员权限没法复制到 /opt 目录啊

34

帖子

0

威望

1776

eV
积分
1810

Level 5 (御坂)

120#
发表于 Post on 2022-2-16 09:06:39 | 只看该作者 Only view this author
乐平 发表于 2022-2-9 15:21
您好!我也遇到和你类似的问题。

我是将楼主百度网盘中的 cp2k82-avx512-1.sif 下载到服务器的共享目 ...

尝试改成export EXE="singularity exec --bind /public/home/huan/:/opt /public/home/huan/cp2k82-avx512-1.sif"

本版积分规则 Credits rule

手机版 Mobile version|北京科音自然科学研究中心 Beijing Kein Research Center for Natural Sciences|京公网安备 11010502035419号|计算化学公社 — 北京科音旗下高水平计算化学交流论坛 ( 京ICP备14038949号-1 )|网站地图

GMT+8, 2024-11-25 11:56 , Processed in 0.635951 second(s), 26 queries , Gzip On.

快速回复 返回顶部 返回列表 Return to list