docker-singularity方法安装可随意移植的cp2k

flyingchow · 发表于 Post on 2021-11-2 00:50:21

jitou11 发表于 2021-10-30 13:58
我只是把自己测试的结果写出来而已，我提到虚拟机了？
我说的直接跑是按我昨天的回复，不加mpirun。

我觉得你这个mpi嵌套的过程，放在这个教程里面的确不妥。至少这个和如何顺利使用singularity无关。

abin · 发表于 Post on 2021-11-2 09:21:28

jitou11 发表于 2021-11-2 08:52
有啥不妥的？这就是他脚本里的东西，主机没有任何mpi那就是走不过去。他至少应该在开头提一句“需要主机 ...

也许是设定不当。

比如MS的Dmol3，运行没有啥问题呀……

和host有没有MPI没啥关系呀……

具体自己测试吧……

abin · 发表于 Post on 2021-11-2 09:21:53

jitou11 发表于 2021-11-2 08:52
有啥不妥的？这就是他脚本里的东西，主机没有任何mpi那就是走不过去。他至少应该在开头提一句“需要主机 ...

也许是设定不当。

比如MS的Dmol3，运行没有啥问题呀……

和host有没有MPI没啥关系呀……

具体自己测试吧……

abin · 发表于 Post on 2021-11-2 11:06:51

jitou11 发表于 2021-11-2 09:24
这个例子和当前的情况也没有啥关系啊？

我是想说，
如果一个程序需要MPI并行，
有两种选择。

1 在镜像中直接使用MPI来跑。

2 主机上使用MPI，镜像中仅仅提供各种Libs，
使用mpirun -n xxx singularity exec imgFile.SIF app inputs

两种方式都可以。

当然需要做必要的配置。
能否正确的跑起来，
看个人技术能力。
或者找一个IT技术做配置吧。

某些平台，也与调度器有关系的。

tianyongpan · 发表于 Post on 2021-11-2 11:58:23

前边安装测试都没有问题，但是到容器外运行的时候，就提示找不到psxevars.sh。我看了一下运行文件中的source，发现opt文件夹下连intel2018这个文件夹都没有，是咋回事

abin · 发表于 Post on 2021-11-2 12:17:00

jitou11 发表于 2021-11-2 11:26
差不多。
这个教程使用的是官网中的Hybrid model，它同时使用了主机和容器中的mpi。
命令是您2中的命令 ...

官方不在手册中提及intel系列工具,
原因可能是, 版权原因.

OneAPI公开免费是近期的时候, Singularity开发是比较早的事情, 那个时候intel工具链是需要付费的.
然后intel的版权协议, 也不会允许打包到镜像中, 再发布, 再移植这种.
Singularity开发方, 为了规避版权纠纷, 应该不会主动提及intel相关工具链的.

稍微花点功夫,
读一下手册, 你会发现intel MPI 和MPICH2, 以及MVAPICH2, 是兼容的.
意味着, 使用intelMPI编译之后的并行软件, 当然可以使用MPICH2来跑.

一个用来跑并行计算的工作站或者平台上,
GNU系列的MPI肯定是必备的.
系统上必定存在openMPI, MPICH2,等各种参数优化的MPI版本.

当然openMPI和MPICH2未必100%兼容.

比如cp2k的开发者, 在Dockerfile中就写很清楚,
包含intel工具链的方案, 仅供测试、展示.
最后得到的镜像, 由于版权限制, 不便于提供.

仅供参考.

ggdh · 发表于 Post on 2021-11-2 14:50:42

abin 发表于 2021-11-2 12:17
官方不在手册中提及intel系列工具,
原因可能是, 版权原因.

intel mpi和openmpi是不是不兼容.
我之前机器上有个mpirun 我直接用了,发现他是并行跑了n个cp2k的任务,而不是用n个核跑一个任务.
后来装了OneAPI的mpirun就好了

abin · 发表于 Post on 2021-11-2 16:00:28

ggdh 发表于 2021-11-2 14:50
intel mpi和openmpi是不是不兼容.
我之前机器上有个mpirun 我直接用了,发现他是并行跑了n个cp2k的任务, ...

intel MPI和 MPICH2 MVAPICH
我测试，我自己编译调试的VASP，
无论使用以上哪一个MPI，都运行正常。

测试网络是100Gbps IB，
vasp 5444使用intel工具链编译。

别的应用场景，不清楚，不晓得。

wth1219 · 发表于 Post on 2021-11-3 00:00:38

楼主您好，我在使用学校集群中编译的singularity 3.7.0（singularity --version // singularity version 3.7.0）和以下脚本：
export EXE="singularity exec ~/software/cp2k82-avx2-1.sif"
source /share/apps/intel/intel_2018u4/bin/compilervars.sh intel64
ulimit -s unlimited
mpirun -np 24 ${EXE} cp2k.popt *.inp 1 > cp2k.out 2 > cp2k.error

提交计算后，集群报错：“fatal error: runtime: out of memory”，下面还有一些列“runtime stack:”、“goroutine 1 [running, locked to thread]:”、“
goroutine 6 [syscall]:”等报错内容。
cp2k.error文件中的报错内容为“BAD TERMINATION OF ONE OF YOUR APPLICATION PROCESSES”，但所用的intel_2018u4可以正常运行他人编译的cp2k可执行文件，换用intel_2018u1和intel_2018u2亦未有改观。

想向您咨询一下这些报错可能是什么原因造成的？是singularity的版本问题吗？谢谢！

tianyongpan · 发表于 Post on 2021-11-3 17:30:50

本帖最后由 tianyongpan 于 2021-11-3 17:34 编辑

容器外采用oneapi运行没问题，但是产生好多盘符，做了几次都是这样，很奇怪

tianyongpan · 发表于 Post on 2021-11-3 17:37:10

本帖最后由 tianyongpan 于 2021-11-4 18:22 编辑

补上图片。后来发现，采用几个核计算，就会出现几个伪盘符，里边是打包的运行系统。不影响计算，umount后好像也不占用空间，但每次计算完都umount挺烦人的，高手可以讨论下怎么消除。有探索了下，不source oneapi的话，不会出现伪盘符，但只是单核运行计算。

djjj148 · 发表于 Post on 2021-11-3 17:40:19

本帖最后由 djjj148 于 2021-11-3 17:41 编辑

wth1219 发表于 2021-11-3 00:00
楼主您好，我在使用学校集群中编译的singularity 3.7.0（singularity --version // singularity version 3. ...

可能是singularity的问题。可以试试保持制作镜像的singularity版本和运行镜像的版本一致能否能解决这问题。

tianyongpan · 发表于 Post on 2021-11-4 18:23:20

jitou11 发表于 2021-11-4 15:15
今天在服务器上测试了一下，不加mpirun，直接
它的进程数是跟着实际运行的机器的cpu的最大进程数走的。
...

你用的可是oneapi?

wolfli369 · 发表于 Post on 2021-11-15 19:20:33

djjj148 发表于 2021-10-19 08:24
Google Linux查看指令集

请问，你打包的sif文件怎么在新服务器上运行？本人没有还没有接触过singularity，提前谢谢

watfros · 发表于 Post on 2021-11-23 10:02:17

如果是集群，每台服务器都需要单独安装singularity吗？

		自动登录 Automatic login	找回密码 Forget password
密码 Password			注册 Register

[CP2K] docker-singularity方法安装可随意移植的cp2k