在有 slurm 的集群中编译 CP2K 报错（后续更新）

乐平

最近在装有 slurm 作业调度系统的集群里用 toolchain 编译 CP2K 2022.02 时候，到 openmpi 这一步是发现如下的报错

1. ==================== Installing OpenMPI ====================
   
2. openmpi-4.1.1.tar.gz is found
   
3. Installing from scratch into /public/home/clxy_wh/myapps/cp2k202202/tools/toolchain/install/openmpi-4.1.1
   
4. Slurm installation found. OpenMPI will be configured with --with-pmi.
   
5. checking for perl... perl
   
6. 
   
7. ============================================================================
   
8. == Configuring Open MPI
   
9. ============================================================================
   
10. 
    
11. *** Startup tests
    
12. checking build system type... x86_64-pc-linux-gnu
    
13. checking host system type... x86_64-pc-linux-gnu
    
14. checking target system type... x86_64-pc-linux-gnu
    
15. checking for gcc... /public/home/clxy_wh/myapps/cp2k202202/tools/toolchain/install/gcc-12.1.0/bin/gcc
    
16. checking whether the C compiler works... yes
    
17. checking for C compiler default output file name... a.out
    
18. checking for suffix of executables...
    
19. checking whether we are cross compiling... no
    
20. checking for suffix of object files... o
    
21. checking whether we are using the GNU C compiler... yes
    
22. checking whether /public/home/clxy_wh/myapps/cp2k202202/tools/toolchain/install/gcc-12.1.0/bin/gcc accepts -g... yes
    
23. checking for /public/home/clxy_wh/myapps/cp2k202202/tools/toolchain/install/gcc-12.1.0/bin/gcc option to accept ISO C89... none needed
    
24. checking whether /public/home/clxy_wh/myapps/cp2k202202/tools/toolchain/install/gcc-12.1.0/bin/gcc understands -c and -o together... yes
    
25. checking how to run the C preprocessor... /public/home/clxy_wh/myapps/cp2k202202/tools/toolchain/install/gcc-12.1.0/bin/gcc -E
    
26. checking for grep that handles long lines and -e... /usr/bin/grep
    
27. checking for egrep... /usr/bin/grep -E
    
28. checking for ANSI C header files... yes
    
29. checking for sys/types.h... yes
    
30. checking for sys/stat.h... yes
    
31. checking for stdlib.h... yes
    
32. checking for string.h... yes
    
33. checking for memory.h... yes
    
34. checking for strings.h... yes
    
35. checking for inttypes.h... yes
    
36. checking for stdint.h... yes
    
37. checking for unistd.h... yes
    
38. checking minix/config.h usability... no
    
39. checking minix/config.h presence... no
    
40. checking for minix/config.h... no
    
41. checking whether it is safe to define __EXTENSIONS__... yes
    
42. checking for a BSD-compatible install... /usr/bin/install -c
    
43. checking whether build environment is sane... yes
    
44. checking for a thread-safe mkdir -p... /usr/bin/mkdir -p
    
45. checking for gawk... gawk
    
46. checking whether make sets $(MAKE)... yes
    
47. checking for style of include used by make... GNU
    
48. checking whether make supports nested variables... yes
    
49. checking whether UID '1089' is supported by ustar format... yes
    
50. checking whether GID '100' is supported by ustar format... yes
    
51. checking how to create a ustar tar archive... gnutar
    
52. checking dependency style of /public/home/clxy_wh/myapps/cp2k202202/tools/toolchain/install/gcc-12.1.0/bin/gcc... gcc3
    
53. checking whether make supports nested variables... (cached) yes
    
54. checking directory of source tree... .
    
55. checking directory of absolute source tree... /public/home/clxy_wh/myapps/cp2k202202/tools/toolchain/build/openmpi-4.1.1
    
56. checking directory of build tree... /public/home/clxy_wh/myapps/cp2k202202/tools/toolchain/build/openmpi-4.1.1
    
57. checking directory of prefix... /public/home/clxy_wh/myapps/cp2k202202/tools/toolchain/install/openmpi-4.1.1
    
58. checking directory of absolute prefix... /public/home/clxy_wh/myapps/cp2k202202/tools/toolchain/install/openmpi-4.1.1
    
59. 
    
60. *** Checking versions
    
61. checking for repo version... v4.1.1
    
62. checking Open MPI version... 4.1.1
    
63. checking Open MPI release date... Apr 24, 2021
    
64. checking Open MPI repository version... v4.1.1
    
65. checking for repo version... v4.1.1
    
66. checking Open MPI Run-Time Environment version... 4.1.1
    
67. checking Open MPI Run-Time Environment release date... Apr 24, 2021
    
68. checking Open MPI Run-Time Environment repository version... v4.1.1
    
69. checking for repo version... v4.1.1
    
70. checking Open SHMEM version... 4.1.1
    
71. checking Open SHMEM release date... Apr 24, 2021
    
72. checking Open SHMEM repository version... v4.1.1
    
73. checking for repo version... v4.1.1
    
74. checking Open Portable Access Layer version... 4.1.1
    
75. checking Open Portable Access Layer release date... Apr 24, 2021
    
76. checking Open Portable Access Layer repository version... v4.1.1
    
77. checking for bootstrap Autoconf version... 2.69
    
78. checking for bootstrap Automake version... 1.15
    
79. checking for boostrap Libtool version... 2.4.6
    
80. 
    
81. *** Initialization, setup
    
82. configure: builddir: /public/home/clxy_wh/myapps/cp2k202202/tools/toolchain/build/openmpi-4.1.1
    
83. configure: srcdir: /public/home/clxy_wh/myapps/cp2k202202/tools/toolchain/build/openmpi-4.1.1
    
84. installing to directory "/public/home/clxy_wh/myapps/cp2k202202/tools/toolchain/install/openmpi-4.1.1"
    
85. 
    
86. *** OPAL Configuration options
    
87. checking if want to run code coverage... no
    
88. checking if want to compile with branch probabilities... no
    
89. checking if want to debug memory usage... no
    
90. checking if want to profile memory usage... no
    
91. checking if want developer-level compiler pickyness... no
    
92. checking if want developer-level debugging code... no
    
93. checking if want to developer-level timing framework... no
    
94. checking if want to install project-internal header files... no
    
95. checking if want pretty-print stacktrace... yes
    
96. checking if want pty support... yes
    
97. checking if want weak symbol support... yes
    
98. checking if want dlopen support... yes
    
99. checking for default value of mca_base_component_show_load_errors... enabled by default
    
100. checking if want heterogeneous support... no
     
101. checking if word-sized integers must be word-size aligned... no
     
102. checking if want IPv6 support... no
     
103. checking if want package/brand string... Open MPI clxy_wh@login Distribution
     
104. checking if want ident string... 4.1.1
     
105. checking if want to use an alternative checksum algo for messages... no
     
106. checking maximum length of processor name... 256
     
107. checking maximum length of error string... 256
     
108. checking maximum length of object name... 64
     
109. checking maximum length of info key... 36
     
110. checking maximum length of info val... 256
     
111. checking maximum length of port name... 1024
     
112. checking maximum length of datarep string... 128
     
113. checking if want getpwuid support... yes
     
114. checking for zlib in... (default search paths)
     
115. checking zlib.h usability... yes
     
116. checking zlib.h presence... yes
     
117. checking for zlib.h... yes
     
118. looking for library without search path
     
119. checking for library containing deflate... -lz
     
120. checking if libz requires libnl v1 or v3...
     
121. checking will zlib support be built... yes
     
122. checking __NetBSD__... no
     
123. checking __FreeBSD__... no
     
124. checking __OpenBSD__... no
     
125. checking __DragonFly__... no
     
126. checking __386BSD__... no
     
127. checking __bsdi__... no
     
128. checking __APPLE__... no
     
129. checking __linux__... yes
     
130. checking __sun__... no
     
131. checking __sun... no
     
132. checking netdb.h usability... yes
     
133. checking netdb.h presence... yes
     
134. checking for netdb.h... yes
     
135. checking netinet/in.h usability... yes
     
136. checking netinet/in.h presence... yes
     
137. checking for netinet/in.h... yes
     
138. checking netinet/tcp.h usability... yes
     
139. checking netinet/tcp.h presence... yes
     
140. checking for netinet/tcp.h... yes
     
141. checking for struct sockaddr_in... yes
     
142. checking if --with-cuda is set... not set (--with-cuda=)
     
143. checking whether CU_POINTER_ATTRIBUTE_SYNC_MEMOPS is declared... no
     
144. checking whether cuPointerGetAttributes is declared... no
     
145. checking if have cuda support... no
     
146. checking if user requested PMI support... yes
     
147. checking for pmi.h in /usr/include... not found
     
148. checking for pmi.h in /usr/include/slurm... not found
     
149. checking for PMI_Init in -lpmi... no
     
150. checking for pmi2.h in /usr/include... not found
     
151. checking for pmi2.h in /usr/include/slurm... not found
     
152. checking for PMI2_Init in -lpmi2... no
     
153. checking for pmix.h in ... not found
     
154. checking for pmix.h in /include... not found
     
155. checking can PMI support be built... no
     
156. configure: WARNING: PMI support requested (via --with-pmi) but neither pmi.h,
     
157. configure: WARNING: pmi2.h or pmix.h were found under locations:
     
158. configure: WARNING:
     
159. configure: WARNING:     /slurm
     
160. configure: WARNING: Specified path: yes
     
161. configure: WARNING: OR neither libpmi, libpmi2, or libpmix were found under:
     
162. configure: WARNING:     /lib
     
163. configure: WARNING:     /lib64
     
164. configure: WARNING: Specified path:
     
165. configure: error: Aborting
     
166. make: *** No targets specified and no makefile found.  Stop.
     
167. make: *** No rule to make target `install'.  Stop.
     
168. /public/home/clxy_wh/myapps/cp2k202202/tools/toolchain/scripts/tool_kit.sh: line 708: /public/home/clxy_wh/myapps/cp2k202202/tools/toolchain/install/openmpi-4.1.1/install_successful: No such file or directory
     
169. (scienv) [clxy_wh@login toolchain]$
     
170. (scienv) [clxy_wh@login toolchain]$

复制代码

从警告的信息来看，是没有pmi.h, pmi2.h 或 pmix.h 这几个文件，或者没有 libmpi, libmpi2 或 libmpix 这几个文件？ 没找到目标对应的 makefile？

但是在 PBS 作业调度系统里编译 PC2K 到 openmpi 这一步不会报错，能很顺利通过编译。

请教各位如何解决，先谢谢啦。

kotori

乐平 发表于 2024-7-21 15:05
谢谢您的讨论
我之前是注释掉了这几行，见 7 楼的内容
http://bbs.keinsci.com/forum.php?mod=redirect ...

感谢您指出问题，这里我表达有误

1. which srun
   
2. /path_to_slurm/slurm/bin/srun

复制代码

这里主要是用which命令定位slurm的安装位置，实际只需要填写/path_to_slurm/slurm/部分，不需要加上/bin或者/include的额外路径，安装openmpi的过程中就能正确的找到PMI的头文件，例如下面是我编译过程中的日志信息

configure:12787: checking if user requested PMI support
configure:12794: result: yes
configure:12818: checking for pmi.h in /path_to_slurm/slurm
configure:12825: result: not found
configure:12827: checking for pmi.h in /path_to_slurm/slurm/include
configure:12834: result: not found
configure:12836: checking for pmi.h in /path_to_slurm/slurm/include/slurm
configure:12839: result: found

这样编译过程中就能顺利找到pmi.h头文件，就不会出现报错了

乐平

kotori 发表于 2024-7-21 02:00
最近在组里新机器上编译也遇到了这个问题
定位了一下问题发现是tools/toolchain/scripts/stage1/install_o ...

谢谢您的讨论
我之前是注释掉了这几行，见 7 楼的内容
http://bbs.keinsci.com/forum.php ... 10&fromuid=1532


另外，您提到

1. which srun

复制代码

这里返回的 srun 的路径

但是，补充的路径却写着

1. EXTRA_CONFIGURE_FLAGS="--with-pmi=/path_to_slurm/slurm"

复制代码

是不是笔误？或者会造成误解？

kotori

最近在组里新机器上编译也遇到了这个问题
定位了一下问题发现是tools/toolchain/scripts/stage1/install_openmpi.sh里面的第60行

1. EXTRA_CONFIGURE_FLAGS="--with-pmi"

复制代码

这里如果不指定slurm安装路径，就会从默认位置查找，这里只需要查找一下集群的slurm安装路径

1. which srun

复制代码

然后修改install_openmpi.sh，将实际的安装路径填上就可以了，例如

1. EXTRA_CONFIGURE_FLAGS="--with-pmi=/path_to_slurm/slurm"

复制代码

修改后就能正常完整openmpi编译了

doublezhang

也有不用动install_openmpi.sh的解决方案，可以echo $PATH 看看你的$PATH里有啥，然后把slurm的bin和其他没用的path都从path里清出去

NUAAjj

乐平 发表于 2023-4-23 20:39
专门回来感谢您！

最终还是绕过了 slurm，编译成功。

很好的解决了问题 谢谢您

海鸥

乐平 发表于 2023-12-20 10:26
你说的是哪个问题？

编译问题已经解决，看我最后的回复。

你好，之前问的是编译的问题；不过后续我用module采用用集群的gcc9.3.0 然后安装toolchain里的openmpi，就没有报错了；可以正常运行，谢谢回复！

乐平

海鸥 发表于 2023-12-19 16:29
楼主现在有解决这个问题吗

你说的是哪个问题？

编译问题已经解决，看我最后的回复。

测试还是那几个没通过

open mpi 还是有类似的 .log

海鸥

楼主现在有解决这个问题吗

乐平

pwzhou 发表于 2023-3-30 19:41
另外，安装opnempi时可以不用--with-pmi，后期照样可以用slurm来调度，所以可以在编译的时候把slurm的路 ...

专门回来感谢您！

最终还是绕过了 slurm，编译成功。

具体而言是注释掉了 tools/toolchain/scripts/stage1/install_openmpi.sh 里第 58 -- 63 行，以及第 68 -- 69 行。

1. 58 #      if [ $(command -v srun) ]; then
   
2. 59 #        echo "Slurm installation found. OpenMPI will be configured with --with-pmi."
   
3. 60 #        EXTRA_CONFIGURE_FLAGS="--with-pmi"
   
4. 61 #      else
   
5. 62 #        EXTRA_CONFIGURE_FLAGS=""
   
6. 63 #      fi
   
7. 64       # We still require MPI-1.0-compatability for PTSCOTCH
   
8. 65       ./configure CFLAGS="${CFLAGS}" \
   
9. 66         --prefix=${pkg_install_dir} \
   
10. 67         --libdir="${pkg_install_dir}/lib" \
    
11. 68 #      --enable-mpi1-compatibility \
    
12. 69 #        ${EXTRA_CONFIGURE_FLAGS} \
    
13. 70         > configure.log 2>&1 || tail -n ${LOG_LINES} configure.log
    
14. 71       make -j $(get_nprocs) > make.log 2>&1 || tail -n ${LOG_LINES} make.log
    
15. 72       make -j $(get_nprocs) install > install.log 2>&1 || tail -n ${LOG_LINES} install.log
    
16. 73       cd ..
    
17. 74       write_checksums "${install_lock_file}" "${SCRIPT_DIR}/stage1/$(basename ${SCRIPT_NAME})"

复制代码

跳过了 slurm 之后就一切顺利了。

编译完之后运行测试，

1. make ARCH=local VERSION=psmp TESTOPTS+="--mpiranks 4 --ompthreads 4 --timeout 2000" test

复制代码

经过大约 47 分钟，最终得到测试报告如下：

1. ------------------------------- Summary --------------------------------
   
2. Number of FAILED  tests 5
   
3. Number of WRONG   tests 2
   
4. Number of CORRECT tests 3926
   
5. Total number of   tests 3933
   
6. 
   
7. Summary: correct: 3926 / 3933; wrong: 2; failed: 5; 47min
   
8. Status: FAILED
   
9. 
   
10. *************************** Testing ended ******************************
    
11. make[3]: *** [test] Error 7
    
12. make[2]: *** [test] Error 2
    
13. make[1]: *** [psmp] Error 2
    
14. make: *** [test] Error 2

复制代码

3933 个测试任务正常完成 3926 个，有 5 个失败，2 个错误。这些内容可以 regtesting/TEST-local-psmp-XXXXX/error_summary（XXXXX 为运行测试的年-月-日_时间），具体错误的算例包括：

1. TMC/regtest_ana_on_the_fly/TMC_ana_start_with_exist_traj.inp.out
   
2. TMC/regtest_ana_on_the_fly/TMC_ana_restart.inp.out
   
3. QS/regtest-gpw-4/H2O-debug-5.inp.out
   
4. QS/regtest-gpw-4/H2O-debug-6.inp.out
   
5. QS/regtest-nmr-6/no-gapw-1-distributed.inp.out
   
6. QS/regtest-nmr-1/H2O-NMR-4.inp.out
   
7. QS/regtest-nmr-2/he2_bug_disp.inp.out

复制代码

从 error_summary 中还可以看到有如下的警告和报错信息：

1. *** WARNING in tmc/tmc_worker.F:401 :: analysis old trajectory up to elem ***
   
2. ***     30                   . Read trajectory file.                      ***
   
3. 
   
4. TMC_ANA| read xyz file                             ./tmc_trajectory_T300.00.xyz
   
5. TMC_ANA| read cell file                           ./tmc_trajectory_T300.00.cell
   
6. 
   
7. *** WARNING in tmc/tmc_file_io.F:645 :: end of position file reached at ***
   
8. *** line  4.1500E+02              , last element     30                 ***
   
9. 
   
10. 
    
11. *** WARNING in tmc/tmc_worker.F:401 :: analysis old trajectory up to elem ***
    
12. ***     50                   . Read trajectory file.                      ***
    
13. 
    
14. TMC_ANA| read xyz file                             ./tmc_trajectory_T380.00.xyz
    
15. TMC_ANA| read cell file                           ./tmc_trajectory_T380.00.cell
    
16. 
    
17. *** WARNING in tmc/tmc_file_io.F:645 :: end of position file reached at ***
    
18. *** line  8.7500E+02              , last element     50                 ***
    
19. 
    
20. 
    
21. *** WARNING in tmc/tmc_worker.F:401 :: analysis old trajectory up to elem ***
    
22. ***     34                   . Read trajectory file.                      ***
    
23. 
    
24. TMC_ANA| read xyz file                             ./tmc_trajectory_T460.00.xyz
    
25. TMC_ANA| read cell file                           ./tmc_trajectory_T460.00.cell
    
26. 
    
27. *** WARNING in tmc/tmc_file_io.F:645 :: end of position file reached at ***
    
28. *** line  5.3000E+02              , last element     34                 ***
    
29. 
    
30. 
    
31. Program received signal SIGSEGV: Segmentation fault - invalid memory reference.
    
32. 
    
33. Backtrace for this error:
    
34. #0  0x2b814a2b627f in ???
    
35. #1  0xc796fd in create_analysis_request_message
    
36.         at /public/home/clxy_wh/myapps/cp2k202301/src/tmc/tmc_messages.F:1476
    
37. #2  0xc86d06 in __tmc_messages_MOD_tmc_message
    
38.         at /public/home/clxy_wh/myapps/cp2k202301/src/tmc/tmc_messages.F:192
    
39. #3  0xc5bdb6 in send_analysis_tasks
    
40.         at /public/home/clxy_wh/myapps/cp2k202301/src/tmc/tmc_master.F:190
    
41. #4  0xc5bdb6 in __tmc_master_MOD_do_tmc_master
    
42.         at /public/home/clxy_wh/myapps/cp2k202301/src/tmc/tmc_master.F:622
    
43. #5  0xc359b5 in __tmc_setup_MOD_do_tmc
    
44.         at /public/home/clxy_wh/myapps/cp2k202301/src/tmc/tmc_setup.F:220
    
45. #6  0x8f8257 in cp2k_run
    
46.         at /public/home/clxy_wh/myapps/cp2k202301/src/start/cp2k_runs.F:319
    
47. #7  0x8fc1a0 in __cp2k_runs_MOD_run_input
    
48.         at /public/home/clxy_wh/myapps/cp2k202301/src/start/cp2k_runs.F:997
    
49. #8  0x8f7442 in cp2k
    
50.         at /public/home/clxy_wh/myapps/cp2k202301/src/start/cp2k.F:379
    
51. #9  0x4da39c in main
    
52.         at /public/home/clxy_wh/myapps/cp2k202301/src/start/cp2k.F:44
    
53. --------------------------------------------------------------------------
    
54. Primary job  terminated normally, but 1 process returned
    
55. a non-zero exit code. Per user-direction, the job has been aborted.
    
56. --------------------------------------------------------------------------
    
57. --------------------------------------------------------------------------
    
58. mpiexec noticed that process rank 3 with PID 0 on node login exited on signal 11 (Segmentation fault).
    
59. --------------------------------------------------------------------------
    
60. [login:50592] 7 more processes have sent help message help-mpi-btl-openib.txt / no device params found
    
61. [login:50592] Set MCA parameter "orte_base_help_aggregate" to 0 to see all help / error messages
    
62. [login:50592] 11 more processes have sent help message help-mpi-btl-openib-cpc-base.txt / no cpcs for port

复制代码

似乎是内存以及 open mpi 的问题造成的？


单独拿 benchmark/QS/H2O-64.inp 作为测试例子，用 slurm 作业调度系统提交任务，

1. #!/bin/bash
   
2. #SBATCH --job-name=cp2kTest
   
3. #SBATCH --nodes=1
   
4. #SBATCH --ntasks-per-node=56
   
5. #SBATCH --cpus-per-task=1
   
6. #SBATCH --partition=debug
   
7. #SBATCH --output=%j.log
   
8. 
   
9. #### load the environment
   
10. module purge
    
11. 
    
12. source /public/software/apps/cp2k-2023.1/tools/toolchain/install/setup
    
13. 
    
14. EXEC=/public/software/apps/cp2k-2023.1/exe/local/cp2k.popt
    
15. 
    
16. 
    
17. cd $SLURM_SUBMIT_DIR
    
18. 
    
19. mpirun -np $SLURM_NTASKS $EXEC -i H2O-64.inp -o H2O-64.out

复制代码

能运行得到结果。 H2O-64.out 文件似乎是正常的，能正常完成自洽计算（SCF），速度也还算比较快。

1. -------------------------------------------------------------------------------
   
2. -                                                                             -
   
3. -                                T I M I N G                                  -
   
4. -                                                                             -
   
5. -------------------------------------------------------------------------------
   
6. SUBROUTINE                       CALLS  ASD         SELF TIME        TOTAL TIME
   
7.                                 MAXIMUM       AVERAGE  MAXIMUM  AVERAGE  MAXIMUM
   
8. CP2K                                 1  1.0    0.516    0.553   59.831   59.840
   
9. qs_mol_dyn_low                       1  2.0    0.011    0.019   57.545   57.566
   
10. qs_forces                           11  3.9    0.007    0.019   57.304   57.311
    
11. qs_energies                         11  4.9    0.005    0.011   53.972   53.983
    
12. scf_env_do_scf                      11  5.9    0.036    0.050   48.726   48.728
    
13. scf_env_do_scf_inner_loop          108  6.5    0.006    0.075   44.878   44.881
    
14. velocity_verlet                     10  3.0    0.007    0.018   34.088   34.090
    
15. dbcsr_multiply_generic            2286 12.5    0.129    0.158   20.057   20.268
    
16. rebuild_ks_matrix                  119  8.3    0.002    0.002   19.288   19.402
    
17. qs_ks_build_kohn_sham_matrix       119  9.3    0.026    0.046   19.287   19.400
    
18. qs_scf_new_mos                     108  7.5    0.001    0.001   17.330   17.531
    
19. qs_scf_loop_do_ot                  108  8.5    0.001    0.001   17.329   17.530
    
20. qs_ks_update_qs_env                119  7.6    0.001    0.002   17.143   17.246
    
21. ot_scf_mini                        108  9.5    0.003    0.003   16.234   16.356
    
22. sum_up_and_integrate               119 10.3    0.041    0.045   13.975   14.019
    
23. integrate_v_rspace                 119 11.3    0.004    0.005   13.934   13.978
    
24. qs_rho_update_rho_low              119  7.7    0.002    0.007   13.664   13.761
    
25. calculate_rho_elec                 119  8.7    0.025    0.033   13.662   13.760
    
26. multiply_cannon                   2286 13.5    0.193    0.216   12.035   12.706
    
27. multiply_cannon_loop              2286 14.5    0.311    0.373   10.603   11.163
    
28. mp_waitall_1                    216986 16.5    7.806   11.080    7.806   11.080
    
29. ot_mini                            108 10.5    0.002    0.002   10.200   10.349
    
30. multiply_cannon_metrocomm3       64008 15.5    0.098    0.123    6.259    9.633
    
31. grid_collocate_task_list           119  9.7    8.680    9.011    8.680    9.011
    
32. grid_integrate_task_list           119 12.3    8.360    8.603    8.360    8.603
    
33. qs_ot_get_derivative               108 11.5    0.003    0.009    6.880    7.015
    
34. rs_pw_transfer                     974 11.9    0.013    0.015    5.924    6.262
    
35. density_rs2pw                      119  9.7    0.008    0.019    4.329    4.608
    
36. make_m2s                          4572 13.5    0.098    0.126    4.203    4.444
    
37. potential_pw2rs                    119 12.3    0.006    0.007    4.257    4.279
    
38. multiply_cannon_multrec          64008 15.5    2.088    4.102    2.102    4.117
    
39. make_images                       4572 14.5    0.171    0.193    3.537    3.824
    
40. init_scf_loop                       11  6.9    0.032    0.034    3.794    3.799
    
41. init_scf_run                        11  5.9    0.001    0.002    3.780    3.781
    
42. scf_env_initial_rho_setup           11  6.9    0.007    0.009    3.779    3.780
    
43. pw_transfer                       1439 11.6    0.089    0.098    3.594    3.779
    
44. fft_wrap_pw1pw2                   1201 12.6    0.011    0.011    3.442    3.623
    
45. mp_sum_l                         11218 13.2    2.643    3.319    2.643    3.319
    
46. ot_diis_step                       108 11.5    0.008    0.015    3.260    3.285
    
47. mp_waitany                       32348 13.8    2.662    3.134    2.662    3.134
    
48. qs_ot_get_derivative_taylor         59 13.0    0.001    0.002    3.045    3.119
    
49. apply_preconditioner_dbcsr         119 12.6    0.000    0.000    2.957    3.097
    
50. apply_single                       119 13.6    0.000    0.000    2.956    3.097
    
51. fft3d_ps                          1201 14.6    1.062    1.379    2.803    2.974
    
52. multiply_cannon_metrocomm4       59436 15.5    0.166    0.198    1.513    2.914
    
53. fft_wrap_pw1pw2_140                487 13.2    0.253    0.276    2.517    2.737
    
54. mp_irecv_dv                     145658 16.0    1.270    2.668    1.270    2.668
    
55. wfi_extrapolate                     11  7.9    0.014    0.038    2.624    2.624
    
56. qs_ot_get_p                        119 10.4    0.004    0.016    2.403    2.589
    
57. qs_ks_update_qs_env_forces          11  4.9    0.000    0.000    2.312    2.327
    
58. rs_pw_transfer_RS2PW_140           130 11.5    0.376    0.434    1.859    2.159
    
59. mp_alltoall_d11v                  2130 13.8    1.933    2.156    1.933    2.156
    
60. qs_ot_get_derivative_diag           49 12.0    0.002    0.003    1.945    2.010
    
61. make_images_sizes                 4572 15.5    0.005    0.006    1.467    1.875
    
62. mp_alltoall_i44                   4572 16.5    1.462    1.871    1.462    1.871
    
63. rs_pw_transfer_PW2RS_140           130 13.9    0.707    0.751    1.726    1.786
    
64. mp_sum_d                          4125 12.0    1.308    1.735    1.308    1.735
    
65. rs_gather_matrices                 119 12.3    0.083    0.094    1.261    1.487
    
66. cp_dbcsr_sm_fm_multiply             37  9.5    0.001    0.001    1.459    1.473
    
67. prepare_preconditioner              11  7.9    0.000    0.000    1.380    1.401
    
68. make_preconditioner                 11  8.9    0.005    0.013    1.380    1.401
    
69. calculate_dm_sparse                119  9.5    0.000    0.001    1.307    1.398
    
70. mp_alltoall_z22v                  1201 16.6    1.144    1.321    1.144    1.321
    
71. make_full_inverse_cholesky          11  9.9    0.000    0.000    1.259    1.318
    
72. qs_init_subsys                       1  2.0    0.033    0.040    1.260    1.270
    
73. -------------------------------------------------------------------------------
    
74. 
    
75. The number of warnings for this run is : 2
    
76. 
    
77. -------------------------------------------------------------------------------
    
78.   **** **** ******  **  PROGRAM ENDED AT                 2023-04-23 21:02:22.059
    
79. ***** ** ***  *** **   PROGRAM RAN ON                                     p12
    
80. **    ****   ******    PROGRAM RAN BY                                   clxy_wh
    
81. ***** **    ** ** **   PROGRAM PROCESS ID                                 32341
    
82.   **** **  *******  **  PROGRAM STOPPED IN /public/home/clxy_wh/tests/cp2k_tests

复制代码

不过呢，计算过程中会产生 “任务号.log” 文件，里面也有用 make test 出现的类似的报错信息

1. --------------------------------------------------------------------------
   
2. WARNING: No preset parameters were found for the device that Open MPI
   
3. detected:
   
4. 
   
5. Local host: p12
   
6. Device name: i40iw0
   
7. Device vendor ID: 0x8086
   
8. Device vendor part ID: 14289
   
9. 
   
10. Default device parameters will be used, which may result in lower
    
11. performance. You can edit any of the files specified by the
    
12. btl_openib_device_param_files MCA parameter to set values for your
    
13. device.
    
14. 
    
15. NOTE: You can turn off this warning by setting the MCA parameter
    
16. btl_openib_warn_no_device_params_found to 0.
    
17. --------------------------------------------------------------------------
    
18. --------------------------------------------------------------------------
    
19. No OpenFabrics connection schemes reported that they were able to be
    
20. used on a specific port. As such, the openib BTL (OpenFabrics
    
21. support) will be disabled for this port.
    
22. 
    
23. Local host: p12
    
24. Local device: mlx5_0
    
25. Local port: 1
    
26. CPCs attempted: rdmacm, udcm
    
27. --------------------------------------------------------------------------
    
28. [gpu12:32329] 111 more processes have sent help message help-mpi-btl-openib.txt / no device params found
    
29. [gpu12:32329] Set MCA parameter "orte_base_help_aggregate" to 0 to see all help / error messages
    
30. [gpu12:32329] 167 more processes have sent help message help-mpi-btl-openib-cpc-base.txt / no cpcs for port

复制代码

不知道这个 open mpi 报错信息应该如何纠正？ 或者不理它会不会有什么影响？

乐平

pwzhou 发表于 2023-3-30 19:41
另外，安装opnempi时可以不用--with-pmi，后期照样可以用slurm来调度，所以可以在编译的时候把slurm的路 ...

非常感谢您的回复。

我先联系曙光的工程师，把 slurm-devel 包装上试试。

pwzhou

pwzhou 发表于 2023-3-30 19:37
要正确编译的话需要slurm-devel这个包，这个包里面有需要的头文件。
看你这个目录安装的应该是曙光打包 ...

另外，安装opnempi时可以不用--with-pmi，后期照样可以用slurm来调度，所以可以在编译的时候把slurm的路径从环境变量里面临时去掉，然后openmpi编译的时候就不会自动加上--with-pmi了。所以，如果slurm-devel这个包的问题解决不了的话，就临时去掉slurm的环境变量再编译。

pwzhou

乐平 发表于 2023-3-30 19:20
谢谢回复

集群里 slurm 安装路径如下

要正确编译的话需要slurm-devel这个包，这个包里面有需要的头文件。
看你这个目录安装的应该是曙光打包的slurm，问问系统管理员或者曙光的工程师，让把slurm-devel这个包安装上即可。

乐平

abin 发表于 2023-3-30 18:53
找到slurm的相关文件即可。
如果这个集群采用的是自己修改或者自定义编译的slurm，
处理起来比较麻烦…… ...

谢谢回复

集群里 slurm 安装路径如下

1. [clxy_wh@login stage1]$ which sbatch
   
2. /opt/gridview/slurm/bin/sbatch

复制代码

分析得有道理，但是我打开 vi ~/myapps/cp2k202202/tools/toolchain/scripts/stage1/install_openmpi.sh 文件，试图搜关于 slurm 的信息
发现如下：



根本找不到 slurm 的关键词啊，我怎么告诉 openmpi 要在哪里添加 slurm 调度系统的位置呢？

abin

找到slurm的相关文件即可。
如果这个集群采用的是自己修改或者自定义编译的slurm，
处理起来比较麻烦……
找到安装位置即可。

另，在任何形式的机器上，如有调度器，
当然是编译MPI的时候，要告诉它，
要支持XXX调度器。