计算化学公社

标题: 由于安装更新版本ORCA而导致的OpenMPI冲突应该如何处理？ [打印本页]

作者
Author: Caroline2022 时间: 2023-3-16 16:54
标题: 由于安装更新版本ORCA而导致的OpenMPI冲突应该如何处理？
本帖最后由 Caroline2022 于 2023-3-22 10:06 编辑

各位老师好，我是第一次在论坛发帖求助，如果哪里做的不合规，还请老师指正。
我是按照Sob老师的博文http://sobereva.com/451安装ORCA的，系统为CentOs 7。最初因为下载不到最新的ORCA安装文件，只能安装了ORCA4.1.0版本，对应的OpenMPI为3.1.3版，但是由于我粗心，在安装的时候将文件夹也命名成了老师帖子中的openmpi411，后面在修改.bashrc文件时发现了这个错误，但是也就将错就错的没有再去修改了。
后来发现ORCA无法正常运行，在群内求助了老师，老师建议不要使用老版本的ORCA，所以又几经周折下载到了ORCA 5.0.4版本的安装文件，按照要求需要安装OpenMPI 4.1.1。我又回头重读了一遍老师的451博文，看到里面写到：“如果你的机子里之前装有其它MPI库或OpenMPI的其它版本，且在终端里输入which mpiexec命令的时候指向的是那些库的目录，则ORCA有极大可能会无法正常并行，需要你恰当处理以避免其优先级盖过你自己新装的OpenMPI。具体怎么处理，关键取决于你当前机子里之前具体是怎么装的MPI库。如果你之前是把其它MPI库装到了你自定义的目录下而非默认的/usr/local/bin下面，你就把那个MPI库的目录名随便改一下，或者把那个MPI库在.bashrc里的配置语句注释掉（前面加#号）然后重新登录终端。如果其它MPI被你安装到了默认路径（如/usr/local下），可以把前文的$PATH:/sob/openmpi411/bin改为/sob/openmpi411/bin:$PATH、把$LD_LIBRARY_PATH:/sob/openmpi411/lib改为/sob/openmpi411/lib:$LD_LIBRARY_PATH，然后重新登录终端，之所以这样做会奏效是因为此时openmpi411的路径会先于其它路径出现在这俩环境变量里，会被优先利用。”
但是我在终端中输入which mpiexec命令后，提示找不到mpiexec，内容如下：/usr/bin/which: no mpiexec in (/sob/amber18/bin:/sob/gmx2018.8/bin:/sob/amber18/bin:/usr/lib64/qt-3.3/bin:/usr/local/bin:/usr/local/sbin:/usr/bin:/usr/sbin:/bin:/sbin:/home/dell/gauopen:/home/dell/g16/bsd:/home/dell/g16:/sob/packmol-17.333:/sob/Multiwfn_3.8_dev_bin_Linux_noGUI:/sob/openmpi-4.1.1/bin:/sob/orca410:/sob/xtb/xtb-6.6.0/bin:/sob/Shermo_2.3.5:/root/bin:/home/dell/gauopen:/home/dell/g16/bsd:/home/dell/g16:/sob/packmol-17.333:/sob/Multiwfn_3.8_dev_bin_Linux_noGUI:/sob/openmpi-4.1.1/bin:/sob/orca410:/sob/xtb/xtb-6.6.0/bin:/sob/Shermo_2.3.5)
所以我这时将原来错写为openmpi411的文件夹改为了openmpi313。然后我就按照博文的方法又安装了一遍OpenMPI 4.1.1，只不过文件夹的名字写为了openmpi-4.1.1。但是当需要在.bashrc文件中添加了下面语句：
export PATH=$PATH:/sob/openmpi-4.1.1/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/sob/openmpi-4.1.1/lib
的时候，发现文件夹中没有bin文件夹。我这个时候意识到自己安装的OpenMPI 4.1.1是有问题的。再在终端里输入which mpiexec命令的时候，还是和上面的提示相同。我查看了以下安装时终端的输出（由于长度太长，无法粘贴在此）发现其中又warning的提示，但是安装还是继续往下走了。安装完的openmpi-4.1.1文件夹中内容如下图片所示。
(, 下载次数 Times of downloads: 8)
请问各位老师，现在OpenMPI 4.1.1应该是没有安装成功，那么我应该如何处理这个文件夹呢？能够直接删除么？还是需要其他怎么操作？

作者
Author: wzkchem5 时间: 2023-3-16 16:58
安装中间有warning正常，但是最终正常结束了吗？

作者
Author: Caroline2022 时间: 2023-3-16 17:05

wzkchem5 发表于 2023-3-16 16:58
安装中间有warning正常，但是最终正常结束了吗？

是的，老师，正常结束的

作者
Author: wzkchem5 时间: 2023-3-16 17:08

Caroline2022 发表于 2023-3-16 10:05
是的，老师，正常结束的

应该是安装到了什么其他路径底下吧？
视你具体的configure方式而定，openmpi安装的文件夹未必和你解压开的源码文件夹是一个

作者
Author: Caroline2022 时间: 2023-3-16 17:16

wzkchem5 发表于 2023-3-16 17:08
应该是安装到了什么其他路径底下吧？
视你具体的configure方式而定，openmpi安装的文件夹未必和你解压开 ...

老师，那如何才能查找到安装到哪里呢？我也没有加其他的设置，就是按照Sob老师博文中的步骤：
用诸如tar -xf openmpi-4.1.1.tar.bz2命令解压OpenMPI压缩包，进入此目录，输入以下命令，OpenMPI就会被安装到/sob/openmpi411目录下
./configure --prefix=/sob/openmpi411 --disable-builtin-atomics
make all install -j
注：这里用-j是为了通过并行编译降低编译过程耗时。但如果编译中途出现诡异报错，去掉-j再试。
我输入了第一条命令tar -xf openmpi-4.1.1.tar.bz2来解压，发现文件夹的名称就是openmpi-4.1.1，而不是openmpi411，所以后面就把命令改成了./configure --prefix=/sob/openmpi-4.1.1 --disable-builtin-atomics

作者
Author: wzkchem5 时间: 2023-3-16 17:19

Caroline2022 发表于 2023-3-16 10:16
老师，那如何才能查找到安装到哪里呢？我也没有加其他的设置，就是按照Sob老师博文中的步骤：
用诸如tar ...

安装以后，/sob/openmpi-4.1.1这个文件夹存在吗？（注意我问的不是openmpi-4.1.1，是/sob/openmpi-4.1.1，注意前面那个斜线）

作者
Author: Caroline2022 时间: 2023-3-16 18:42

wzkchem5 发表于 2023-3-16 17:19
安装以后，/sob/openmpi-4.1.1这个文件夹存在吗？（注意我问的不是openmpi-4.1.1，是/sob/openmpi-4.1.1 ...

老师，我不太明白您的意思，openmpi-4.1.1这个文件夹的Parent folder是sob文件夹，下面是openmpi-4.1.1文件夹Properties的截图
(, 下载次数 Times of downloads: 6)

作者
Author: wzkchem5 时间: 2023-3-16 19:09

Caroline2022 发表于 2023-3-16 11:42
老师，我不太明白您的意思，openmpi-4.1.1这个文件夹的Parent folder是sob文件夹，下面是openmpi-4.1.1文 ...

把编译时的所有输出信息另存为文本文件，上传上来，我们看一下

作者
Author: Caroline2022 时间: 2023-3-17 09:17

wzkchem5 发表于 2023-3-16 19:09
把编译时的所有输出信息另存为文本文件，上传上来，我们看一下

老师，由于我前几天编译的那个终端已经关闭了，所以我把openmpi-4.1.1.tar.bz2又拷贝到了一个新的sy文件夹下（sy文件夹和sob文件夹一样都位于根目录下）。然后打开终端，用tar -xf openmpi-4.1.1.tar.bz2命令解压OpenMPI压缩包，进入此目录，输入./configure --prefix=/sy/openmpi-4.1.1 --disable-builtin-atomics。下面是终端的显示，我另存为txt文件后上传在这里了。下面是编译后文件夹的截图，和在sob文件夹内编译完相比，少了一个share文件夹。
(, 下载次数 Times of downloads: 6)
(, 下载次数 Times of downloads: 3)

作者
Author: wzkchem5 时间: 2023-3-17 14:06

Caroline2022 发表于 2023-3-17 02:17
老师，由于我前几天编译的那个终端已经关闭了，所以我把openmpi-4.1.1.tar.bz2又拷贝到了一个新的sy文件 ...

这只是configure的输出，make的输出呢？

作者
Author: Caroline2022 时间: 2023-3-17 16:26

wzkchem5 发表于 2023-3-17 14:06
这只是configure的输出，make的输出呢？

老师，执行make all install -j 后终端的输出拷贝在下面的txt文件中了，有Error.

(, 下载次数 Times of downloads: 3)

作者
Author: wzkchem5 时间: 2023-3-17 17:03

Caroline2022 发表于 2023-3-17 09:26
老师，执行make all install -j 后终端的输出拷贝在下面的txt文件中了，有Error.

报错信息说了
mv: cannot stat 'opal_datatype_position.loT': No such file or directory
也就是说，make过程中，需要移动一个叫opal_datatype_position.loT的文件，但是找不到这个文件。
那么现在问题就是，到底是本来就应该有这个文件，但是实际上没有产生呢？还是要移动另一个文件，但是make把这个文件的名字搞错了呢？
所以首先要做的事情是，搜一下这种报错信息（注意重点在于opal_datatype_position.loT等文件名，前后反而不重要），如果有别人遇到过的话，很可能可以搜到

作者
Author: Caroline2022 时间: 2023-3-17 18:01

wzkchem5 发表于 2023-3-17 17:03
报错信息说了
mv: cannot stat 'opal_datatype_position.loT': No such file or directory
也就是说，m ...

老师，我在论坛和Sob老师的博客以及google中搜索了opal datatype position这几个关键词，都没有找到相关的信息。但是我在/sy/openmpi-4.1.1/opal/datatype文件夹中找到了opal_datatype_position.lo文件，不知道这个lo文件和报错中的loT文件有什么关系么？
然后后面的几个错误提示中
mv: cannot stat 'opal_datatype_position.loT': No such file or directory
mv: cannot stat 'opal_datatype_fake_stack.loT': No such file or directory
mv: cannot stat 'opal_datatype_destroy.loT': No such file or directory
mv: cannot stat 'opal_datatype_resize.loT': No such file or directory
mv: cannot stat ‘.deps/opal_datatype_position.Tpo’: No such file or directory
mv: cannot stat 'opal_datatype_clone.loT': No such file or directory
opal_datatype_position，opal_datatype_fake_stack，opal_datatype_destroy，opal_datatype_resize，opal_datatype_clone也都找到了.lo文件，但是没有.loT文件。

作者
Author: wzkchem5 时间: 2023-3-17 18:23

Caroline2022 发表于 2023-3-17 11:01
老师，我在论坛和Sob老师的博客以及google中搜索了opal datatype position这几个关键词，都没有找到相关 ...

那检查一下是不是configure的时候手抖了，或者因为什么其他原因误操作，导致在相关文件的某些地方不小心加了字母T

作者
Author: Caroline2022 时间: 2023-3-17 18:48

wzkchem5 发表于 2023-3-17 18:23
那检查一下是不是configure的时候手抖了，或者因为什么其他原因误操作，导致在相关文件的某些地方不小心 ...

我检查了一遍，感觉不应该是手抖或者误操作。在两个不同的文件夹下编译安装了两次，都还是一样的错误提示。

作者
Author: abin 时间: 2023-3-17 20:10
或者
试试这种方案
http://bbs.keinsci.com/thread-26418-1-1.html

或者编译openMPI的时候，- -prefix = App1 每次更换App中的数字，
就可以了。

【以普通用户源码编译安装 gcc9 套件-哔哩哔哩】 https://b23.tv/OQSFZU1
可以观摩这里，写prefix 路径，可以很灵活的。

作者
Author: wzkchem5 时间: 2023-3-17 20:32

Caroline2022 发表于 2023-3-17 11:48
我检查了一遍，感觉不应该是手抖或者误操作。在两个不同的文件夹下编译安装了两次，都还是一样的错误提示 ...

那再搜一下openmpi编译时遇到的loT文件是干什么用的

作者
Author: Caroline2022 时间: 2023-3-18 11:46

abin 发表于 2023-3-17 20:10
或者
试试这种方案
http://bbs.keinsci.com/thread-26418-1-1.html

老师，我前几天也看到您这个帖子，还没来得及仔细研究和尝试。不知道这样安装的ORCA可以被Molclus调用么？我是仿照SOb老师的这篇帖子http://bbs.keinsci.com/thread-16255-1-1.html中的方法寻找高分子材料的不同构型时需要安装ORCA。

作者
Author: Caroline2022 时间: 2023-3-18 11:47

wzkchem5 发表于 2023-3-17 20:32
那再搜一下openmpi编译时遇到的loT文件是干什么用的

谢谢您，我周一再找朋友帮我Google一下

作者
Author: Caroline2022 时间: 2023-3-20 09:50

wzkchem5 发表于 2023-3-17 20:32
那再搜一下openmpi编译时遇到的loT文件是干什么用的

老师，再请教您一个问题：我目前的情况是只完成了编译，然后安装时遇到错误所以终止了，那么我现在如果想尝试重新编译和安装的话，可以直接把这个文件夹（即/sob/openmpi-4.1.1或/sy/openmpi-4.1.1/lib文件夹）删除掉么？

作者
Author: Caroline2022 时间: 2023-3-20 14:08
在OpenMPI官网FAQ中看到的一段关于新旧版本替换的文字：

Install newer versions of Open MPI into a different directory. For example, install into /opt/openmpi-a.b.c and /opt/openmpi-x.y.z for versions a.b.c and x.y.z, respectively.
Completely uninstall the old version of Open MPI before installing the new version. The make uninstall process from Open MPI a.b.c build tree should completely uninstall that version from the installation tree, making it safe to install a new version (e.g., version x.y.z) into the same installation tree.
Remove the old installation directory entirely and then install the new version. For example "rm -rf /opt/openmpi" *(assuming that there is nothing else of value in this tree!)* The installation of Open MPI x.y.z will safely re-create the /opt/openmpi tree. This method is preferable if you no longer have the source and build trees to Open MPI a.b.c available from which to "make uninstall".
Go into the Open MPI a.b.c installation directory and manually remove all old Open MPI files. Then install Open MPI x.y.z into the same installation directory. This can be a somewhat painful, annoying, and error-prone process. We do not recommend it. Indeed, if you no longer have access to the original Open MPI a.b.c source and build trees, it may be far simpler to download Open MPI version a.b.c again from the Open MPI web site, configure it with the same installation prefix, and then run "make uninstall". Or use one of the other methods, above.
我在原来装错的openmpi313目录下打开终端，输入make uninstall命令后，显示的是：make: *** No rule to make target `uninstall'. Stop.

作者
Author: wzkchem5 时间: 2023-3-20 17:02

Caroline2022 发表于 2023-3-20 02:50
老师，再请教您一个问题：我目前的情况是只完成了编译，然后安装时遇到错误所以终止了，那么我现在如果想 ...

可以

作者
Author: wzkchem5 时间: 2023-3-20 17:03

Caroline2022 发表于 2023-3-20 07:08
在OpenMPI官网FAQ中看到的一段关于新旧版本替换的文字：

Install newer versions of Open MPI into ...

检查一下这个FAQ是不是只适用于某个版本以后的openmpi，而不适用于3.1.3

作者
Author: Caroline2022 时间: 2023-3-20 18:55
本帖最后由 Caroline2022 于 2023-3-20 19:05 编辑

wzkchem5 发表于 2023-3-20 17:03
检查一下这个FAQ是不是只适用于某个版本以后的openmpi，而不适用于3.1.3

老师，我的问题解决了，今天下午又将Sob老师的方法仔细读了一遍，发现一个可能遗漏的点，把make all install后面的-j去掉后就顺利安装完成了，还是自己不够仔细，原来Sob老师已经把可能出现的情况都给大家想到了。

欢迎光临计算化学公社 (http://bbs.keinsci.com/)