mpirun没反应。“hydra_pmi_proxy”

wendawei

使用的是Intel Parallel Studio XE Cluster Edition 2019编译的vasp6以及quantum espresso 6.8。
一直能正常使用mpirun -np ...
从昨天开始突然就出现怪事，mpirun -np ...输入后，没有反应也没有报错。（mpirun -np XXX: vasp和QE都没反应）
在正常使用到不正常的时间段，我没有安装或者卸载什么东西，也没有在系统层面更改设置，就很奇怪。

我单独用vasp_std却能跑起来。（应该与这些程序无关，就是并行方面，或者intelmpi部分出问题了）
查看下进程，出现了个hydra_pmi_proxy的东西，如图：
这是htop查看到的


这是top查看到的



每次mpirun -np XXX之后，都出现一个新的hydra_pmi_proxy进程，比如我反复开了5次mpirun，就出现了5个hydra_pmi_proxy进程，需要kill才能结束掉。(mpiexec也一样)

网上查过hydra_pmi_proxy，没得到什么情报（捂脸）。

把intel编译器卸载，然后再安装，依然没解决问题。


发生肾么事了，求解释。
How to fix it? 麻烦大佬支招。

abin

你有没有修改过
~/.bashrc

/etc/profile之类的?

有没有开启firewalls, selinux, apparmor之类?

最近有没有静默运行过dnf/yum/apt update之类?

另, 啥系统?

wendawei

abin 发表于 2022-7-20 22:26
你有没有修改过
~/.bashrc

你好~！
没修改过bashrc和profile哦（一开始也检查过，没奇怪的变化和改动）
也没开各种防火墙，网络方面，也就用了todesk远程控制小服务器（一直用，也没出问题）
查了下进程，应该也没有在运行的dnf/yum/apt update

top截图：


另外，系统是ubuntu2020。

abin

排查起来看运气了……
Ubuntu2020，没这个版本吧？

新版本的ubuntu ，系统静默有移动升级。

apt/yum/dnf应该没有运行过吧。
看你这句能原样照抄，可以推测，系统如有自动升级，
你也不晓得……

你要是如此肯定，系统近期啥都没做过，
就忽然作妖了，
那重新刷系统吧，这个最简单了。

wendawei

abin 发表于 2022-7-20 23:12
排查起来看运气了……
Ubuntu2020，没这个版本吧？

具体的话，就是20.04.4LTS
apt那几个确实不懂。以前在centos用过yum安装，ubuntu用apt-get。这些软件安装或者系统升级，不主动输入命令也会自己动吗...？
重装系统吗？就是觉得非常麻烦，所以先看看能不能通过小修补解决问题

abin

Ubuntu如果设定不当, 会自动升级系统.

这玩意排查起来比较麻烦.
前几天恰好遇到类似问题, 就是自动升级之后, 系统有几个MPI版本, 还做了傻透顶的全局设定.

花时间慢慢排查吧.

ilovelr

就是ubuntu更新的问题，具体在哪还没找到，重装intel mpi 搞定

tanzicong

我也是遇到同样问题请问，重装Intel MPI是直接重装整个Intel Parallel Studio XE Cluster Edition 2019么？然后重装后需要重新编译QE么？

wypkdhd

请输入 which mpiexec 以及 which ifort 并给出你的bashrc截图。

tanzicong

ifort, mpiexec截图如下，


bashrc 截图如下，

neetsaki

遇到这个问题加一 ，一直运行没问题的oneapi 2021.4 在杀掉一个slurm任务之后 突然开始运行mpirun无输出，但后台有一个“mpiexec.hydra”一直在运行（但这个程序貌似和mpirun是等价的几乎）
尝试运行自身的check（mpirun --version）也没有输出 说明和计算程序编译无关 单纯源于mpirun本身运行的问题
尝试用安装包repair以及删了重装问题依然存在
用strace定位了一下mpirun的运行
与另一台正常机器对比只发现有多种mpiexec.hydra存在

1. stat("/usr/local/go/bin/mpiexec.hydra", 0x7ffd56d14120) = -1 ENOENT (No such file or directory)
   
2. stat("/home/room/Software/vaspkit.1.3.0/bin//mpiexec.hydra", 0x7ffd56d14120) = -1 ENOENT (No such file or directory)
   
3. stat("/home/room/anaconda3/bin/mpiexec.hydra", 0x7ffd56d14120) = -1 ENOENT (No such file or directory)
   
4. stat("/opt/intel/oneapi/compiler/2021.4.0/linux/bin/mpiexec.hydra", 0x7ffd56d14120) = -1 ENOENT (No such file or directory)
   
5. stat("/home/room/.local/bin/mpiexec.hydra", 0x7ffd56d14120) = -1 ENOENT (No such file or directory)
   
6. stat("/usr/local/go/bin/mpiexec.hydra", 0x7ffd56d14120) = -1 ENOENT (No such file or directory)
   
7. stat("/home/room/Software/vaspkit.1.3.0/bin/mpiexec.hydra", 0x7ffd56d14120) = -1 ENOENT (No such file or directory)
   
8. stat("/home/room/anaconda3/bin/mpiexec.hydra", 0x7ffd56d14120) = -1 ENOENT (No such file or directory)
   
9. stat("/opt/intel/oneapi/compiler/2021.4.0/linux/bin/mpiexec.hydra", 0x7ffd56d14120) = -1 ENOENT (No such file or directory)
   
10. stat("/opt/intel/oneapi/vtune/2021.7.1/bin64/mpiexec.hydra", 0x7ffd56d14120) = -1 ENOENT (No such file or directory)
    
11. stat("/opt/intel/oneapi/vpl/2021.6.0/bin/mpiexec.hydra", 0x7ffd56d14120) = -1 ENOENT (No such file or directory)
    
12. stat("/opt/intel/oneapi/mpi/2021.4.0/libfabric/bin/mpiexec.hydra", 0x7ffd56d14120) = -1 ENOENT (No such file or directory)
    
13. stat("/opt/intel/oneapi/mpi/2021.4.0/bin/mpiexec.hydra", {st_mode=S_IFREG|0755, st_size=3637909, ...}) = 0
    
14. clone(child_stack=NULL, flags=CLONE_CHILD_CLEARTID|CLONE_CHILD_SETTID|SIGCHLD, child_tidptr=0x7fb61efc9e50) = 234142
    
15. wait4(-1,

复制代码

尝试注释掉与oneapi无关的mpiexec环境变量也没有效果，希望后面有经验的能推测一下可能原因~

ShidaZhang2022

遇到了完全相同的问题，楼主解决了吗。
感觉像是系统自动更新导致的，但是找不到原因。

ghifi37

我也遇到了，看来是系统升级的问题了

bolin

可能和kernel版本有关，也许和某些内核不匹配。 参考https://community.intel.com/t5/I ... on-Gold/m-p/1366781
我的Xeon Scalable CPU中，部分节点在5.17.4版内核上，不能正常工作，当将内核切换回5.14.7之后，就可正常工作。
但是另外一个cpu型号的节点上使用5.17.4版内核，确没有此故障。
我的节点系统环境： centos7

切换内核方法：启动时选择较老的内核。或者编辑grup配置文件。

Soul

请问具体的过程应该怎么解决，在不重装系统的情况下