slurm队列系统异常，无法使用相关命令

zorow

本人一台centos7.9系统的双路服务器，可能是由于之前重启了一次，slurm队列系统突然失灵，squeue等命令无法再使用了，详情如图。请问各位老师各位大佬，这是什么原因、如何解决？是否需要重新安装slurm队列系统啊？

zorow

另外还有错误如图

啊不错的飞过海

munge启动了吗？ps -aux |grep munged试试

zorow

啊不错的飞过海 发表于 2023-11-15 21:19
munge启动了吗？ps -aux |grep munged试试

感谢您回复，应该是启动了：

abin

机器时间有没有回到过去？

啊不错的飞过海

zorow 发表于 2023-11-15 21:21
感谢您回复，应该是启动了：

abin老师讲的也是个情况，时间不对的话munge间通信会出问题；不过这里报不存在munge.socket.2应该和时间无关？也可以看看。
一个可能是/usr/sbin的这个munged默认不把socket放在/var而是放在/usr/var之类的地方，但这个设置随slurm的编译是传递的，换句话说slurm编译时如果链接的是这个munge的话应该不会有找不到munge.socket的问题，ps -aux |grep slurmctld查查slurm路径看看。
还有就是可能munge启动有问题？systemctl status munge.service看看，不过楼主的munge不一定是走服务启动起来的。

zorow

abin 发表于 2023-11-15 21:28
机器时间有没有回到过去？

感谢abin老师，系统时间没回到过去

zorow

啊不错的飞过海 发表于 2023-11-15 21:36
abin老师讲的也是个情况，时间不对的话munge间通信会出问题；不过这里报不存在munge.socket.2应该和时间 ...

感谢您，munge的状态好像是正常的。我好像是两三天重启了一下机器以后变成这样，我没改过slurm的设置，会是重启导致问题吗

abin

如果所描述的都是真实情况的话……
那就见鬼了……

就一台机器，也不涉及多个机器时间同步的问题……

Weldingspock

systemctl resart munge
systemctl restart slurmctld
systemctl resatrt slurmd
scontrol update nodename=master
mater换成自己的节点名称

乐平

Weldingspock 发表于 2023-11-16 09:59
systemctl resart munge
systemctl restart slurmctld
systemctl resatrt slurmd

我之前在自己的小工作站（Ubuntu 22.04 系统）安装过 slurm，没有安装 munge

最开始还挺正常的，暑假关机了之后就发现 slurm 的状态变成 strain

按照你说的
systemctl restart slurmctld
systemctl resatrt slurmd
scontrol update nodename=master（master 是我的工作站的名称）
没效果

卸载 slurm 然后重装，依旧是 strain，很诡异……

abin

开SSH, 我来看看? (有偿).

啊不错的飞过海

zorow 发表于 2023-11-15 22:15
感谢您，munge的状态好像是正常的。我好像是两三天重启了一下机器以后变成这样，我没改过slurm的设置，会 ...

看看slurmctld/slurmd跑没跑起来？
以及munge默认的socket目录应该是/var/run/munge，可以看一下munge.socket.2在不在。你的slurm报/var/munge/run/munge底下没有munge.socket.2，可能slurm依赖的munge和现在跑着的不是一个？

zorow

啊不错的飞过海 发表于 2023-11-16 14:48
看看slurmctld/slurmd跑没跑起来？
以及munge默认的socket目录应该是/var/run/munge，可以看一下munge.s ...

我找了一下发现这个socket.2的文件没有了... 我需要重新安装munge或者slurm吗

啊不错的飞过海

zorow 发表于 2023-11-16 14:51
我找了一下发现这个socket.2的文件没有了... 我需要重新安装munge或者slurm吗

是/var/run/munge底下没有，/var/munge/run/munge底下没有，还是find / -name "munge.socket.2"都找不见？
munge运行着没死就应该会有这个socket，可能是你的/usr/sbin的这个没放在常见位置。
以及，slurm依赖munge，重装munge的话最好把slurm也重编译一遍。我个人建议还是找找socket看。