Gaussian在集群LSF作业调度系统中的使用和权限问题

乐平

syarnold 发表于 2024-7-25 09:30
上述775权限是根据前一位老师提供的方法操作尝试了一下，其他时候都是使用的750权限且添加了特定组的

再说一次，只有在“共享区”安装的软件才能被所以用户使用，而你安装到 /root 或者 /opt 目录下，可能只是登录节点（管理节点）的 /root 或 /opt ，而不是与所有计算节点共享的 /root 或 /opt，因为每个节点（包括登陆节点，管理节点，计算节点）都有自己的 /root 或 /opt （因为每个节点都是独立的 Linux 系统，都有自己的 /root  /opt 目录）。

这也是 8楼 abin 老师提到的
http://bbs.keinsci.com/forum.php ... 302720&fromuid=1532


你可以 ssh 到任意计算节点，然后 cd /opt  然后 ls 看看是否有你安装的 g16 就能明白了。如果能在任意计算节点的 /opt  目录看到  g16  那说明 /opt 是“共享区”，否则不是。不在共享区，那么你前面折腾的什么 775,750 都是白折腾……



“共享区” 的意义是，无论你 ssh 到哪个节点，你 cd 到目录下都是你自己的 ~/YOUR_DIR  （这里的 YOUR_DIR 代表你自己的 home 目录，也就是你自己所以文件都保存的位置）
不信你可以试试看，你登录节点的 ~/YOUR_DIR 和你 ssh 到任意计算节点的 ~/YOUR_DIR 是一模一样的

而在“共享区” 还应该有一个路径是安装软件的地方，比如你用你自己的用户名（注意，不要用 root 管理员账号） 登陆后，直接输入 pwd ，就能看到“共享区” 的完整路径。
在这个路径下输入 cd ../../ 就能看到所有用户的用户名（当然，你的集群可能和我这边的不同。从你 5楼帖子里的图2 来看，可能你的集群里就是 /home/YOUR_DIR 这个路径。如果是这样，那么你只需要 cd ../ 就可以了，ls  就能看到所以的用户名）。

通常情况下，安装软件也是在这里建立一个新目录，例如 softwares （当然，这时候需要用 root 管理员账号新建 software 目录）然后将所有软件都安装在 softwares 目录下。


最后，再说一下你那个 44 T 的硬盘，从你的截图上看（即 5楼帖子里的图2 ），其实已经用了 99% ，只剩下 547 GB 了……  你们组的数据从来不整理一下么……

wxyhgk

syarnold 发表于 2024-7-25 10:37
详细的用户组信息和现在权限信息见图9，都是按照流程和步骤走的呀

/root 是超级用户（root）的专用目录，普通用户通常没有权限访问这个目录。即使用户被添加到了相关组中，这个限制仍然存在。

syarnold

感谢回复！


了解了，以后不装/root路径下了

syarnold

乐平 发表于 2024-7-25 11:06
再说一次，只有在“共享区”安装的软件才能被所以用户使用，而你安装到 /root 或者 /opt 目录下，可能只 ...

感谢回复！

一开始解压到/root是因为之前课题组的软件也是安装此处的，我也不太懂就装这里了。在您的指点下，我又将g16解压到了/home/software路径下，然而相同的问题依然存在。

可以确定/home是共享区域，见图10。组别和权限设定见图10和11。新路径下的报错见图12。

wxyhgk

syarnold 发表于 2024-7-25 16:14
感谢回复！

一开始解压到/root是因为之前课题组的软件也是安装此处的，我也不太懂就装这里了。在您的 ...

先试试这个命令

1. sudo setenforce 0

复制代码

然后运行 g16  看看是不是这个问题

乐平

syarnold 发表于 2024-7-25 16:14
感谢回复！

一开始解压到/root是因为之前课题组的软件也是安装此处的，我也不太懂就装这里了。在您的 ...

从你的图10 可以看到 /home/software/g16 的组是 root ……  你的用户组没有设置对……

下面是你帖子的截图  




下一个是我集群的截图

syarnold

wxyhgk 发表于 2024-7-25 16:41
先试试这个命令

感谢回复！

[root@Master software]# setenforce 0
setenforce: SELinux is disabled

之后尝试提交.sh脚本依旧提示：permission denied

/home/suiyi/.lsbatch/1721899048.27065.shell: line 21: /home/software/g16/bsd/g16.profile: Permission denied

哦对，有个点之前没有讲，通过个人账户直接g16 <xxx.gjf是可以提交运行的，但是提交.sh脚本就会提示权限不足

下面是脚本文件：
#!/bin/sh
# embedded options to bsub - start with #LSF
# -- our name ---
#BSUB -J 2molecules-2-1
# -- choose queue --
#BSUB -q normal
### -- specify that we need 2GB of memory per core/slot --
#BSUB -R "rusage[mem=40GB]"
# -- parallel environment requests --
#BSUB -n 20
### -- specify that the cores MUST BE on a single host! It's a SMP job! --
#BSUB -R "span[hosts=1]"
### -- Specify the output and error file. %J is the job-id --
### -- -o and -e mean append, -oo and -eo mean overwrite --
#BSUB -o Output_%J.out
#BSUB -e Error_%J.err
# -- end of LSF options --
# -- setup of the gaussian 16 environment --
export g16root=/home/software
export GAUSS_SCRDIR=/home/$USER/scratch
source /home/software/g16/bsd/g16.profile
export PGI_FASTMATH_CPU=sandybridge
# -- commands you want to execute --
#
EXEC_CMD="/home/software/g16"
INPUTFILE=2molecules-2-1.gjf
###g16 <2molecules-2-1.gjf> 2molecules-2-1.log

syarnold

乐平 发表于 2024-7-25 16:56
从你的图10 可以看到 /home/software/g16 的组是 root ……  你的用户组没有设置对……

下面是你帖子 ...

感谢回复！

第一个应该是所有者的组别吧，就是您那里的350；我这里root后面的那个1033是组别代码，我专门去/etc/group文件里查看了这个就是我新建的gauusers组，见上面的图11。

根据您这里的权限，我尝试将所有者和组别改成和您那边一样的，见图13，但仍然是报错permission denied。

wxyhgk

syarnold 发表于 2024-7-25 17:22
感谢回复！

[root@Master software]# setenforce 0

改成这个

1. #!/bin/bash
   
2. # embedded options to bsub - start with #LSF
   
3. # -- our name ---
   
4. #BSUB -J 2molecules-2-1
   
5. # -- choose queue --
   
6. #BSUB -q normal
   
7. # -- specify that we need 2GB of memory per core/slot --
   
8. #BSUB -R "rusage[mem=40GB]"
   
9. # -- parallel environment requests --
   
10. #BSUB -n 20
    
11. # -- specify that the cores MUST BE on a single host! It's a SMP job! --
    
12. #BSUB -R "span[hosts=1]"
    
13. # -- Specify the output and error file. %J is the job-id --
    
14. #BSUB -o Output_%J.out
    
15. #BSUB -e Error_%J.err
    
16. # -- end of LSF options --
    
17. # -- setup of the gaussian 16 environment --
    
18. export g16root=/home/software
    
19. export GAUSS_SCRDIR=/home/$USER/scratch
    
20. source /home/software/g16/bsd/g16.profile
    
21. export PGI_FASTMATH_CPU=sandybridge
    
22. # -- commands you want to execute --
    
23. EXEC_CMD="/home/software/g16/g16"
    
24. INPUTFILE=2molecules-2-1.gjf
    
25. $EXEC_CMD < $INPUTFILE > 2molecules-2-1.log
    

复制代码

使用 strace 工具跟踪执行过程，查找具体的权限问题

1. strace -o output.txt $EXEC_CMD < $INPUTFILE > 2molecules-2-1.log
   

复制代码

syarnold

wxyhgk 发表于 2024-7-25 17:31
改成这个

感谢回复！

改成您说的之后error文件报错如下：
/home/suiyi/.lsbatch/1721900624.27070.shell: line 20: /home/software/g16/bsd/g16.profile: Permission denied
/home/suiyi/.lsbatch/1721900624.27070.shell: line 25: /home/software/g16/g16: Permission denied
strace: Can't stat '/home/software/g16/g16': Permission denied

然后生成output.txt是空的没有内容。

所有者改成乐平老师提供参考的350或root都是依旧，权限见图14。

乐平

syarnold 发表于 2024-7-25 17:52
感谢回复！

改成您说的之后error文件报错如下：

你看看 g16 目录下的 g16, 以及所有的 *.exe （也就是 l101.exe, l102.exe ..... ）是不是都是   -rwxr-x--- 属性呢？
你 cd 到 bsd 目录里，看看的 bsd 目录里面的 g16.profile 文件是不是 -rwxr-x--- 属性呢？

wxyhgk

先不用集群来，直接用 sh 脚本

1. #!/bin/bash
   
2. export g16root=/home/software
   
3. export GAUSS_SCRDIR=/home/$USER/scratch
   
4. source /home/software/g16/bsd/g16.profile
   
5. export PGI_FASTMATH_CPU=sandybridge
   
6. EXEC_CMD="/home/software/g16/g16"
   
7. INPUTFILE=2molecules-2-1.gjf
   
8. $EXEC_CMD < $INPUTFILE > 2molecules-2-1.log
   

复制代码

如果是 NFS 文件挂载，看看挂载选项

1. sudo mount -o remount,exec /路径/to/mount
   

复制代码

你的 slurm 是什么用户？root 吗还是什么？

syarnold

wxyhgk 发表于 2024-7-25 22:43
先不用集群来，直接用 sh 脚本

感谢回复！

不用集群直接sh脚本也是和25#楼同样的报错。

我们这个应该是LSF，不是slurm。我这边一般是用个人用户进行计算，需要修改配置等我也可以登录root用户进行操作。

NFS挂载选项我不太懂，尝试显示了一下您帮忙看下这里有无问题：
[root@Master software]# mount -o remount,exec /opt
[root@master software]# cat /proc/mounts
rootfs / rootfs rw 0 0
sysfs /sys sysfs rw,nosuid,nodev,noexec,relatime 0 0
proc /proc proc rw,nosuid,nodev,noexec,relatime 0 0
devtmpfs /dev devtmpfs rw,nosuid,size=65709876k,nr_inodes=16427469,mode=755 0 0
securityfs /sys/kernel/security securityfs rw,nosuid,nodev,noexec,relatime 0 0
tmpfs /dev/shm tmpfs rw,nosuid,nodev 0 0
devpts /dev/pts devpts rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000 0 0
tmpfs /run tmpfs rw,nosuid,nodev,mode=755 0 0
tmpfs /sys/fs/cgroup tmpfs ro,nosuid,nodev,noexec,mode=755 0 0
cgroup /sys/fs/cgroup/systemd cgroup rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/usr/lib
/systemd/systemd-cgroups-agent,name=systemd 0 0pstore /sys/fs/pstore pstore rw,nosuid,nodev,noexec,relatime 0 0
cgroup /sys/fs/cgroup/cpu,cpuacct cgroup rw,nosuid,nodev,noexec,relatime,cpuacct,cpu 0 0
cgroup /sys/fs/cgroup/perf_event cgroup rw,nosuid,nodev,noexec,relatime,perf_event 0 0
cgroup /sys/fs/cgroup/devices cgroup rw,nosuid,nodev,noexec,relatime,devices 0 0
cgroup /sys/fs/cgroup/freezer cgroup rw,nosuid,nodev,noexec,relatime,freezer 0 0
cgroup /sys/fs/cgroup/net_cls,net_prio cgroup rw,nosuid,nodev,noexec,relatime,net_prio,net_cls 0
0cgroup /sys/fs/cgroup/hugetlb cgroup rw,nosuid,nodev,noexec,relatime,hugetlb 0 0
cgroup /sys/fs/cgroup/memory cgroup rw,nosuid,nodev,noexec,relatime,memory 0 0
cgroup /sys/fs/cgroup/pids cgroup rw,nosuid,nodev,noexec,relatime,pids 0 0
cgroup /sys/fs/cgroup/blkio cgroup rw,nosuid,nodev,noexec,relatime,blkio 0 0
cgroup /sys/fs/cgroup/cpuset cgroup rw,nosuid,nodev,noexec,relatime,cpuset 0 0
configfs /sys/kernel/config configfs rw,relatime 0 0
/dev/mapper/centos_master-root / xfs rw,relatime,attr2,inode64,noquota 0 0
systemd-1 /proc/sys/fs/binfmt_misc autofs rw,relatime,fd=32,pgrp=1,timeout=0,minproto=5,maxproto=
5,direct,pipe_ino=24308 0 0mqueue /dev/mqueue mqueue rw,relatime 0 0
hugetlbfs /dev/hugepages hugetlbfs rw,relatime 0 0
debugfs /sys/kernel/debug debugfs rw,relatime 0 0
nfsd /proc/fs/nfsd nfsd rw,relatime 0 0
/dev/sda2 /boot xfs rw,relatime,attr2,inode64,noquota 0 0
/dev/mapper/master1 /home xfs rw,relatime,attr2,inode64,noquota 0 0
sunrpc /var/lib/nfs/rpc_pipefs rpc_pipefs rw,relatime 0 0
tmpfs /run/user/1029 tmpfs rw,nosuid,nodev,relatime,size=13152052k,mode=700,uid=1029,gid=1029 0 0
tmpfs /run/user/0 tmpfs rw,nosuid,nodev,relatime,size=13152052k,mode=700 0 0
tmpfs /var/log/rtlog tmpfs rw,relatime,size=61440k 0 0
cu01:/opt /opt nfs4 rw,relatime,vers=4.1,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,ti
meo=600,retrans=2,sec=sys,clientaddr=192.168.100.1,local_lock=none,addr=192.168.100.11 0 0tmpfs /run/user/1021 tmpfs rw,nosuid,nodev,relatime,size=13152052k,mode=700,uid=1021,gid=10 0 0
tmpfs /run/user/1023 tmpfs rw,nosuid,nodev,relatime,size=13152052k,mode=700,uid=1023,gid=1023 0 0
tmpfs /run/user/1020 tmpfs rw,nosuid,nodev,relatime,size=13152052k,mode=700,uid=1020,gid=1020 0 0
tmpfs /run/user/1010 tmpfs rw,nosuid,nodev,relatime,size=13152052k,mode=700,uid=1010,gid=1010 0 0
tmpfs /run/user/1007 tmpfs rw,nosuid,nodev,relatime,size=13152052k,mode=700,uid=1007,gid=1007 0 0
tmpfs /run/user/1030 tmpfs rw,nosuid,nodev,relatime,size=13152052k,mode=700,uid=1030,gid=1030 0 0

syarnold

乐平 发表于 2024-7-25 21:56
你看看 g16 目录下的 g16, 以及所有的 *.exe （也就是 l101.exe, l102.exe ..... ）是不是都是   -rwxr-x ...

感谢回复！

g16目录下的文件的权限也都是是 -rwxr-x--- 属性，见图15；bsd路径下的文件同样也是，见图16.

wxyhgk

syarnold 发表于 2024-7-26 09:59
感谢回复！

不用集群直接sh脚本也是和25#楼同样的报错。

怀疑是 Gaussian 版本的问题，我这里有 Gaussian16  C.01 的版本，你试试

https://www.123pan.com/s/U8JrVv-HIVEH.html