计算化学公社

标题: orca跨节点并行问题 [打印本页]

作者
Author: 最爱喵星人 时间: 2019-7-30 10:15
标题: orca跨节点并行问题
请教各路大神：
我现在用orca单节点并行没有问题。但是当我进行多节点计算时，虽然PBS_NODEFILE显示调用了多个节点，但是当我登陆到计算节点并top后，只有一个节点有orca在运行，其他节点没有orca在运行。请问这是怎么回事呢？

下面是我的提交脚本：
#!/bin/bash

#PBS -l nodes=10:ppn=12
#PBS -q parallel

# Usage of this script:
#qsub job-orca.sh -N jobname where jobname is the name of your ORCA inputfile (jobname.inp) without the .inp extension

# Jobname below is set automatically when using "qsub job-orca.sh -N jobname". Can alternatively be set manually here. Should be the name of the inputfile without extension (.inp or whatever).
export job=$PBS_JOBNAME

#Setting OPENMPI paths here:
export PATH=/home/Software/openmpi_3.1.3/bin:$PATH
export LD_LIBRARY_PATH=/home/Software/openmpi_3.1.3/lib:$LD_LIBRARY_PATH

# Here giving the path to the ORCA binaries and giving communication protocol
export orcadir=/home/Software/orca_4_1_2/
export RSH_COMMAND="/usr/bin/ssh -x"
export PATH=$orcadir:$PATH

# Creating local scratch folder for the user on the computing node. /scratch directory must exist.
#if [ ! -d /scratch/$USER ]
#then
# mkdir -p /scratch/$USER
#fi
#tdir=$(mktemp -d /scratch/$USER/orcajob__$PBS_JOBID-XXXX)
tdir=/tmp
# Copy only the necessary stuff in submit directory to scratch directory. Add more here if needed.
cp $PBS_O_WORKDIR/$job.inp $tdir/
cp $PBS_O_WORKDIR/$job.gbw $tdir/
cp $PBS_O_WORKDIR/$job.xyz $tdir/

# Creating nodefile in scratch
cat ${PBS_NODEFILE} > $tdir/$job.nodes

# cd to scratch
cd $tdir

# Copy job and node info to beginning of outputfile
echo "Job execution start: $(date)" >> $PBS_O_WORKDIR/$job.out
echo "Shared library path: $LD_LIBRARY_PATH" >> $PBS_O_WORKDIR/$job.out
echo "PBS Job ID is: ${PBS_JOBID}" >> $PBS_O_WORKDIR/$job.out
echo "PBS Job name is: ${PBS_JOBNAME}" >> $PBS_O_WORKDIR/$job.out
cat $PBS_NODEFILE >> $PBS_O_WORKDIR/$job.out

#Start ORCA job. ORCA is started using full pathname (necessary for parallel execution). Output file is written directly to submit directory on frontnode.
$orcadir/orca $tdir/$job.inp >> $PBS_O_WORKDIR/$job.out

# ORCA has finished here. Now copy important stuff back (xyz files, GBW files etc.). Add more here if needed.
cp $tdir/$job.gbw $PBS_O_WORKDIR
cp $tdir/$job.xyz $PBS_O_WORKDIR

作者
Author: alwens 时间: 2019-7-30 23:29
这个问题我遇到了，用最新的版本，专门修订了这个毛病

作者
Author: 最爱喵星人 时间: 2019-7-31 09:29

alwens 发表于 2019-7-30 23:29
这个问题我遇到了，用最新的版本，专门修订了这个毛病

谢谢。但是我现在已经是最新的4.1.2版本了啊。请问我能看一下你们的pbs提交脚本么？

作者
Author: alwens 时间: 2019-7-31 14:20

最爱喵星人发表于 2019-7-31 09:29
谢谢。但是我现在已经是最新的4.1.2版本了啊。请问我能看一下你们的pbs提交脚本么？

#!/bin/bash -x
#PBS -N orca
#PBS -o opt.log
#PBS -e orca.err
#PBS -q fu
#PBS -j oe
#PBS -l nodes=2:ppn=28

cd $PBS_O_WORKDIR
echo Time is `date`
echo Directory is $PWD
echo This job runs on the following nodes:
cat $PBS_NODEFILE
NCPUS=`wc -l<$PBS_NODEFILE`
echo This job has allocated $NCPUS nodes

export OMP_NUM_THREADS=1
#ulimit -d unlimited
#ulimit -m unlimited
ulimit -s unlimited
ulimit -n 10000
#ulimit -t unlimited
#ulimit -v unlimited
export LD_LIBRARY_PATH=/public/home/xxx/bin/openmpi313/lib:$LD_LIBRARY_PATH
export PATH=/public/home/xxx/bin/openmpi313/bin:$PATH
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/public/home/xxx/bin/orca412
export ORCA=/public/home/xxx/bin/orca412
export PATH=$ORCA/:$PATH

作者
Author: alwens 时间: 2019-7-31 14:21
我刚看了下，确认用了2节点其他也在跑，但是否正常结束就不知道了。
每个节点有进程

作者
Author: 最爱喵星人 时间: 2019-8-1 07:47

alwens 发表于 2019-7-31 14:21
我刚看了下，确认用了2节点其他也在跑，但是否正常结束就不知道了。
每个节点有进程

谢谢我待会去看一下非常感谢🙏

作者
Author: 最爱喵星人 时间: 2019-8-1 09:21

alwens 发表于 2019-7-31 14:20
#!/bin/bash -x
#PBS -N orca
#PBS -o opt.log

不好意思再问一下这个脚本能提交作业吗没有orca提交命令呀

作者
Author: alwens 时间: 2019-8-1 15:10

最爱喵星人发表于 2019-8-1 09:21
不好意思再问一下这个脚本能提交作业吗没有orca提交命令呀

你加上就是了，那个没什么特殊之处。

作者
Author: 最爱喵星人 时间: 2019-8-1 18:35

alwens 发表于 2019-8-1 15:10
你加上就是了，那个没什么特殊之处。

谢谢。那提交命令就是qsub $orca_script 了是么？orca_script 就是当前脚本，输入文件为orca.inp

作者
Author: alwens 时间: 2019-8-2 11:20

最爱喵星人发表于 2019-8-1 18:35
谢谢。那提交命令就是qsub $orca_script 了是么？orca_script 就是当前脚本，输入文件为orca.inp

$ORCA/orca orca.inp >orca.out

pbs加上这个，这个是计算命令

欢迎光临计算化学公社 (http://bbs.keinsci.com/)