计算化学公社

标题: 超算上批量提交任务 [打印本页]
作者
Author: 登登    时间: 2017-2-7 18:43
标题: 超算上批量提交任务
本帖最后由 登登 于 2017-2-7 21:15 编辑

用的是深圳的超算中心资源，对方只提供了单个提交任务的脚本（如下），用的是ssh，如果我想在一个文件下提交多个高斯gjf任务，不会写脚本，对方也不提供批量提交任务的脚本，所以来请教论坛里的各位大神。

APP_NAME=intels_test
NP=24
NP_PER_NODE=12
RUN="RAW"
export GAUSS_LFLAGS='-opt "Tsnet.Node.lindarsharg: ssh"'
INPUT=xxx.gjf
OUTPUT=xxx.log

# user gaussian with linda
export g09root=/home-gs/Soft/Gaussian.D01.Linda
. $g09root/g09/bsd/g09.profile
export GAUSS_SCRDIR=/home-gs/users/nsgs017_LH/scratch/

cd $PWD

#start creating .nodelist
rm -f $PWD/nodelist >& /dev/null

for i in `echo $LSB_HOSTS`
do
    echo "$i" >> $PWD/nodelist
done

nodelist=$(cat $PWD/nodelist | uniq | awk '{print $1}' | tr '\n' ',')

NProcShared=$NP_PER_NODE

cat $INPUT | sed -e "s/%[Nn][Pp][Rr][Oo][Cc][^ \t]*=[0-9]*//" \
           | sed -e "s/%[Ll][Ii][Nn][Dd][Aa][^ \t]*//" \
           | sed -e "1i\%NProcShared=$NProcShared" \
           | sed -e "1a\%LindaWorker=$nodelist" \
           | sed -e "s/\r$//"  \
           >"$INPUT".linda


## Gaussian 09 setup
date > time

g09 < "$INPUT".linda > $OUTPUT

date >> time

sleep 1




作者
Author: liyuanhe211    时间: 2017-2-7 20:31
给定输入文件a.gjf，你提交这个任务的实际命令是什么？

P.S. 看到了Linda版的G09 (⊙v⊙)
作者
Author: 登登    时间: 2017-2-7 21:07
本帖最后由 登登 于 2017-2-7 21:14 编辑
liyuanhe211 发表于 2017-2-7 20:31
给定输入文件a.gjf，你提交这个任务的实际命令是什么？

P.S. 看到了Linda版的G09 (⊙v⊙)

我远程提交这个任务的命令是
chmod 777 xxx.lsf
dos2unix xxx.lsf
bsub xxx.lsf


xxx.lsf是脚本文件也就是上面的脚本，这是在一个文件夹里提价一个高斯任务的脚本，我想实现一个文件里多个高斯任务一起提交上。是直接在INPUT=*.gjf，这样输入吗？就是想一下提交文件夹里所有的gjf文件。
作者
Author: ggdh    时间: 2017-2-7 22:52
什么？做个计算竟然还想着偷懒！？？
我只能说，果然是同道中人啊
试试我这个：

APP_NAME=intels_test
NP=24
NP_PER_NODE=12
RUN="RAW"
export GAUSS_LFLAGS='-opt "Tsnet.Node.lindarsharg: ssh"'
INPARRAY=(`ls *.gjf`)

# user gaussian with linda
export g09root=/home-gs/Soft/Gaussian.D01.Linda
. $g09root/g09/bsd/g09.profile
export GAUSS_SCRDIR=/home-gs/users/nsgs017_LH/scratch/

cd $PWD

#start creating .nodelist
rm -f $PWD/nodelist >& /dev/null

for i in `echo $LSB_HOSTS`
do
    echo "$i" >> $PWD/nodelist
done

nodelist=$(cat $PWD/nodelist | uniq | awk '{print $1}' | tr '\n' ',')

NProcShared=$NP_PER_NODE

for INPUT in "${INPARRAY[@]}"
do
cat $INPUT | sed -e "s/%[Nn][Pp][Rr][Oo][Cc][^ \t]*=[0-9]*//" \
           | sed -e "s/%[Ll][Ii][Nn][Dd][Aa][^ \t]*//" \
           | sed -e "1i\%NProcShared=$NProcShared" \
           | sed -e "1a\%LindaWorker=$nodelist" \
           | sed -e "s/\r$//"  \
           >"$INPUT".linda


## Gaussian 09 setup
date > time
g09  "$INPUT".linda
date >> time
sleep 1
done
作者
Author: liyuanhe211    时间: 2017-2-8 00:38
本帖最后由 liyuanhe211 于 2017-2-8 14:49 编辑
登登 发表于 2017-2-7 21:07
我远程提交这个任务的命令是
chmod 777 xxx.lsf
dos2unix xxx.lsf

将你一楼的脚本保存为 std.lsf，把下列文件保存为 x.py，都放在装有你要批量运行文件的文件夹下
则运行 python x.py 会自动提交当前文件夹下的所有.gjf文件


  1. # -*- coding: utf-8 -*-
  2. import sys
  3. import os
  4. import subprocess

  6. path = os.path.split(os.path.abspath(sys.argv[0]))[0] #Bug fixed by ggdh at 9L
  7. if not os.path.isfile(os.path.join(path,'std.lsf')):
  8.     print("A standard LSF file [std.lsf] must be provided, leaving INPUT=xxx.gjf")
  9.     exit()
  10. with open(os.path.join(path,'std.lsf')) as std_lsf_file:
  11.     std_lsf = std_lsf_file.read()

  13. files = os.listdir(path)
  14. files = [x.split('.')[0] for x in files if x.split('.')[-1]=='gjf']
  15. print(files)
  16. for file in files:
  17.     with open(file+".lsf",'w') as output_lsf_file:
  18.         output_lsf_file.write(std_lsf.replace('xxx',file))
  19.     subprocess.Popen(['chmod','777',file+".lsf"])
  20.     subprocess.Popen(['dos2unix',file+".lsf"])
  21.     subprocess.Popen(['bsub',file+".lsf"])
复制代码



作者
Author: ggdh    时间: 2017-2-8 11:21
liyuanhe的方案是提交多个任务，每个任务算一个gjf，我的方案是提交一个任务，这个任务一个一个算所有的gjf。
通常情况下liyuanhe的办法效率更高。
作者
Author: 登登    时间: 2017-2-8 11:24
本帖最后由 登登 于 2017-2-8 13:57 编辑
liyuanhe211 发表于 2017-2-8 00:38
将你一楼的脚本保存为 std.lsf，把下列文件保存为 x.py，都放在装有你要批量运行文件的文件夹下
则运行  ...

试了一下，出现这个错误
作者
Author: 登登    时间: 2017-2-8 11:26
ggdh 发表于 2017-2-8 11:21
liyuanhe的方案是提交多个任务，每个任务算一个gjf，我的方案是提交一个任务，这个任务一个一个算所有的gjf ...

对，刚刚试了您的脚本，的确是提交一个任务一个个算，因为一下要运行多个单点想偷个懒
作者
Author: ggdh    时间: 2017-2-8 11:49
登登 发表于 2017-2-8 11:24
试了一下，出现这个错误

哈哈 捉住liyuanhe的一个bug
把这一行
path = os.path.split(sys.argv[0])[0]
换成
path = os.path.split(os.path.abspath(sys.argv[0]))[0]
作者
Author: 登登    时间: 2017-2-8 13:08
本帖最后由 登登 于 2017-2-8 13:57 编辑
ggdh 发表于 2017-2-8 11:49
哈哈 捉住liyuanhe的一个bug
把这一行
path = os.path.split(sys.argv[0])[0]
测试了，好使，感谢两位大神@liyuanhe211 @ggdh ，会写脚本的人真是自带光环。看着这么多任务一起运行有种莫名的快感。
作者
Author: calixs    时间: 2017-8-29 23:08
好，收藏下。
作者
Author: 登登    时间: 2017-10-26 22:45
李老师，最近用这个脚本提交任务总是出现Link 1的错误，然后重新提交又能提交上去了，不知道是什么原因。@liyuanhe211 (, 下载次数 Times of downloads: 27)

作者
Author: 登登    时间: 2017-10-26 22:47
liyuanhe211 发表于 2017-2-8 00:38
将你一楼的脚本保存为 std.lsf，把下列文件保存为 x.py，都放在装有你要批量运行文件的文件夹下
则运行  ...

李老师，最近用这个脚本提交任务总是出现Link 1的错误，然后重新提交又能提交上去了，不知道是什么原因。 (, 下载次数 Times of downloads: 31)
作者
Author: liyuanhe211    时间: 2017-10-26 22:56
登登 发表于 2017-10-26 22:47
李老师，最近用这个脚本提交任务总是出现Link 1的错误，然后重新提交又能提交上去了，不知道是什么原因。 ...

想不到有什么原因会造成这个情况，得要能直接操作你机器的人（或者有账号SSH远程登录的人）才容易调试。
作者
Author: 登登    时间: 2017-10-26 22:59
liyuanhe211 发表于 2017-10-26 22:56
想不到有什么原因会造成这个情况，得要能直接操作你机器的人（或者有账号SSH远程登录的人）才容易调试。

好的，谢谢



欢迎光临 计算化学公社 (http://bbs.keinsci.com/) Powered by Discuz! X3.3