计算化学公社

标题: 写了个自动化脚本，各位可以参考用用 [打印本页]
作者
Author: raillgun    时间: 2014-12-26 02:09
标题: 写了个自动化脚本，各位可以参考用用
本帖最后由 raillgun 于 2014-12-30 15:04 编辑

原创内容，转帖须注明出处，虽然也没什么好转的~~

注：14.12.26 22：05更新：
发现脚本有个错误，代码和附件部分已更新，之前如果有下过的请务必使用新版本，实在抱歉，抱歉！

初玩高斯，参考sob大大的帖子，实现如下功能：
1、批量执行计算任务，并且可以按顺序执行任务，比如可以实现先计算1.gjf，4.gjf，5.gjf，再计算2.gjf，3.gjf的功能
2、显示当前任务进度及完成时间
3、一个任务计算完后判断是否计算成功，分别将成功的和失败的任务输出到pass/和fail/文件夹内（含该任务的gjf、log、chk文件），并且将成功的和失败的任务名分别写入PASSED和FAILED文件内
4、对于计算成功的文件生成可视化.fchk文件及homo和lumo的.cube文件
5、在计算过程中可以添加当计算完当前所有任务后需要执行的计算任务，如此的话就可以实现机器的24小时不间断工作了

使用说明如下：
0、先声明一下，gjf输入文件里面的chk文件目录务必写成相对目录，即%chk=*.chk
1、将如下所给代码写到一个脚本文件里，如run.sh
2、在run.sh文件同级目录下建一个task文件夹
3、在task文件夹下面根据自己所需建立几个存放任务的文件夹，建议命名为0、1、2、3。。。
4、将计算任务文件（即*.gjf）按需放到task文件夹下面的数字目录下，比如需要计算1.gjf-5.gjf，但是根据任务急缓需要先算1.gjf，4.gjf，5.gjf，再算2.gjf，3.gjf，就把1、4、5放到0文件夹内，2、3放到1文件夹内，以此类推
5、执行sh run.sh或是nohup sh run.sh &（推荐此命令，此命令兼具忽略用户登出信号和将执行结果输出为一个文件的功能）
6、脚本执行后，会在脚本同级目录生成PASSED和FAILED文件，里面分别包含了计算成功的和失败的任务名，同时如上面所说，将计算成功的和失败的任务的全部文件分别放到fail/和pass/文件夹内，方便查看
7、在nohup.out文件内（若执行命令为nohup sh run.sh &）包含了当前执行计算到哪一步，任务是否成功和失败等信息
8、在计算过程中如果想增加计算任务则将需要增加的gjf文件放到还没算到的那个文件夹里，如在nohup.out文件内看到现在算到了1文件夹里面的东西，那么就将新任务放到2文件夹里，如此种种
9、没了，就这些了

代码如下：
  1. #!/bin/bash
  2. #This script can do the Gaussian Project automaticly.
  3. #To use this,here are some tips:
  4. #trees shows below
  5. #  ./run.sh
  6. #  ./nohup.out
  7. #  ./FAILED
  8. #  ./PASSED
  9. #  ./task/??/*.gjf
  10. #  ./pass/
  11. #  ./fail/
  12. #
  13. mkdir pass
  14. mkdir fail
  15. cd task
  16. echo "~~HERE WE GO~~"
  17. echo "~~GOOD LUCK~~"

  19. judge () {
  20.         grep -q "Normal termination" $log
  21.         if [ $? -eq 1 ]
  22.         then
  23.                 mv ${gjf%.*}.* ../../fail/  
  24.                 echo "${gjf%.*} FAILED"  >> ../../FAILED
  25.                 echo -e "!!!${gjf%.*} FAILED!!!\n"
  26.         else
  27.                 formchk $chk
  28.                 cubegen 0 mo=lumo ${chk%.*}.fchk ${chk%.*}_lumo.cube 100 h
  29.                 cubegen 0 mo=homo ${chk%.*}.fchk ${chk%.*}_homo.cube 100 h
  30.                 mv ${gjf%.*}* ../../pass/
  31.                 echo "${gjf%.*} calculation finished">> ../../PASSED
  32.                 echo "${gjf%.*} calculation finished"
  33.         fi
  34. }

  36. for order in `ls -F | grep /`
  37. do        
  38.         cd $order
  39.         ls | grep -q .gjf
  40.         if [ $? -eq 0 ]
  41.         then
  42.                 echo "@@STEP $order BEGIN!@@"
  43.                 for gjf in *.gjf
  44.                 do
  45.                         log="${gjf%.*}.log"
  46.                         chk="${gjf%.*}.chk"
  47.                         echo "${gjf%.*} calculation start"
  48.                         time g09 $gjf
  49.                         wait
  50.                         judge
  51.                 done
  52.                 echo -e "@@STEP $order END@@\n"
  53.                 cd ..
  54.         else
  55.                 echo -e "***STEP $order No Input File!!***\n"
  56.                 cd ..
  57.         fi
  58. done

  60. echo "~~ALL DONE! HAVE FUN~~"
复制代码

现在应该没什么bug了，懒人版附件如下，解压即用，如有什么问题欢迎一起讨论~~

以上

(, 下载次数 Times of downloads: 137)

作者
Author: shx    时间: 2014-12-26 05:26
谢谢分享
作者
Author: diaolanxinyu    时间: 2014-12-26 10:50
谢谢分享！
作者
Author: aqhuangry    时间: 2014-12-29 22:31
谢谢:)
作者
Author: 小范范1989    时间: 2015-7-9 10:36
楼主好，我想咨询一下，你说的这个：0、先声明一下，gjf输入文件里面的chk文件目录务必写成相对目录，即%chk=*.chk
这个相对目录什么意思。
如果我现在在的位置是/home/globle/fan    同时在这个fan文件夹下面有task文件（里面包含了 0  1  2 这样的文件夹，同时每个文件夹里面有相应的gjf文件）同时还有run.sh文件，那我gjf里面的chk的路径，要写成/0/1.chk，或者是/0/2.chk等等？谢谢楼主
作者
Author: laoman    时间: 2015-7-9 11:12
个人认为这种脚本是要贻误像我这样的高斯新手的……
没必要那么懒吧，除非是在cluster上成批的跑高斯了……
弱弱的说一下，当更正失败任务的时候（可能是关键词写错了），重新执行这个脚本貌似不能跳过已经成功的目录，感觉楼主可以再加一个if [ ! -z ... ] 来判断一下是否已有某个fchk文件。然后是mkdir可以加一个-p参数，再次运行就不报错了。

最后看到这帖子是楼主大半年前深夜发的原创帖子，大赞一个~~
作者
Author: yjcmwgk    时间: 2015-7-13 11:38
laoman 发表于 2015-7-9 11:12
个人认为这种脚本是要贻误像我这样的高斯新手的……
没必要那么懒吧，除非是在cluster上成批的跑高斯了… ...

有可能是国外的说
作者
Author: lastzealot    时间: 2015-7-17 18:40
非常感谢
作者
Author: liyuanhe211    时间: 2015-7-21 01:34
感谢分享，正想自己写一个
作者
Author: kevin    时间: 2016-5-17 22:11
请教楼主一个问题，我用Xshell工具远程连接服务器，用你给的run.sh运行的话，我的计算机关机会不会导致服务器上计算停止？
作者
Author: rtransformation    时间: 2017-4-5 16:06
最近超喜欢玩bash脚本，参考楼主所写，给自己脚本添加写功能，谢谢楼主分享。
作者
Author: exity    时间: 2017-11-12 17:47
感谢楼主提供的好东西，有一个问题，如果所有的作业都跑完了。让服务器放空了一段时间然后把新的作业拷贝到0文件夹里，请问会自动开始吗?还是要重新， nohup sh run.sh一次？
作者
Author: muxijiao    时间: 2017-11-13 09:11
用这个脚本改了个orca的
  1. #!/bin/bash
  2. #This script can do the ORCA Project automaticly.
  3. #To use this,here are some tips:
  4. #trees shows below
  5. #  ./run.sh
  6. #  ./nohup.out
  7. #  ./FAILED
  8. #  ./PASSED
  9. #  ./task/??/*.gjf
  10. #  ./pass/
  11. #  ./fail/
  12. #
  13. export PATH=/home/user/openmpi-2.0.2/bin:/home/user/module/ORCA/orca_4_0_0_linux_x86-64/:${PATH};
  14. export LD_LIBRARY_PATH=/home/user/openmpi-2.0.2/lib:${LD_LIBRARY_PATH};
  15. mkdir pass
  16. mkdir fail
  17. cd task
  18. echo "~~HERE WE GO~~"
  19. echo "~~GOOD LUCK~~"

  21. judge () {
  22.         grep -q "ORCA TERMINATED NORMALLY" $inp.out
  23.         if [ $? -eq 1 ]
  24.         then
  25.                 mv ${inp%.*}.* ../../fail/  
  26.                 echo "${inp%.*} FAILED"  >> ../../FAILED
  27.                 echo -e "!!!${inp%.*} FAILED!!!\n"
  28.         else
  29.                 /home/user/module/ORCA/orca_4_0_0_linux_x86-64/orca_2mkl `basename $inp .inp` -molden         
  30.                 mv ${gjf%.*}* ../../pass/
  31.                 echo "${inp%.*} calculation finished">> ../../PASSED
  32.                 echo "${inp%.*} calculation finished"
  33.         fi
  34. }

  36. for order in `ls -F | grep /`
  37. do        
  38.         cd $order
  39.         ls | grep -q .inp
  40.         if [ $? -eq 0 ]
  41.         then
  42.                 echo "@@STEP $order BEGIN!@@"
  43.                 for inp in *.inp
  44.                 do                     
  45.                         echo "${inp%.*} calculation start"
  46.                         time /home/user/module/ORCA/orca_4_0_0_linux_x86-64/orca $inp > $inp.out --allow-run-as-root  #非root运行就把--allow-run-as-root删掉
  47.                         wait
  48.                         judge
  49.                 done
  50.                 echo -e "@@STEP $order END@@\n"
  51.                 cd ..
  52.         else
  53.                 echo -e "***STEP $order No Input File!!***\n"
  54.                 cd ..
  55.         fi
  56. done

  58. echo "~~ALL DONE! HAVE FUN~~"
复制代码


作者
Author: 杜黎小松    时间: 2017-11-13 09:37
谢谢。很实用的脚本，终于解放双手了



欢迎光临 计算化学公社 (http://bbs.keinsci.com/) Powered by Discuz! X3.3