分享一个手动自动化提交多个GMX任务的bash脚本

laoman

楼主一直都有用一个只允许提交最长24小时任务的超算，这对于长时间的MD模拟来说，不算太友好。SLURM系统有sbatch array的选项可以自动化，但可控制的操作不是太多。于是用bash写了一个。这个脚本的目的是用一个死循环监视squeue队列的任务，任务在跑或者PD的时候就sleep，每隔1个小时查看squeue和ssh到计算节点查看各个任务跑了多少ns。提交12个体系的production任务到3个GPU 计算节点（每个节点有4张MI250X计算卡）。因为文件系统的网络经常卡顿，干脆把任务放到节点的本地硬盘去跑，跑完再copy回NFS的文件夹里。

1. #!/bin/bash
   
2. sub()
   
3. {
   
4. cat <<_EOF
   
5. #!/bin/bash
   
6. #SBATCH -A xxxx
   
7. #SBATCH -J $1
   
8. #SBATCH --nodes=1
   
9. #SBATCH --ntasks-per-node=4
   
10. #SBATCH -t 24:00:00
    
11. #SBATCH -p gpu
    
12. #SBATCH -e ${1}.log -o ${1}.log
    
13. 
    
14. ml gromacs/2023.2-cpeGNU-22.06-gpu-mpi
    
15. 
    
16. systs=(SED_SYST)
    
17. workD="\$SLURM_SUBMIT_DIR/.."
    
18. export HIP_VISIBLE_DEVICES=0,2,4,6
    
19. omp=$2
    
20. 
    
21. mkdir /dev/shm/$USER
    
22. rm -rf /dev/shm/$USER/*
    
23. cd \$workD
    
24. cp prod.cpt prod.cpt.bak
    
25. for f in \${systs[@]}; do
    
26.     mkdir -p /dev/shm/$USER/\$f
    
27.     cp -rvf \$f/prod*log \$f/prod*cpt \$f/prod*tpr /dev/shm/$USER/\$f
    
28. done
    
29. cd /dev/shm/$USER
    
30. [[ -z \$(find |grep "\\.cpt") ]] && conti=" " || conti="-cpi prod.cpt -noappend"
    
31. echo flag_conti \$conti
    
32. _cmd="srun -n 4 -c \$omp gmx_mpi mdrun -deffnm prod \$conti
    
33.     -ntomp \$omp -nb gpu -pme gpu -bonded gpu -update gpu
    
34.     -s prod -maxh 23.6 -multidir \${systs[@]}"
    
35. echo \$_cmd
    
36. eval \$_cmd
    
37. cp -r * \$workD
    
38. _EOF
    
39. }
    
40. 
    
41. gettid()
    
42. {
    
43. grep -A1  "Step           Time" $1 |tail -1 |  awk '{printf "%.3fns", $2/1000}'
    
44. }
    
45. 
    
46. check()
    
47. {
    
48. ss="S%sm%s_%s"
    
49. for lig in F J; do
    
50.     for ff in ff19 c36m; do
    
51.         syst=$(printf "$ss" $1 $lig $ff)
    
52.         if [[ -z $(ls ../$syst/prod*.log 2> /dev/null) ]]; then
    
53.             echo 0ns
    
54.         else
    
55.             curlog=$(ls ../$syst/prod*.log 2> /dev/null|sort -n|tail -1)
    
56.             echo "${curlog##*/}@$(gettid $curlog)"
    
57.         fi
    
58.     done
    
59. done
    
60. }
    
61. 
    
62. ddd() { date '+%Y-%m-%d %H:%M:%S'  
    
63. }
    
64. 
    
65. cycle()
    
66. {
    
67. SA="SAmF_c36m  SAmF_ff19  SAmJ_c36m  SAmJ_ff19"
    
68. SB="SBmF_c36m  SBmF_ff19  SBmJ_c36m  SBmJ_ff19"
    
69. SC="SCmF_c36m  SCmF_ff19  SCmJ_c36m  SCmJ_ff19"
    
70. while [[ -z $NoTHiNggg ]]; do
    
71.     for f in A B C; do
    
72.         parray=($(check $f)) # 4 elements for a system
    
73.         if [[ ${parray[0]} == '0ns' ]]; then
    
74.             nstate=1
    
75.         else
    
76.             prelog=$(echo ${parray[0]}|cut -f 1 -d'@')
    
77.             if [[ $prelog == 'prod.log' ]]; then
    
78.                 nstate=2
    
79.             else
    
80.                 pstate=$(echo $prelog | sed "s/[a-z]//g; s/\.//g")
    
81.                 nstate=$[pstate+1]
    
82.             fi
    
83.         fi
    
84.         pst=$(printf "%04d" $nstate)
    
85.         if [[ -z $($HOME/soft/squ 2> /dev/null| grep GPU_S$f) ]]; then
    
86.             echo "$(ddd): previous S$f run: ${parray[@]}"
    
87.             subarg="GPU_S${f}_part${pst}"
    
88.             cmd="sub $subarg 16 | sed "s/SED_SYST/\$S$f/g" > S$f.sh"
    
89.             echo "$cmd"
    
90.             eval $cmd
    
91.             [[ -z $1 ]] && sbatch S${f}.sh
    
92.         else
    
93.             if [[ -z $($HOME/soft/squ 2> /dev/null| grep GPU_S$f| grep " PD ") ]]; then
    
94.                 [[ $(printf "%d" $pst) < 2 ]] && curlog='prod.log' || curlog="prod.part${pst}.log"
    
95.                 nid=$($HOME/soft/squ -nl 14 2> /dev/null|grep "GPU_S$f"|awk '{print $NF}')
    
96.                 echo "$(ddd): GPU_S$f is still running at $nid, current log: $curlog"
    
97.                 ssh $nid "$HOME/soft/get_gmxtime.sh /dev/shm/$USER/S${f}*/$curlog"
    
98.             else
    
99.                 echo "$(ddd): GPU_S${f}_part${pst} is Pending..."
    
100.             fi
     
101.         fi
     
102.     done
     
103.     sleep 1h
     
104.     echo
     
105. done
     
106. }
     
107. 
     
108. cycle >& ${0##*/}.log &
     
109. echo $! >  ${0##*/}.pid

复制代码

供有需要的同学参考。