一键批量提交Gaussian任务至slurm系统高性能计算集群

Jacaranda

受到帖子“slurm一键批量提交Gaussian任务至超算集群”的启发，菜鸟尝试书写了如本贴所展示的.sh脚本，可以只需使用 sbatch submit.sh 一行命令实现Gaussian任务的批量提交与文件整理。具体说明如下：

• slurm操作系统，.sh脚本和.gjf文件全部处于同一目录下（推荐为登录时默认目录，否则sbatch、g16等命令可能需要额外的绝对目录），确认每个 .gjf 文件中所写的核、内存数不大于本代码第二个 #!/bin/bash 部分所写的核、内存数
• 提交后遍历当前文件夹下所有文件，对每个未计算的.gjf文件创建对应的.sh脚本并提交，计算完成后在当前目录创建具有该.gjf文件名的文件夹，将相关文件全部移入其中
• 在当前目录下创建“Series”文件夹（如已有，则不创建），在其下创建“Series-slurm分配的job id-时间”文件夹，并将本脚本自身产生的.err等文件移入其中，不会移动submit.sh文件，生成.log文件用于记录提交全部任务所需的时间
• 对于每一个进行的高斯计算（以下称之为项目），项目名称为.gjf文件名（不含拓展名），在具有该项目名称的文件夹下应含有8个文件：①.sh文件：生成的项目运行所需脚本。②.chk、.gjf、.log、.out、.err文件：项目相关文件。③.fchk文件：使用自带formchk功能自.chk文件转换来的文件。④.rlog文件：菜鸟自定义的纯文本文件，记事本可打开，仅用于记录项目名称、job id、起止时间、运行耗时
• 本 .sh 文件为 unix 格式，且内含将 .gjf 文件转换为 unix 格式代码，无需额外命令
  

由于菜鸟所使用的HPC平台的要求，或许有多余的语句，同时这是菜鸟初次学习shell语法，标注了相当多的注释，使用notepad++打开则可以看到注释已按照相同缩进整理好，可根据需要增减功能
具体代码如下：

1. #!/bin/bash
   
2. #SBATCH --ntasks-per-node=1
   
3. #SBATCH --job-name=Series-%j
   
4. #SBATCH --partition=cpu
   
5. #SBATCH --nodes=1
   
6. #SBATCH --cpus-per-task=1
   
7. #SBATCH --mem=4GB
   
8. #SBATCH --output=Series-%j.out
   
9. #SBATCH --error=Series-%j.err
   
10.                                                                    # cpu节点、1核、4G内存（仅用于提交脚本，无需增大）
    
11. logfile="/根目录/Series-${SLURM_JOB_ID}.log"
    
12.                                                                    # 将“根目录”替换为登陆时的默认目录
    
13. echo "Job name is Series, ID is ${SLURM_JOB_ID}." >> "$logfile"
    
14. echo "Started at $(date +"%F %A %T %:z")" >> "$logfile"
    
15. submitdate=$(date +"%Y%m%d-%H%M%S")
    
16. start_time=$(date +%s)
    
17.                                                                    # 生成“提交任务”的 .log 文件，并记录提交过程耗时
    
18. for gjf_file in *.gjf; do                                    # 遍历当前目录下的所有 .gjf 文件
    
19.     job_name="${gjf_file%.gjf}"                          # 获取不带扩展名的文件名，即“高斯计算项目名称”
    
20.     log_file="${job_name}.log"                            # 检查是否已存在 .log 文件
    
21.     if [ ! -f "$log_file" ]; then                               # 如果不存在对应 .log 文件，则进行项目创建等后续操作
    
22.                 log_dir="/根目录"                                         # 将“根目录”替换为登陆时的默认目录
    
23.                 mkdir -p "$log_dir"
    
24.                 dos2unix "${gjf_file}"                                    # 将 .gjf 文件从 Windows 格式转换为 Linux 格式，请确保所用平台已安装该命令
    
25.                 cat > "$job_name.sh" << "EOF"                    # 创建.sh脚本，写入下列内容并执行
    
26. #!/bin/bash
    
27. #SBATCH --ntasks-per-node=1
    
28. #SBATCH --job-name=JOB_NAME_PLACEHOLDER
    
29. #SBATCH --partition=cpu
    
30. #SBATCH --nodes=1
    
31. #SBATCH --cpus-per-task=1
    
32. #SBATCH --mem=4GB
    
33. #SBATCH --output=JOB_NAME_PLACEHOLDER.out
    
34. #SBATCH --error=JOB_NAME_PLACEHOLDER.err
    
35.                                                                  # cpu节点、1核、4G内存（用于执行高斯计算项目，根据任务修改）
    
36.                                                                                 # JOB_NAME_PLACEHOLDER 是一个占位符，后续会被修改为该项目的实际名称
    
37. r_d_logfile="/根目录/JOB_NAME_PLACEHOLDER.rlog"
    
38.                                                                  # 创建一个 .rlog 文件，记录该项目的名字、 Linux 系统内 ID，起止时间、耗时，将“根目录”替换为登陆时的默认目录
    
39. echo "Job name is $SLURM_JOB_NAME, ID is ${SLURM_JOB_ID}." >> "$r_d_logfile"
    
40. echo "Started at $(date +"%F %A %T %:z")" >> "$r_d_logfile"
    
41. 
    
42. start_time=$(date +%s)
    
43. 
    
44. g16 JOB_NAME_PLACEHOLDER.gjf                # 执行高斯计算
    
45. wait                                                           # 确保计算完成
    
46. formchk JOB_NAME_PLACEHOLDER.chk        # 把 .chk 文件转换成 .fchk 文件
    
47. 
    
48. echo "Completed at $(date +"%F %A %T %:z")" >> "$r_d_logfile"
    
49. 
    
50. end_time=$(date +%s)
    
51. time_diff=$((end_time - start_time))
    
52. hours=$((time_diff / 3600))
    
53. minutes=$(((time_diff % 3600) / 60))
    
54. seconds=$((time_diff % 60))        
    
55. echo "Total runtime: $(printf "%02d:%02d:%02d" $hours $minutes $seconds)" >> "$r_d_logfile"
    
56.                                                                  # 计算耗时并写入 .rlog 文件                                                                                
    
57. job_name="${SLURM_JOB_NAME}"
    
58. base_dir="/根目录"                                     # 将“根目录”替换为登陆时的默认目录
    
59. target_dir="${base_dir}/${job_name}"
    
60. for file in ./*; do
    
61.     [ -f "$file" ] || continue
    
62.     file_base="${file##*/}"
    
63.     file_prefix="${file_base%.*}"
    
64.     if [ "$file_prefix" = "$job_name" ]; then
    
65.         mkdir -p "$target_dir"
    
66.         mv "$file" "$target_dir/"
    
67.     fi                                                               # 在当前目录创建同名文件夹，把该项目相关的文件全部移动至其中
    
68. done
    
69. 
    
70. EOF
    
71.                 sed -i "s/JOB_NAME_PLACEHOLDER/$(printf "%q" "$job_name")/g" "$job_name.sh"
    
72.                                                                 # 把占位符 JOB_NAME_PLACEHOLDER 换城正常的项目名称
    
73.                 sbatch "$job_name.sh"                               # 提交高斯计算项目
    
74.         fi
    
75. done
    
76. echo "Completed at $(date +"%F %A %T %:z")" >> "$logfile"
    
77.                                                                # 在. log 文件中记录项目已全部提交
    
78. end_time=$(date +%s)
    
79. time_diff=$((end_time - start_time))
    
80. hours=$((time_diff / 3600))
    
81. minutes=$(((time_diff % 3600) / 60))
    
82. seconds=$((time_diff % 60))
    
83. echo "Total runtime: $(printf "%02d:%02d:%02d" $hours $minutes $seconds)" >> "$logfile"
    
84.                                                                # 在. log 文件中记录提交所有项目所需耗时
    
85. series_name="Series-${SLURM_JOB_ID}"
    
86. base_dir="/根目录/Series"                         # 将“根目录”替换为登陆时的默认目录
    
87. target_dir="${base_dir}/${series_name}-${submitdate}"
    
88. for file in ./*; do
    
89.     [ -f "$file" ] || continue
    
90.     file_base="${file##*/}"
    
91.     file_prefix="${file_base%.*}"
    
92.     if [ "$file_prefix" = "$series_name" ]; then
    
93.         mkdir -p "$target_dir"
    
94.         mv "$file" "$target_dir/"
    
95.     fi
    
96. done
    
97.                                                               # 在当前目录创建 Series 文件夹，在其下创建 Series-slurmID-时间 文件夹，把此次提交相关的文件全部移动至其中

复制代码

submit.sh (4.28 KB, 下载次数 Times of downloads: 6)

2025-2-15 17:33 上传 Uploaded

点击下载
Click to download
一键高斯slurm

运行实例：

如有指正，不胜荣幸
致谢：slurm一键批量提交Gaussian任务至超算集群；ChatGPT；计算化学公社

wxyhgk

不建议使用这种做法，你应该这样做：

将通用的 Slurm 脚本作为基础模板，所有参数从外部传入，这样避免了每个任务都复制一份脚本，减少代码冗余。

基础脚本只需要维护一次，若以后调整资源分配或日志记录方式，只改一个地方就行，批量任务只需关注参数变化。

Jacaranda

wxyhgk 发表于 2025-2-16 16:18
不建议使用这种做法，你应该这样做：

将通用的 Slurm 脚本作为基础模板，所有参数从外部传入，这样避免 ...

感谢指点，我的主修是实验化学方向，对代码方面不是很熟悉，询问了一下ChatGPT，感觉还需要一些学习时间，我后续琢磨琢磨

kissw

没看懂，slurm不是有job array吗