巧妙利用make命令批量并行运行任务的小脚本

冰释之川

相信对于经常编写shell脚本的人来说，利用for语句对一批任务进行批量、串行处理是小菜一碟，不过有时候我们希望能够对一批任务进行批量、并行地运行任务，从而最大程度发挥多核CPU的优势，这时候如何优雅地、不借助额外工具来达成这一“并行”效果呢？

其实可以巧妙地套用make命令制作makefile来实现“并行、批量”执行的操作, 在此感谢邹神(zjxitcc)提供的批量并行的解决思路

批量并行运行脚本：
parallel_run.7z (1.65 KB, 下载次数 Times of downloads: 29)

2023-2-25 17:51 上传 Uploaded

点击下载
Click to download


这里举个使用该脚本的范例：
在文件夹中有多个*.a文件，想利用bash批量、并行运行*.a文件。

*.a文件内容如下:

1. echo "hello~"
   
2. sleep 5

复制代码

那么，我们可以先收集多个*.a文件所在位置信息，生成makefile文件，最后利用诸如make -f parallel_run.make -j 8 命令，来借用makefile容器进行并行处理。

parallel_run.make内容如下：

1. all: w1 w2 w3 w4 w5 w6 w7 w8 w9
   
2. 
   
3. w1:
   
4.         bash /mnt/e/parallel_run/1/1.a > /mnt/e/parallel_run/1/1.log 2>&1
   
5. 
   
6. w2:
   
7.         bash /mnt/e/parallel_run/1/4/4.a > /mnt/e/parallel_run/1/4/4.log 2>&1
   
8. 
   
9. w3:
   
10.         bash /mnt/e/parallel_run/2/2.a > /mnt/e/parallel_run/2/2.log 2>&1
    
11. 
    
12. w4:
    
13.         bash /mnt/e/parallel_run/2/5/5.a > /mnt/e/parallel_run/2/5/5.log 2>&1
    
14. 
    
15. w5:
    
16.         bash /mnt/e/parallel_run/3/3.a > /mnt/e/parallel_run/3/3.log 2>&1
    
17. 
    
18. w6:
    
19.         bash /mnt/e/parallel_run/3/5/5.a > /mnt/e/parallel_run/3/5/5.log 2>&1
    
20. 
    
21. w7:
    
22.         bash /mnt/e/parallel_run/3/5/4/4.a > /mnt/e/parallel_run/3/5/4/4.log 2>&1
    
23. 
    
24. w8:
    
25.         bash /mnt/e/parallel_run/4/4.a > /mnt/e/parallel_run/4/4.log 2>&1
    
26. 
    
27. w9:
    
28.         bash /mnt/e/parallel_run/5/5.a > /mnt/e/parallel_run/5/5.log 2>&1

复制代码

在脚本里可以修改下面参数来适应不同的脚本任务：

1. file_extension="a"     # the *.$file_extension file to be executed
   
2. num_cpu=6     # number of CPU to be used
   
3. command='bash'       # input command here

复制代码

下面是脚本运行过程中的输出信息：

abin

补充一下，还有其他可以参考的解决方案。

https://unix.stackexchange.com/q ... ize-a-bash-for-loop

exity

目睹了一起抢发事件的完整过程。

Daniel_Arndt

我正常是用GNU parallel（ https://www.gnu.org/software/parallel/ ）来进行类似操作的。但我早已忘记最初是从什么地方知道这个工具的了。

刚刚搜索了一下，从Hacker News上找到了这个链接 https://docs.alliancecan.ca/medi ... ?title=GNU_Parallel ，里面较为详细地写了GNU Parallel的用法。里面的“Running on Multiple Nodes”，我也是头一次知道。我曾经遇上过超算没有装GNU parallel的情况，那个超算是CentOS，我当时直接下载了Fedora EPEL 7的GNU parallel的包，然后“rpm2cpio parallel-20160222-1.el7.noarch.rpm | cpio -i -d”，再把parallel所在路径加到PATH里就行了。

需要注意的是moreutils（ https://joeyh.name/code/moreutils/ ）里面也有个程序叫parallel，但那个parallel现在很少有人用了。