计算化学公社

 找回密码 Forget password
 注册 Register

巧妙利用make命令批量并行运行任务的小脚本

查看数: 1464 | 评论数: 3 | 收藏 Add to favorites 11
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2023-2-25 17:52

正文摘要:

本帖最后由 冰释之川 于 2023-3-2 18:42 编辑 相信对于经常编写shell脚本的人来说,利用for语句对一批任务进行批量、串行处理是小菜一碟,不过有时候我们希望能够对一批任务进行批量、并行地运行任务,从而最大程 ...

回复 Reply

Daniel_Arndt 发表于 Post on 2023-2-26 10:06:21
我正常是用GNU parallel( https://www.gnu.org/software/parallel/ )来进行类似操作的。但我早已忘记最初是从什么地方知道这个工具的了。

刚刚搜索了一下,从Hacker News上找到了这个链接 https://docs.alliancecan.ca/medi ... ?title=GNU_Parallel ,里面较为详细地写了GNU Parallel的用法。里面的“Running on Multiple Nodes”,我也是头一次知道。我曾经遇上过超算没有装GNU parallel的情况,那个超算是CentOS,我当时直接下载了Fedora EPEL 7的GNU parallel的包,然后“rpm2cpio parallel-20160222-1.el7.noarch.rpm | cpio -i -d”,再把parallel所在路径加到PATH里就行了。

需要注意的是moreutils( https://joeyh.name/code/moreutils/ )里面也有个程序叫parallel,但那个parallel现在很少有人用了。

评分 Rate

参与人数
Participants 1
eV +5 收起 理由
Reason
ChrisZheng + 5 我很赞同

查看全部评分 View all ratings

exity 发表于 Post on 2023-2-25 21:58:22
目睹了一起抢发事件的完整过程。
abin 发表于 Post on 2023-2-25 20:39:34
补充一下,还有其他可以参考的解决方案。

https://unix.stackexchange.com/q ... ize-a-bash-for-loop

手机版 Mobile version|北京科音自然科学研究中心 Beijing Kein Research Center for Natural Sciences|京公网安备 11010502035419号|计算化学公社 — 北京科音旗下高水平计算化学交流论坛 ( 京ICP备14038949号-1 )|网站地图

GMT+8, 2024-11-27 14:02 , Processed in 0.271708 second(s), 27 queries , Gzip On.

快速回复 返回顶部 返回列表 Return to list