计算化学公社

 找回密码 Forget password
 注册 Register
Views: 11285|回复 Reply: 12
打印 Print 上一主题 Last thread 下一主题 Next thread

[ORCA] 求助orca跨节点并行问题

[复制链接 Copy URL]

581

帖子

0

威望

1700

eV
积分
2281

Level 5 (御坂)

跳转到指定楼层 Go to specific reply
楼主
各位老师打扰了,下边的slurm脚本orca计算单个节点可以运行,但是跨节点的时候总是一个节点在算,其他节点top都没有计算进程,如何简单的修改下边的slurm脚本可以跨节点运行呀?

#!/bin/bash
#
#SBATCH --nodes=3               # allocate 1 nodes for the job
#SBATCH --ntasks-per-node=3     # allocate 20 cores for the job
#SBATCH --time=72:00:00
#SBATCH -o output.%J.out # the file to write stdout for job
#SBATCH -e output.%J.err # the file to write stderr for job
#SBATCH --job-name=a.inp

input=a.inp

jobname=$(echo "${input%.*}")

# start
export PATH=$PATH:/home/guojd/openmpi313/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/guojd/openmpi313/lib
export PATH=$PATH:/home/guojd/orca421
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/guojd/orca421
export RSH_COMMAND="ssh -x"

scratch="/tmp/$USER/$SLURM_JOB_ID"

if [ ! -d $scratch ]; then
    mkdir -p $scratch
fi

export GAUSS_SCRDIR=$scratch

# run Gaussian 09
time /home/guojd/orca421/orca $input 2>&1 | tee $jobname.out

if [ -f $scratch/*.chk ]; then
    cp $scratch/*.chk $SLURM_SUBMIT_DIR
fi

rm -rf $scratch


35

帖子

1

威望

458

eV
积分
513

Level 4 (黑子)

2#
发表于 Post on 2021-3-15 01:16:34 | 只看该作者 Only view this author
可以參考看看
https://orcaforum.kofo.mpg.de/viewtopic.php?f=9&t=7094

另外orca user manual page 7

581

帖子

0

威望

1700

eV
积分
2281

Level 5 (御坂)

3#
 楼主 Author| 发表于 Post on 2021-3-15 09:01:41 | 只看该作者 Only view this author
ms860309 发表于 2021-3-15 01:16
可以參考看看
https://orcaforum.kofo.mpg.de/viewtopic.php?f=9&t=7094

谢谢老师

581

帖子

0

威望

1700

eV
积分
2281

Level 5 (御坂)

4#
 楼主 Author| 发表于 Post on 2021-4-6 21:28:32 | 只看该作者 Only view this author
ms860309 发表于 2021-3-15 01:16
可以參考看看
https://orcaforum.kofo.mpg.de/viewtopic.php?f=9&t=7094

老师您好,学生没有编程基础,能不能麻烦您多说几句,如何才能实现orca的跨节点并行呀

2425

帖子

1

威望

6196

eV
积分
8641

Level 6 (一方通行)

5#
发表于 Post on 2021-4-6 22:00:36 | 只看该作者 Only view this author
498746012 发表于 2021-4-6 21:28
老师您好,学生没有编程基础,能不能麻烦您多说几句,如何才能实现orca的跨节点并行呀

另一个很相似的帖子,
应该也是你发的。

如果你测试其他的可以多节点并行没有问题,
那么
可以测试:
#SBATCH --nodes=2               # allocate 1 nodes for the job
#SBATCH --ntasks-per-node=2     # allocate 20 cores for the job

从偶数开始测试。 一上来就搞3,有时候,就莫名其妙了。
High-Performance Computing for You
为您专属定制的高性能计算解决方案

更多讯息,请访问:
https://labitc.top
http://tophpc.top:8080
电邮: ask@hpc4you.top

581

帖子

0

威望

1700

eV
积分
2281

Level 5 (御坂)

6#
 楼主 Author| 发表于 Post on 2021-4-6 22:47:44 | 只看该作者 Only view this author
abin 发表于 2021-4-6 22:00
另一个很相似的帖子,
应该也是你发的。

谢谢老师,这个试过了,还是不能跨节点并行

2425

帖子

1

威望

6196

eV
积分
8641

Level 6 (一方通行)

7#
发表于 Post on 2021-4-6 23:06:40 | 只看该作者 Only view this author
498746012 发表于 2021-4-6 22:47
谢谢老师,这个试过了,还是不能跨节点并行

我给你图片展示了,
这种设定没有问题呀。
我的集群上,能跑呀。

集群设置问题,我推测。
这玩意又不是一两句能量明白的。
如果集群是你做的,建议看记录,从头翻一遍。

如果不是你做的,
去看看slurm日志,里面会讲原因的。
High-Performance Computing for You
为您专属定制的高性能计算解决方案

更多讯息,请访问:
https://labitc.top
http://tophpc.top:8080
电邮: ask@hpc4you.top

581

帖子

0

威望

1700

eV
积分
2281

Level 5 (御坂)

8#
 楼主 Author| 发表于 Post on 2021-4-6 23:11:17 | 只看该作者 Only view this author
abin 发表于 2021-4-6 23:06
我给你图片展示了,
这种设定没有问题呀。
我的集群上,能跑呀。

谢谢老师

35

帖子

1

威望

458

eV
积分
513

Level 4 (黑子)

9#
发表于 Post on 2021-4-29 10:36:21 | 只看该作者 Only view this author
498746012 发表于 2021-4-6 21:28
老师您好,学生没有编程基础,能不能麻烦您多说几句,如何才能实现orca的跨节点并行呀

不好意思  沒看見tag的提醒

具體來說  你的cluster還需要有 hwloc  (yum install numactl-devel)
之後再重新compile openmpi就可以了

這需要root權限

如果裝上了 理論上就可以了,這和pbs或者slurm job設定檔沒多大關係,job file只要有設定node數量就可以了

581

帖子

0

威望

1700

eV
积分
2281

Level 5 (御坂)

10#
 楼主 Author| 发表于 Post on 2021-4-29 11:52:20 | 只看该作者 Only view this author
ms860309 发表于 2021-4-29 10:36
不好意思  沒看見tag的提醒

具體來說  你的cluster還需要有 hwloc  (yum install numactl-devel)

谢谢老师

38

帖子

0

威望

435

eV
积分
473

Level 3 能力者

11#
发表于 Post on 2022-4-2 22:21:07 | 只看该作者 Only view this author
题主你好  我最近也遇到了同样的问题 非常头疼 有幸在论坛上看到了你的贴子 请问您具体做了哪些修改呢  

2425

帖子

1

威望

6196

eV
积分
8641

Level 6 (一方通行)

12#
发表于 Post on 2022-4-2 23:30:52 | 只看该作者 Only view this author
如果多节点操作
由于ORCA要频繁写硬盘,
要保证多个进程数据高度同步,
所以,不支持多机器写NFS .

然后,修改为本地读写即可。

如果你看了如上描述不晓得
我在讲啥,那你自己搞不定。

你应该找你的IT技术支持来处理。
High-Performance Computing for You
为您专属定制的高性能计算解决方案

更多讯息,请访问:
https://labitc.top
http://tophpc.top:8080
电邮: ask@hpc4you.top

581

帖子

0

威望

1700

eV
积分
2281

Level 5 (御坂)

13#
 楼主 Author| 发表于 Post on 2022-4-6 16:32:56 | 只看该作者 Only view this author
abin 发表于 2022-4-2 23:30
如果多节点操作
由于ORCA要频繁写硬盘,
要保证多个进程数据高度同步,

谢谢老师

本版积分规则 Credits rule

手机版 Mobile version|北京科音自然科学研究中心 Beijing Kein Research Center for Natural Sciences|京公网安备 11010502035419号|计算化学公社 — 北京科音旗下高水平计算化学交流论坛 ( 京ICP备14038949号-1 )|网站地图

GMT+8, 2026-2-23 02:58 , Processed in 0.184771 second(s), 20 queries , Gzip On.

快速回复 返回顶部 返回列表 Return to list