计算化学公社

标题: ORCA耦合簇计算硬盘影响求助 [打印本页]

作者
Author: naonao5205 时间: 2020-1-4 23:21
标题: ORCA耦合簇计算硬盘影响求助
本帖最后由 naonao5205 于 2020-1-4 23:24 编辑

各位老师你们好，最近在ORCA用CCSD(T)算小分子单点能时候发现一个问题：使用1/3物理核心（8）和全部物理核心（24）进行计算，耗时并没有明显的变化（总内存分配一致）。在DFT时候其耗时基本随用的核正相关。（均使用ORCA绝对路径）
检查发现其在不断地对硬盘进行读取（~60mb/s）和写入（~10mb/s）。请问这是否表明硬盘限制了cpu进行计算？以及在进行耦合簇计算时，服务器响应非常迟缓，请问这是因为硬盘占用过高的原因吗？是否应该增添一块硬盘，使orca计算不和系统在一个盘上呢？

作者
Author: zjxitcc 时间: 2020-1-4 23:49
本帖最后由 zjxitcc 于 2020-1-4 23:53 编辑

你这很典型···想快的话，买块好的SSD，把ORCA程序、计算文件、临时文件都放在SSD上。硬盘的读取速度限制了你用很多核是没啥用的，差不多就4个核有用。
再有钱的话，内存大一点。

另外，你说的是DLPNO-CCSD(T)吧，对于一个有低标度CCSD(T)的程序来说，传统CCSD(T)没啥用处···

作者
Author: biogon 时间: 2020-1-5 10:05

zjxitcc 发表于 2020-1-4 23:49
你这很典型···想快的话，买块好的SSD，把ORCA程序、计算文件、临时文件都放在SSD上。硬盘的读取速度限制 ...

毕竟CCSD(T）精度还能高一点，显式相关的方法还能RI加速

作者
Author: 冰释之川 时间: 2020-1-5 10:30
用ORCA跑DLPNO-CCSD(T) 还是蛮吃硬盘速度的，我服务器一个节点是组成raid的，速度在300M/s；而另一个节点是通过千兆交换机挂到raid上，速度限制在100M/s，两者跑同样的任务，时间耗费相差5倍

作者
Author: llzz0309 时间: 2020-1-5 12:45
最好的办法是组磁盘阵列RAID, 买几个大的硬盘（固态最好了），做RAID10, 数据读写速度、数据安全都会得到质的改善

作者
Author: shalene 时间: 2020-1-5 13:23
三星nvme ssd 做raid0，性价比最高的选择

作者
Author: ghifi37 时间: 2020-1-5 15:28
读取数据量太大的话，还是弄块MLC的SSD，才能折腾，比如SM961之类的

作者
Author: abin 时间: 2020-1-5 20:56
RAID0 最佳解。

按照预算情况，可以选择，顶级SSD，普通SSD，或者HDD。其实HDD也能做到300MB/s或者更高的读写。

通过硬件实现的RAID0或者Linux内核支持的soft raid，对于小规模的读写，没有明显的差异。

作者
Author: pika02 时间: 2020-1-31 16:01

ghifi37 发表于 2020-1-5 15:28
读取数据量太大的话，还是弄块MLC的SSD，才能折腾，比如SM961之类的

SM961这种后期MLC寿命并没有多长，而且现在卖的许多961都是来路不明的黑车，还是不建议买

作者
Author: naonao5205 时间: 2020-6-19 11:48
换用三星860evo后，经过半年的实际使用，发现应该是orca内存管理有问题（同时存在gaussian任务）老占用swap的问题，经常把gaussian挤掉了

把swap关掉后系统明显不卡 orca耗时几乎不变但是同时运行的高斯也正常了

作者
Author: abin 时间: 2020-6-19 12:46

naonao5205 发表于 2020-6-19 11:48
换用三星860evo后，经过半年的实际使用，发现应该是orca内存管理有问题（同时存在gaussian任务）老占用swa ...

如果采用slurm调度管理，cgroup 可以很好地把程序限定在指定的资源中进行计算；
不会出现所谓抢占资源这种问题而导致的运行效率低下的问题。

欢迎光临计算化学公社 (http://bbs.keinsci.com/)