计算化学公社

标题: 高斯并行在OpenMp和MPI下的区别和内存申请 [打印本页]

作者
Author: kyuu 时间: 2017-7-9 10:58
标题: 高斯并行在OpenMp和MPI下的区别和内存申请
高斯在shared memory模式和Distributed memory下编译，并行运行效率上有什么区别吗，我们MPI环境下的超算被高斯ban了（尴尬），只能在openMP架构的小型HPC下边用（不是linda版本），内存申请上有些疑惑，想咨询一下。一个节点上有96G内存，申请8核在高斯里写内存的时候，依次试了80G,64G,32G,16G,任务都失败了，最后用10G是可以的，高斯里的内存设置是按照每个核分配的？所以8*10=80G<96G，还是一共只申请下10G。
我这个HPC有一部分是物理节点，一部分是云节点，节点间数据传输不是特别好，这种情况下还建议高斯openMP跨节点并行吗
计算资源丰富的情况下，一般用多少个core，我看很多人用24核

作者
Author: sobereva 时间: 2017-7-9 11:41
单个节点并行，%mem设的是内存总使用量，不是每个核的。64bit版高斯，96G内存时候分配90G内存不会有问题，失败是系统、资源限制等方面的问题
不要跨节点。OpenMP并行本来就不能跨节点，高斯跨节点是靠linda把多个节点内存虚拟成共享内存从而能够通过OpenMP来并行。若想linda跨节点并行，没IB网就考虑了，效率很烂。
一个任务在跑时候，节点里有多少物理核心就用多少核。

作者
Author: kyuu 时间: 2017-7-10 08:46
HPC里用的机械硬盘，IO读取慢，原以为尽可能多用内存，少用硬盘，所以把MAX Disk设的比较小，昨天把这个参数设成10GB，内存就成功申请到了50G，但即便改成15G硬盘文件（高斯建议最大用15G），64GB内存还是申请不下来，log文件最后有一行从C++返回的错误信息，galloc: could not allocate memory.
今天工作日，我问一下他们怎么设的内存限制

作者
Author: kyuu 时间: 2017-7-12 07:00

sobereva 发表于 2017-7-9 11:41
单个节点并行，%mem设的是内存总使用量，不是每个核的。64bit版高斯，96G内存时候分配90G内存不会有问题， ...

恩，跟管理员大概看了看，初步猜测是Gaussian希望申请OS一次性把内存全部交给Gaussian使用，但我们的OS不允许；管理员给我新建了两个节点练习Gaussian，每个节点32核，1.5TB内存，这样就可以同时运行两个稍微大一点的任务了

欢迎光临计算化学公社 (http://bbs.keinsci.com/)