计算化学公社

标题: 哪位老哥知道哪家超算机构有单机内存4TB以上的节点？ [打印本页]

作者
Author: rugals 时间: 2023-8-21 23:01
标题: 哪位老哥知道哪家超算机构有单机内存4TB以上的节点？
本帖最后由 rugals 于 2023-8-22 12:49 编辑

如题

跑cp2k，体系比较大，内存不怎么够用。

谢谢楼下各位老哥，这里补充点细节：
想用cp2k做千原子体系的杂化泛函计算，要做电子结构分析，对精度有要求，且不能用OT、ADMM、LSSCF等技术。
想尽量保证能让所有ERI存到内存里而不是on-the-fly方式。
目前正在用并行的2T内存节点做试验。(硬盘空间2.5T，某楼说的没错，现在确实是2毛/核时)
还不够的话只能考虑跨节点运行了。

作者
Author: 乐平 时间: 2023-8-22 00:44
你确定说的是内存？不是硬盘空间？

作者
Author: Entropy.S.I 时间: 2023-8-22 01:04
即使能找到这种机器，大概率你的体系最终还是跑不动

作者
Author: 一颗赛艇 时间: 2023-8-22 05:34
本帖最后由一颗赛艇于 2023-8-22 05:37 编辑

现在感觉DDR3 reg 内存，比如32G一条的比较便宜，你可以试试组一个4路的洋垃圾

我见过惠普有一款，DL580 G8，12*8条插满可以做到3TB内存，要再往上的话就得DDR4了，不过那样会很贵

话说回来你要算啥？感觉你的计算方案可能有问题。

作者
Author: 一颗赛艇 时间: 2023-8-22 05:38

乐平发表于 2023-8-22 00:44
你确定说的是内存？不是硬盘空间？

一般集群硬盘空间可比4TB大得多了

作者
Author: wypkdhd 时间: 2023-8-22 09:00

Entropy.S.I 发表于 2023-8-22 01:04
即使能找到这种机器，大概率你的体系最终还是跑不动

我觉得不是大概率跑不动，是一定跑不动。需要4TB缓存的体系，单节点最强现在也就是amd9654这类，根本扛不动。

作者
Author: Graphite 时间: 2023-8-22 10:34
本帖最后由 Graphite 于 2023-8-22 10:37 编辑

确实有128/256核带4T内存的节点这种东西，是面向一些特殊行业定制的内存特化版，CPU同比通常计算节点弱得很。
就算找朋友找代理弄到了，价格估计也感人，一天上千都有可能。有这钱不如裁裁体系，重新设计下，有需要像楼上说的弄个几千块钱洋垃圾慢慢算着。

作者
Author: Graphite 时间: 2023-8-22 10:34
确实有128/256核带4T内存的节点这种东西，是面向一些特殊行业定制的内存特化版，CPU同比通常计算节点弱得很。

作者
Author: goldNAN 时间: 2023-8-22 11:55
没有打广告，找并行咨询过，有2TB内存的机子，不过价格快2毛每核时了，最后没舍得用

作者
Author: abin 时间: 2023-8-22 12:15
需要搞清楚的问题：
1 是否是计算过程中，内存不足？一般调度器会报告oom， out of memory。
2 难道是磁盘读写空间不足？一般提示信息大概是 out of space, out of disk space之类。

楼上讲的没错，一般的集群，硬盘空间至少比4TB多。

问题是，当前用户被授权使用的配额是多少？
有没有可能，硬件资源是够用的，
但是当前的用户，被限定，最多使用内存500GB，计算读写硬盘空间1TB，数据存储空间100GB？
这种多层面的限定是可能存在的。

作者
Author: rugals 时间: 2023-8-22 12:45
各位老哥好，不一一回复了

想用cp2k做千原子体系的杂化泛函计算，要做电子结构分析，对精度有要求，且不能用OT、ADMM、LSSCF等技术。
想尽量保证能让所有ERI存到内存里而不是on-the-fly方式。
目前正在用并行的2T内存节点做试验。(硬盘空间2.5T)
还不够的话只能考虑跨节点运行了。

作者
Author: abin 时间: 2023-8-22 13:18
合理搭配openMP + MPI 可以降低内存压力。

作者
Author: rugals 时间: 2023-8-22 14:48

abin 发表于 2023-8-22 13:18
合理搭配openMP + MPI 可以降低内存压力。

谢谢老师，我配的8MPI进程，每个下属8个openMPI。内存耗量时高时低。

作者
Author: hebrewsnabla 时间: 2023-8-22 15:50
本帖最后由 hebrewsnabla 于 2023-8-22 15:51 编辑

且不能用OT、ADMM、LSSCF等技术。
想尽量保证能让所有ERI存到内存里而不是on-the-fly方式。

这些要求的理由是什么呢？你觉得用了ADMM精度就不行了？

作者
Author: rugals 时间: 2023-8-22 22:13

hebrewsnabla 发表于 2023-8-22 15:50
这些要求的理由是什么呢？你觉得用了ADMM精度就不行了？

我一般是OT和ADMM同时用或同时不用。
但我需要空轨道信息，所以这两个都不用。

作者
Author: sobereva 时间: 2023-8-23 07:38
如果死活不用ADMM，记得绝对不能用MOLOPT之类广义收缩基组，否则算上千原子根本没戏
只能用pob-DZVP-rev2、pcseg-1之类

作者
Author: rugals 时间: 2023-8-23 10:51

sobereva 发表于 2023-8-23 07:38
如果死活不用ADMM，记得绝对不能用MOLOPT之类广义收缩基组，否则算上千原子根本没戏
只能用pob-DZVP-rev2 ...

谢谢sob老师，采用的6-31G(d)

欢迎光临计算化学公社 (http://bbs.keinsci.com/)