哪位老哥知道哪家超算机构有单机内存4TB以上的节点？

rugals

如题

跑cp2k，体系比较大，内存不怎么够用。

谢谢楼下各位老哥，这里补充点细节：
想用cp2k做千原子体系的杂化泛函计算，要做电子结构分析，对精度有要求，且不能用OT、ADMM、LSSCF等技术。
想尽量保证能让所有ERI存到内存里而不是on-the-fly方式。
目前正在用并行的2T内存节点做试验。(硬盘空间2.5T，某楼说的没错，现在确实是2毛/核时)
还不够的话只能考虑跨节点运行了。

乐平

你确定说的是内存？ 不是硬盘空间？

Entropy.S.I

即使能找到这种机器，大概率你的体系最终还是跑不动

一颗赛艇

现在感觉DDR3 reg 内存，比如32G一条的比较便宜，你可以试试组一个4路的洋垃圾

我见过惠普有一款，DL580 G8，12*8条插满可以做到3TB内存，要再往上的话就得DDR4了，不过那样会很贵

话说回来你要算啥？感觉你的计算方案可能有问题。

一颗赛艇

乐平 发表于 2023-8-22 00:44
你确定说的是内存？ 不是硬盘空间？

一般集群硬盘空间可比4TB大得多了

wypkdhd

Entropy.S.I 发表于 2023-8-22 01:04
即使能找到这种机器，大概率你的体系最终还是跑不动

我觉得不是大概率跑不动，是一定跑不动。需要4TB缓存的体系，单节点最强现在也就是amd9654这类，根本扛不动。

Graphite

确实有128/256核带4T内存的节点这种东西，是面向一些特殊行业定制的内存特化版，CPU同比通常计算节点弱得很。
就算找朋友找代理弄到了，价格估计也感人，一天上千都有可能。有这钱不如裁裁体系，重新设计下，有需要像楼上说的弄个几千块钱洋垃圾慢慢算着。

Graphite

确实有128/256核带4T内存的节点这种东西，是面向一些特殊行业定制的内存特化版，CPU同比通常计算节点弱得很。

goldNAN

没有打广告，找并行咨询过，有2TB内存的机子，不过价格快2毛每核时了，最后没舍得用

abin

需要搞清楚的问题：
1 是否是计算过程中， 内存不足？ 一般调度器会报告oom， out of memory。
2 难道是磁盘读写空间不足？ 一般提示信息大概是 out of space, out of disk space之类。

楼上讲的没错， 一般的集群， 硬盘空间至少比4TB多。

问题是，当前用户被授权使用的配额是多少？
有没有可能， 硬件资源是够用的，
但是当前的用户， 被限定， 最多使用内存500GB， 计算读写硬盘空间1TB， 数据存储空间100GB？
这种多层面的限定是可能存在的。

rugals

各位老哥好，不一一回复了

想用cp2k做千原子体系的杂化泛函计算，要做电子结构分析，对精度有要求，且不能用OT、ADMM、LSSCF等技术。
想尽量保证能让所有ERI存到内存里而不是on-the-fly方式。
目前正在用并行的2T内存节点做试验。(硬盘空间2.5T)
还不够的话只能考虑跨节点运行了。

abin

合理搭配openMP + MPI 可以降低内存压力。

rugals

abin 发表于 2023-8-22 13:18
合理搭配openMP + MPI 可以降低内存压力。

谢谢老师，我配的8MPI进程，每个下属8个openMPI。内存耗量时高时低。

hebrewsnabla

且不能用OT、ADMM、LSSCF等技术。
想尽量保证能让所有ERI存到内存里而不是on-the-fly方式。

这些要求的理由是什么呢？你觉得用了ADMM精度就不行了？

rugals

hebrewsnabla 发表于 2023-8-22 15:50
这些要求的理由是什么呢？你觉得用了ADMM精度就不行了？

我一般是OT和ADMM同时用或同时不用。
但我需要空轨道信息，所以这两个都不用。