求助，vasp6.4.3的机器学习力场的内存需求特别大

erokenshi · 发表于 Post on 2024-12-2 10:36:05

课题组前几天买了个新服务器，内存配了375G，用来跑一个309个原子的机器学习力场的时候总是在initializing machine learning这一步退出，检查发现vasp会吃满几乎所有内存然后被系统自动杀掉，即使只用几个核也只影响吃满内存的快慢，然而ML_LOGFILE文件里显示总内存消耗在32G左右。交给售后技术支持测试的结果是调用32核的情况下会吃1.3T的内存，64核则是1.8T，并且会在initializing machine laerning卡特别久。因为组里机器学习力场用得很少没有什么经验，所以想问一下这种情况是正常的吗？如果不正常应该怎么调整？

DavyHou · 发表于 Post on 2024-12-2 12:10:03

vasp6.4.0消耗的内存相对少一些。我用过vasp6.4.2，对内存消耗也很大。之后默认使用vasp6.4.0了。

Santz · 发表于 Post on 2024-12-2 13:34:36

分享下完整输入文件，我的6.4.2试看看。

erokenshi · 发表于 Post on 2024-12-2 17:59:37

Santz 发表于 2024-12-2 13:34
分享下完整输入文件，我的6.4.2试看看。

test.zip (6.41 MB, 下载次数 Times of downloads: 8)

test.z01 (9 MB, 下载次数 Times of downloads: 7)
输入文件都在这里，麻烦老师了

erokenshi · 发表于 Post on 2024-12-2 18:02:19

我又测试了一下，发现有一次可以成功开始计算，但是原因不明，之后想要复现也做不到了

Huschein · 发表于 Post on 2024-12-2 18:05:55

可以用amber

https://chemrxiv.org/engage/chem ... 1127be152b1d036bfee

k959 · 发表于 Post on 2024-12-3 19:43:28

ML_LOGFILE文件里显示的内存消耗是对于一个核心的估算，编译的时候加入-Duse_shmem可以减少内存需求，而且vasp机器学习继续训练的成本太高了，可以合并多个ML_AB文件再select训练，但是这样也比较慢

erokenshi · 发表于 Post on 2024-12-5 18:05:54

k959 发表于 2024-12-3 19:43
ML_LOGFILE文件里显示的内存消耗是对于一个核心的估算，编译的时候加入-Duse_shmem可以减少内存需求，而且v ...

我加上-Duse_shmem测试了下，内存吃满的速度没那么快了，ML_LOGFILE里面显示的内存占用也没那么大了，但是内存该满还是满，应该还是机器内存太小了

		自动登录 Automatic login	找回密码 Forget password
密码 Password			注册 Register

[VASP] 求助，vasp6.4.3的机器学习力场的内存需求特别大

浏览过的版块