计算化学公社

标题: 求助，vasp6.4.3的机器学习力场的内存需求特别大 [打印本页]

作者
Author: erokenshi 时间: 2024-12-2 10:36
标题: 求助，vasp6.4.3的机器学习力场的内存需求特别大
课题组前几天买了个新服务器，内存配了375G，用来跑一个309个原子的机器学习力场的时候总是在initializing machine learning这一步退出，检查发现vasp会吃满几乎所有内存然后被系统自动杀掉，即使只用几个核也只影响吃满内存的快慢，然而ML_LOGFILE文件里显示总内存消耗在32G左右。交给售后技术支持测试的结果是调用32核的情况下会吃1.3T的内存，64核则是1.8T，并且会在initializing machine laerning卡特别久。因为组里机器学习力场用得很少没有什么经验，所以想问一下这种情况是正常的吗？如果不正常应该怎么调整？

作者
Author: DavyHou 时间: 2024-12-2 12:10
vasp6.4.0消耗的内存相对少一些。我用过vasp6.4.2，对内存消耗也很大。之后默认使用vasp6.4.0了。

作者
Author: Santz 时间: 2024-12-2 13:34
分享下完整输入文件，我的6.4.2试看看。

作者
Author: erokenshi 时间: 2024-12-2 17:59

Santz 发表于 2024-12-2 13:34
分享下完整输入文件，我的6.4.2试看看。

(, 下载次数 Times of downloads: 8)
(, 下载次数 Times of downloads: 7)
输入文件都在这里，麻烦老师了

作者
Author: erokenshi 时间: 2024-12-2 18:02
我又测试了一下，发现有一次可以成功开始计算，但是原因不明，之后想要复现也做不到了

作者
Author: Huschein 时间: 2024-12-2 18:05
可以用amber

https://chemrxiv.org/engage/chem ... 1127be152b1d036bfee

作者
Author: k959 时间: 2024-12-3 19:43
ML_LOGFILE文件里显示的内存消耗是对于一个核心的估算，编译的时候加入-Duse_shmem可以减少内存需求，而且vasp机器学习继续训练的成本太高了，可以合并多个ML_AB文件再select训练，但是这样也比较慢

作者
Author: erokenshi 时间: 2024-12-5 18:05

k959 发表于 2024-12-3 19:43
ML_LOGFILE文件里显示的内存消耗是对于一个核心的估算，编译的时候加入-Duse_shmem可以减少内存需求，而且v ...

我加上-Duse_shmem测试了下，内存吃满的速度没那么快了，ML_LOGFILE里面显示的内存占用也没那么大了，但是内存该满还是满，应该还是机器内存太小了

欢迎光临计算化学公社 (http://bbs.keinsci.com/)