捐赠本论坛 (Donate this site)
开启辅助访问 切换到宽版

计算化学公社

 找回密码 Forget password
 注册 Register
计算化学公社»论坛首页 › 理论与计算化学 (Theoretical and Computational Chemistry) › 第一性原理 (First-principles) › 求助：不同编译方式的cp2k-2024.3计算杂化泛函速度和内 ...
返回列表 Return 发新帖
Views: 712|回复 Reply: 3
打印 Print 上一主题 Last thread 下一主题 Next thread

[CP2K] 求助：不同编译方式的cp2k-2024.3计算杂化泛函速度和内存消耗差异巨大的问题

[复制链接 Copy URL]
cxtt

2

帖子

0

威望

95

eV
积分
97

Level 2 能力者
跳转到指定楼层 Go to specific reply
楼主
发表于 Post on 2024-12-7 22:58:15 | 只看该作者 Only view this author |只看大图 View big picture 回帖奖励 |倒序浏览 Reverse view |阅读模式 Reading model
本帖最后由 cxtt 于 2024-12-7 23:00 编辑

最近编译了多个版本的cp2k-2024.3，但每个版本都存在一些问题，尝试了很多编译器和mpi的组合仍无法解决，因此发帖求助一下。
我编译的版本包含：
[1] icc+intelmpi+intelMKL（2021.3 classic）
[2] gcc(8.5.0)+openmpi(4.0.3)+openBLAS
[3] gcc(13.3.0)+openmpi(4.1.6)+openBLAS
[4] gcc(14.1.0)+openmpi(5.0.5)+openBLAS
其中前三个版本的编译器和mpi都是单独装的，第四个版本是直接在使用toolchain的时候指定--gcc=install --openmpi=install自动安装的
然后发现intel版本的cp2k存在严重的内存泄漏问题，跑任何泛函或者基组的aimd，大概4000步左右就会爆内存。监控发现内存的确会一直上升，例如从最初的663 MB/process会一直涨到6977 MB/process

而第4个版本的cp2k跑PBE或vdW-DF2这种泛函一切正常，速度甚至会比intel版本略快。但在跑杂化泛函的时候却会卡在OT的第一步不动，查看slurm输出文件发现报错：
[1733415764.784624  [comput02:3093387:0]         address.c:1009 UCX  ERROR failed to unpack address, invalid bandwidth 0.00

第3个版本的cp2k跑杂化泛函的任务同样会在OT第一步卡很久，但最终能够跑下去，只是耗时很长（第一个电子步1889.3s，而其他版本只需要9s）

第2个版本的cp2k跑杂化泛函能正常跑下去，但会比intel版本慢50%以上（但跑其他泛函速度非常接近）。我的任务是：包含64个水分子的体系，NVT平衡MD，10000step。计算设置：revPBE0+D3，DZVP-MOLOPT-SR-GTH基组，admm-dzp辅助基组（使用ADMM），使用OT。输入文件如下： input.inp (15.56 KB, 下载次数 Times of downloads: 14)
计算速度：Intel-cp2k：稳定后速度13.4s/step；GCC(8.5.0)-cp2k：稳定后速度20.3s/step
并且还观察到就算除去内存泄漏，intel版本使用的内存也会远高于gcc版本。intel版本最初为663MB/process，然后会一直涨到爆内存；gcc版本从380MB/process缓慢涨到420MB/process。在检查算ERI后发现两个版本所有ERI都是in-core的，不存在储存信息不一致的问题。因此合理推测可能是不同编译器和数学库在计算过程中储存的中间量不一样，这个可能会极大影响计算速度。
下面分别是两个版本的第一个离子步的运行信息：
可以看到能量是基本一致的，但速度上intel要快很多
因此我想问一下：intel版本的内存泄漏问题有办法解决吗？以及gcc版本算杂化泛函如此缓慢是正常的吗？
  






评分 Rate

参与人数
Participants 1		eV +3 收起 理由
Reason
Uus/pMeC6H4-/キ + 3 勇士！

查看全部评分 View all ratings

回复 Reply

举报 Report

sobereva

6万

帖子

99

威望

5万

eV
积分
120201

管理员

公社社长
2#
发表于 Post on 2024-12-8 03:52:48 | 只看该作者 Only view this author
严格按本文说的软件环境和步骤安装，RockyLinux 9自带的gcc结合CP2K toolchain自动装的OpenMPI（或者结合自己装的OpenMPI 4.1.x），从8.1到目前2024最新版，什么问题都没有
CP2K第一性原理程序在Linux中的安装方法
http://sobereva.com/586（http://bbs.keinsci.com/thread-21608-1-1.html）
北京科音自然科学研究中心（http://www.keinsci.com）致力于计算化学的发展和传播，长期开办极高质量的各种计算化学类培训：初级量子化学培训班、中级量子化学培训班、高级量子化学培训班、量子化学波函数分析与Multiwfn程序培训班、分子动力学与GROMACS培训班、CP2K第一性原理计算培训班，内容介绍以及往届资料购买请点击相应链接查看。这些培训是计算化学从零快速入门以及进一步全面系统性提升研究水平的高速路！培训各种常见问题见《北京科音办的培训班FAQ》。
欢迎加入北京科音微信公众号获取北京科音培训的最新消息，并避免错过网上有价值的计算化学文章！
欢迎加入人气极高、专业性特别强的理论与计算化学综合交流群思想家公社QQ群（群号见此链接），合计达一万多人。北京科音培训班的学员在群中可申请VIP头衔，提问将得到群主Sobereva的最优先解答。
思想家公社的门口Blog：http://sobereva.com（发布大量原创计算化学相关博文）
Multiwfn主页：http://sobereva.com/multiwfn（十分强大、极为流行的量子化学波函数分析程序）
Google Scholar：https://scholar.google.com/citations?user=tiKE0qkAAAAJ
ResearchGate：https://www.researchgate.net/profile/Tian_Lu
回复 Reply

举报 Report

logzzz

113

帖子

1

威望

1208

eV
积分
1341

Level 4 (黑子)
3#
发表于 Post on 2024-12-8 14:12:52 | 只看该作者 Only view this author
你可以试试不用openmpi,用mpich，我之前用openmpi也发现过类似的，但改成mpich就好了。
回复 Reply

举报 Report

BangbooCat

22

帖子

0

威望

288

eV
积分
310

Level 3 能力者
4#
发表于 Post on 2024-12-8 15:20:55 | 只看该作者 Only view this author
本帖最后由 BangbooCat 于 2024-12-8 15:23 编辑

我的配置：
i9 13900K 24核32线程
Ubuntu 22.04; GNU 11.4;openmpi-4.1.2；openblas-0.3.27;
CP2K version 2024.3
跑了一下你给的文件，第一步：
  1. HFX_MEM_INFO| Est. max. program size before HFX [MiB]:                     591
  2.   HFX_MEM_INFO| Number of cart. primitive ERI's calculated:          13033338590
  3.   HFX_MEM_INFO| Number of sph. ERI's calculated:                      4561925105
  4.   HFX_MEM_INFO| Number of sph. ERI's stored in-core:                  1647376146
  5.   HFX_MEM_INFO| Number of sph. ERI's stored on disk:                           0
  6.   HFX_MEM_INFO| Number of sph. ERI's calculated on the fly:                    0
  7.   HFX_MEM_INFO| Total memory consumption ERI's RAM [MiB]:                   1523
  8.   HFX_MEM_INFO| Whereof max-vals [MiB]:                                      240
  9.   HFX_MEM_INFO| Total compression factor ERI's RAM:                         8.25
  10.   HFX_MEM_INFO| Total memory consumption ERI's disk [MiB]:                     0
  11.   HFX_MEM_INFO| Total compression factor ERI's disk:                        0.00
  12.   HFX_MEM_INFO| Size of density/Fock matrix [MiB]:                            16
  13.   HFX_MEM_INFO| Size of buffers [MiB]:                                         6
  14.   HFX_MEM_INFO| Number of periodic image cells considered:                    27
  15.   HFX_MEM_INFO| Est. max. program size after HFX  [MiB]:                     865

  17.      1 OT DIIS     0.15E+00   43.2     0.04039601     -1057.1313965835 -1.06E+03
  18.      2 OT DIIS     0.15E+00    8.1     0.03345808     -1077.0228139642 -1.99E+01
  19.      3 OT DIIS     0.15E+00    8.6     0.01690949     -1098.2755824071 -2.13E+01
  20.      4 OT DIIS     0.15E+00    8.5     0.00978668     -1101.2981899075 -3.02E+00
  21.      5 OT DIIS     0.15E+00    8.2     0.00738061     -1102.6056959729 -1.31E+00
  22.      6 OT DIIS     0.15E+00    8.6     0.00468891     -1103.3545364870 -7.49E-01
  23.      7 OT DIIS     0.15E+00    8.2     0.00341403     -1103.6932368419 -3.39E-01
  24.      8 OT DIIS     0.15E+00    8.0     0.00265499     -1103.8433030392 -1.50E-01
  25.      9 OT DIIS     0.15E+00    8.1     0.00192820     -1103.9084616064 -6.52E-02
  26.     10 OT DIIS     0.15E+00    7.9     0.00114899     -1103.9362898468 -2.78E-02
  27.     11 OT DIIS     0.15E+00    8.5     0.00072371     -1103.9487195436 -1.24E-02
  28.     12 OT DIIS     0.15E+00    8.5     0.00043947     -1103.9542021360 -5.48E-03
  29.     13 OT DIIS     0.15E+00    8.1     0.00029312     -1103.9567641097 -2.56E-03
  30.     14 OT DIIS     0.15E+00    7.6     0.00021168     -1103.9577818879 -1.02E-03
  31.     15 OT DIIS     0.15E+00    7.9     0.00011461     -1103.9584436210 -6.62E-04
  32.     16 OT DIIS     0.15E+00    7.8     0.00008098     -1103.9587865001 -3.43E-04
  33.     17 OT DIIS     0.15E+00    8.7     0.00007366     -1103.9589886264 -2.02E-04
  34.     18 OT DIIS     0.15E+00    8.5     0.00005943     -1103.9591246385 -1.36E-04
  35.     19 OT DIIS     0.15E+00    8.0     0.00004775     -1103.9592543497 -1.30E-04
  36.     20 OT DIIS     0.15E+00    8.1     0.00004303     -1103.9593575462 -1.03E-04

  38.   Leaving inner SCF loop after reaching    20 steps.


  41.   Electronic density on regular grids:       -511.9999999975        0.0000000025
  42.   Core density on regular grids:              511.9999999832       -0.0000000168
  43.   Total charge density on r-space grids:       -0.0000000144
  44.   Total charge density g-space grids:          -0.0000000144

  46.   Overlap energy of the core charge distribution:               0.00000227027007
  47.   Self energy of the core charge distribution:              -2838.21791979120962
  48.   Core Hamiltonian energy:                                    827.21032830864033
  49.   Hartree energy:                                            1179.82649458010951
  50.   Exchange-correlation energy:                               -210.56777151025406
  51.   Hartree-Fock Exchange energy:                               -61.81094940571113
  52.   Dispersion energy:                                           -0.39954199805786

  54.   Total energy:                                             -1103.95935754621269

  56.   outer SCF iter =    1 RMS gradient =   0.43E-04 energy =      -1103.9593575462
复制代码
后面稳定在 11-12 s/step，内存每步占用在1G左右

我觉得应该还是你编译过程存在问题


回复 Reply

举报 Report

返回列表 Return 发新帖

本版积分规则 Credits rule

手机版 Mobile version|北京科音自然科学研究中心 Beijing Kein Research Center for Natural Sciences|京公网安备 11010502035419号|计算化学公社 — 北京科音旗下高水平计算化学交流论坛 ( 京ICP备14038949号-1 )|网站地图

GMT+8, 2025-8-18 04:52 , Processed in 0.168353 second(s), 24 queries , Gzip On.

快速回复 返回顶部 返回列表 Return to list