捐赠本论坛 (Donate this site)
开启辅助访问

计算化学公社

 找回密码 Forget password
 注册 Register
计算化学公社»论坛首页 › 理论与计算化学 (Theoretical and Computational Chemistry) › 第一性原理 (First-principles) › 求助：内存不足导致CP2K振动分析失败

求助：内存不足导致CP2K振动分析失败

查看数: 2824 | 评论数: 14 | 收藏 Add to favorites 6
关灯 | 提示：支持键盘翻页<-左 右->
帖子模式
    组图打开中，请稍候......
stishovite
发布时间: 2024-5-16 16:52

正文摘要:

本帖最后由 stishovite 于 2024-5-20 08:33 编辑 大家好，我刚开始学习第一性原理计算，最近学会了编译cp2k，跑了一些结构优化和能量计算的任务，还算顺利。 但是进行振动分析时，总是失败。刚开始以为是cp2k编 ...

回复 Reply

HAC 发表于 Post on 2024-10-1 09:28:38
可以用用LBFGS算法来算振动分析吗，两百多个原子，fixed了3/4的原子也感觉有点算不出，内存溢出（分析表面吸附）
sobereva 发表于 Post on 2024-5-25 09:35:11
stishovite 发表于 2024-5-25 07:58
谢谢社长回复，我再细调一下参数对比一下，如果是在不行，那就从硬件下手。
另外，社长，还有几个问题 ...

1 不能

2 对耗时影响甚微，所以Multiwfn默认设得较严

3 SCF收敛限越严，达到收敛所需的SCF圈数越多，耗时越高。而且设得太严可能始终也达不到收敛
从经验上来说，1E-7对于振动分析来说通常够用，如果碰到虚频可以再尝试1E-8。1E-6对于振动分析来说太糙了，对于CP2K这样基于有限差分算Hessian的程序，SCF收敛限太糙不仅出现虚频概率大，而且结果准确度低。
stishovite 发表于 Post on 2024-5-25 07:58:10
本帖最后由 stishovite 于 2024-5-25 08:09 编辑
sobereva 发表于 2024-5-25 04:03
QE根本算不动，CP2K算不动的其它程序也别想算得动
ORCA根本不支持周期性体系（支持簇模型，那是另一码事 ...


谢谢社长回复，我再细调一下参数对比一下，如果是在不行，那就从硬件下手。
另外，社长，还有几个问题：
1、扩胞时，能否不设整数倍，而是小数倍，例如扩为2.5*1.5*2.5这样，对计算有什么影响吗？2、Multiwfn给出的振动分析输入文件里，EPS_DEFAULT = 1.0E-14，我看有的人设为EPS_DEFAULT = 1.0E-10，这个参数对计算精度和速度的影响是怎样的？
3、Multiwfn给出的振动分析输入文件里，EPS_SCF 1.0E-07，我看有的人设为EPS_SCF 5.0E-06 或 1.0E-06。CP2K官方提到“Vibrations are computed using finite differences, which implies a very tight (e.g. 1E-8) threshold is needed for EPS_SCF to get accurate low frequencies. ” 也就是EPS_SCF 至少得是1.0E-08。同样的，这个参数对计算精度和速度的影响是怎样的？



实在不好意思不断追问社长问题，但还是期待社长的回复。不胜感激。
sobereva 发表于 Post on 2024-5-25 04:03:05
stishovite 发表于 2024-5-24 20:32
请问sob老师，如果只想获得周期性体系的拉曼光谱，还有哪些计算途径呢？QE、ORCA等等可以吗，不知道计算 ...

QE根本算不动，CP2K算不动的其它程序也别想算得动
ORCA根本不支持周期性体系（支持簇模型，那是另一码事，跟当前无关）
算不动就换更好的机子或者租超算之类
stishovite 发表于 Post on 2024-5-24 20:32:26
本帖最后由 stishovite 于 2024-5-24 20:33 编辑
sobereva 发表于 2024-5-23 04:23
只有电解质电容爆浆，不存在内存爆浆

16核不要用-np 12 -x OMP_NUM_THREADS=2，应当-np 8 -x OMP_NUM_ ...

请问sob老师，如果只想获得周期性体系的拉曼光谱，还有哪些计算途径呢？QE、ORCA等等可以吗，不知道计算耗时怎么样？

目前用cp2k跑2*2*2超胞的振动分析实在跑不动了。
stishovite 发表于 Post on 2024-5-24 17:51:24
sobereva 发表于 2024-5-23 04:23
只有电解质电容爆浆，不存在内存爆浆

16核不要用-np 12 -x OMP_NUM_THREADS=2，应当-np 8 -x OMP_NUM_ ...

感谢社长的回复。

2*1*2超胞192个原子，计算出来的主峰是486，实验给出来的主峰是520。

我现在扩成2*2*2了，384个原子，正在跑，感觉根本跑不动
sobereva 发表于 Post on 2024-5-23 04:23:34
stishovite 发表于 2024-5-22 09:03
向sob老师及各位坛友汇报进展，并请教问题：

AMD 7950x 16核，DDR5  64G内存 ...

只有电解质电容爆浆，不存在内存爆浆

16核不要用-np 12 -x OMP_NUM_THREADS=2，应当-np 8 -x OMP_NUM_THREADS=2，二者的乘积不应超过物理核心数

没有实验谱，没法判断相符程度。可以尝试继续扩胞得更大，也注意是否和实验谱的测试条件有可比性

不建议用6-31G*，CP2K用户做opt freq类任务没特殊情况一律用DZVP-MOLOPT-SR-GTH
stishovite 发表于 Post on 2024-5-18 18:11:48
本帖最后由 stishovite 于 2024-5-22 08:30 编辑
stishovite 发表于 2024-5-18 10:45
向大家及sob老师汇报一下进展：

AMD Ryzen9 7950x ， DDR5  64G，Ubuntu24.04，CP2K 2024.1。

还在计算, 这是当前的out文件, 请大家帮忙分析一下存在什么问题, 以及如何提升效率.

stishovite 发表于 Post on 2024-5-18 10:45:51
本帖最后由 stishovite 于 2024-5-18 10:49 编辑
stishovite 发表于 2024-5-16 21:42
谢谢sob老师，我之前用的命令是mpirun -np 16 cp2k.popt cp0scv.inp |tee cp0scv，出现“MPI_ABORT was i ...

向大家及sob老师汇报一下进展：

AMD Ryzen9 7950x ， DDR5  64G，Ubuntu24.04，CP2K 2024.1。
计算192个原子，其中64个Si，128个O，PBE + 6-311G**，振动分析

用mpirun -np 16 cp2k.popt cp0scv.inp |tee cp0scv，内存爆了


用mpirun -np 6 -x OMP_NUM_THREADS=2 cp2k.psmp cp0scv.inp |tee cp0scv.out，
内存占用60% (40GB)，但是感觉算的很慢，9个小时后我终止了任务


用mpirun -np 8 -x OMP_NUM_THREADS=2 cp2k.psmp cp0scv.inp |tee cp0scv.out，
内存占用80% (52GB)，现在已经跑了快24个小时，感觉还得很长时间。


我想请教大家，还有没有什么办法可以提升效率，牺牲一点精度也行
以下是输入文件中的部分内容：

  1. &KIND Si
  2.       ELEMENT Si
  3.       BASIS_SET 6-311G**
  4.       POTENTIAL ALL
  5.     &END KIND
  6.     &KIND O
  7.       ELEMENT O
  8.       BASIS_SET 6-311G**
  9.       POTENTIAL ALL
  10.     &END KIND
  11.   &END SUBSYS

  13.   &DFT
  14.     BASIS_SET_FILE_NAME  EMSL_BASIS_SETS
  15.     POTENTIAL_FILE_NAME  POTENTIAL
  16. #   WFN_RESTART_FILE_NAME cp0scv-RESTART.wfn
  17.     CHARGE    0 #Net charge
  18.     MULTIPLICITY    1 #Spin multiplicity
  19.     &QS
  20.       EPS_DEFAULT 1.0E-14 #Set all EPS_xxx to values such that the energy will be correct up to this value
  21.       METHOD GAPW
  22.     &END QS
  23.     &POISSON
  24.       PERIODIC XYZ #Direction(s) of PBC for calculating electrostatics
  25.       PSOLVER PERIODIC #The way to solve Poisson equation
  26.     &END POISSON
  27.     &XC
  28.       &XC_FUNCTIONAL PBE
  29.       &END XC_FUNCTIONAL
  30.     &END XC
  31.     &MGRID
  32.       CUTOFF  400
  33.       REL_CUTOFF  55
  34.     &END MGRID
  35.     &SCF
  36.       MAX_SCF 128
  37.       EPS_SCF 1.0E-07 #Convergence threshold of density matrix of inner SCF
  38. #     SCF_GUESS RESTART #Use wavefunction from WFN_RESTART_FILE_NAME file as initial guess
  39. #     IGNORE_CONVERGENCE_FAILURE #Continue calculation even if SCF not converged, works for version >= 2024.1
  40.       &DIAGONALIZATION
  41.         ALGORITHM STANDARD #Algorithm for diagonalization
  42.       &END DIAGONALIZATION
  43.       &MIXING #How to mix old and new density matrices
  44.         METHOD BROYDEN_MIXING #PULAY_MIXING is also a good alternative
  45.         ALPHA 0.4 #Default. Mixing 40% of new density matrix with the old one
  46.         NBROYDEN 8 #Default is 4. Number of previous steps stored for the actual mixing scheme
  47.       &END MIXING
  48.       &PRINT
  49.         &RESTART OFF #Do not generate wfn file to suppress meaningless I/O cost
  50.         &END RESTART
  51.       &END PRINT
  52.     &END SCF
  53.     &PRINT
  54.       &MOMENTS
  55.         PERIODIC T #Use Berry phase formula (T) or simple operator (F), the latter normally applies to isolated systems
  56.       &END MOMENTS
  57.     &END PRINT
  58.   &END DFT
  59.   &PROPERTIES
  60.     &LINRES #Activate linear response calculation
  61.       PRECONDITIONER FULL_ALL #Preconditioner for conjugate gradient minimization
  62.       EPS 1E-6 #Target accuracy for the convergence of the conjugate gradient
  63.       &POLAR
  64.         DO_RAMAN T #Compute the electric-dipole--electric-dipole polarizability
  65.         PERIODIC_DIPOLE_OPERATOR T #Type of dipole operator: Berry phase(T) or Local(F)
  66.       &END POLAR
  67.     &END LINRES
  68.   &END PROPERTIES
  69. &END FORCE_EVAL

  71. &MOTION
  72.   &PRINT
  73.     &RESTART
  74.       BACKUP_COPIES 0 #Maximum number of backing up restart file, 0 means never
  75.     &END RESTART
  76.   &END PRINT
  77. &END MOTION
  78. &VIBRATIONAL_ANALYSIS
  79.   DX 0.01 #Step size of finite difference. This is default (Bohr)
  80.   NPROC_REP 1 #Number of processors to be used per replica. This is default
  81.   TC_PRESSURE 0 #1 atm. Pressure for calculate thermodynamic data (Pa)
  82.   TC_TEMPERATURE 298.15 #Temperature for calculate thermodynamic data (K)
  83.   THERMOCHEMISTRY #Print thermochemistry information (only valid for isolated systems)
  84.   INTENSITIES T #Calculate IR/Raman intensities
  85.   FULLY_PERIODIC T #Avoiding to project out rotation component from Hessian matrix
  86.   &PRINT
  87.     &MOLDEN_VIB #Output .mol (Molden file) for visualizing vibrational modes
  88.     &END MOLDEN_VIB
  89.   &END PRINT
  90. &END VIBRATIONAL_ANALYSIS
复制代码


stishovite 发表于 Post on 2024-5-16 21:43:30
zhuoh 发表于 2024-5-16 20:30
psmp版本下，32核跑了下内存70GB可以成功进入电子步


谢谢，现在正在试mpirun -np 6 -x OMP_NUM_THREADS=2 cp2k.psmp cp0scv.inp |tee cp0scv.out
目前内存占用60% (40GB)，希望能顺利跑完。
stishovite 发表于 Post on 2024-5-16 21:42:55
本帖最后由 stishovite 于 2024-5-20 08:33 编辑
sobereva 发表于 2024-5-16 20:52
说清楚运行命令。out文件也不给，别人都不知道你用了多少MPI进程
最直接节约振动分析耗时的做法就是减少副 ...

谢谢sob老师，我之前用的命令是mpirun -np 16 cp2k.popt cp0scv.inp |tee cp0scv，
出现“MPI_ABORT was invoked on rank 10 in communicator MPI_COMM_WORLD”之类的错误。如下:

  1. REPLICA| layout of the replica grid, number of groups                        16
  2. REPLICA| layout of the replica grid, size of each group                       1
  3. REPLICA| MPI process to grid (group,rank) correspondence:
  4.   (   0 :    0,   0)  (   1 :    1,   0)  (   2 :    2,   0)  (   3 :    3,   0)
  5.   (   4 :    4,   0)  (   5 :    5,   0)  (   6 :    6,   0)  (   7 :    7,   0)
  6.   (   8 :    8,   0)  (   9 :    9,   0)  (  10 :   10,   0)  (  11 :   11,   0)
  7.   (  12 :   12,   0)  (  13 :   13,   0)  (  14 :   14,   0)  (  15 :   15,   0)
  8. --------------------------------------------------------------------------
  9. MPI_ABORT was invoked on rank 10 in communicator MPI_COMM_WORLD
  10.   Proc: [[33611,1],10]
  11.   Errorcode: 1

  13. NOTE: invoking MPI_ABORT causes Open MPI to kill all MPI processes.
  14. You may or may not see output from other processes, depending on
  15. exactly when Open MPI kills them.
  16. --------------------------------------------------------------------------
  17. --------------------------------------------------------------------------
  18. prterun has exited due to process rank 10 with PID 0 on node HPC calling
  19. "abort". This may have caused other processes in the application to be
  20. terminated by signals sent by prterun (as reported here).
复制代码

现在正在试mpirun -np 6 -x OMP_NUM_THREADS=2 cp2k.psmp cp0scv.inp |tee cp0scv.out
目前内存占用60% (40GB)，希望能顺利跑完。



sobereva 发表于 Post on 2024-5-16 20:52:20
说清楚运行命令。out文件也不给，别人都不知道你用了多少MPI进程
最直接节约振动分析耗时的做法就是减少副本数（可以同时结合OpenMP方式并行避免CPU浪费，即恰当使用psmp版）

北京科音CP2K第一性原理计算培训班（http://www.keinsci.com/workshop/KFP_content.html）里我详细讲了

zhuoh 发表于 Post on 2024-5-16 20:30:43
psmp版本下，32核跑了下内存70GB可以成功进入电子步

手机版 Mobile version|北京科音自然科学研究中心 Beijing Kein Research Center for Natural Sciences|京公网安备 11010502035419号|计算化学公社 — 北京科音旗下高水平计算化学交流论坛 ( 京ICP备14038949号-1 )|网站地图

GMT+8, 2026-2-22 05:41 , Processed in 0.272429 second(s), 25 queries , Gzip On.

快速回复 返回顶部 返回列表 Return to list