求助：内存不足导致CP2K振动分析失败

stishovite

大家好，我刚开始学习第一性原理计算，最近学会了编译cp2k，跑了一些结构优化和能量计算的任务，还算顺利。
但是进行振动分析时，总是失败。刚开始以为是cp2k编译的问题，折腾了几天后发现，是内存不足导致的。

CPU: AMD Ryzen9 7950x 16核心32线程 + 内存: DDR5  32G*2  + 固态：500G，系统是全新安装的Ubuntu24.04，CP2K 是2024.1版。
计算体系包括192个原子，其中有64个Si，128个O，泛函PBE，基组6-311G**，用Multiwfn3.8(dev)将优化结果转为振动分析输入文件，见附件。

以下是几个我能想到的可能的解决方案：

1、优化输入文件，在合理范围内牺牲计算精度。（我现在的水平不知道如何设置）
或2、优化任务提交。（好像在哪看到过给每个核心分配可用最大内存）
或3、再增加两根内存32G*2，总共达到128G。（不知道能否满足内存消耗）
或4、重新购置一套工作站E5-2696v4*2，DDR4 256G 内存，1T固态。（有点小贵，但估计内存是够用了，不清楚跑200个原子的振动分析效率如何）
或5、转投其他程序。（不知道是否以及哪个可行）

或其他方案？

请大家帮我出出主意，如何解决这个问题。

cp0scv.inp (14.22 KB, 下载次数 Times of downloads: 16)

2024-5-18 10:42 上传 Uploaded

点击下载
Click to download

zhuoh

psmp版本下，32核跑了下内存70GB可以成功进入电子步

sobereva

说清楚运行命令。out文件也不给，别人都不知道你用了多少MPI进程
最直接节约振动分析耗时的做法就是减少副本数（可以同时结合OpenMP方式并行避免CPU浪费，即恰当使用psmp版）

北京科音CP2K第一性原理计算培训班（http://www.keinsci.com/workshop/KFP_content.html）里我详细讲了

stishovite

sobereva 发表于 2024-5-16 20:52
说清楚运行命令。out文件也不给，别人都不知道你用了多少MPI进程
最直接节约振动分析耗时的做法就是减少副 ...

谢谢sob老师，我之前用的命令是mpirun -np 16 cp2k.popt cp0scv.inp |tee cp0scv，
出现“MPI_ABORT was invoked on rank 10 in communicator MPI_COMM_WORLD”之类的错误。如下:

1. REPLICA| layout of the replica grid, number of groups                        16
   
2. REPLICA| layout of the replica grid, size of each group                       1
   
3. REPLICA| MPI process to grid (group,rank) correspondence:
   
4.   (   0 :    0,   0)  (   1 :    1,   0)  (   2 :    2,   0)  (   3 :    3,   0)
   
5.   (   4 :    4,   0)  (   5 :    5,   0)  (   6 :    6,   0)  (   7 :    7,   0)
   
6.   (   8 :    8,   0)  (   9 :    9,   0)  (  10 :   10,   0)  (  11 :   11,   0)
   
7.   (  12 :   12,   0)  (  13 :   13,   0)  (  14 :   14,   0)  (  15 :   15,   0)
   
8. --------------------------------------------------------------------------
   
9. MPI_ABORT was invoked on rank 10 in communicator MPI_COMM_WORLD
   
10.   Proc: [[33611,1],10]
    
11.   Errorcode: 1
    
12. 
    
13. NOTE: invoking MPI_ABORT causes Open MPI to kill all MPI processes.
    
14. You may or may not see output from other processes, depending on
    
15. exactly when Open MPI kills them.
    
16. --------------------------------------------------------------------------
    
17. --------------------------------------------------------------------------
    
18. prterun has exited due to process rank 10 with PID 0 on node HPC calling
    
19. "abort". This may have caused other processes in the application to be
    
20. terminated by signals sent by prterun (as reported here).

复制代码

现在正在试mpirun -np 6 -x OMP_NUM_THREADS=2 cp2k.psmp cp0scv.inp |tee cp0scv.out
目前内存占用60% (40GB)，希望能顺利跑完。

stishovite

zhuoh 发表于 2024-5-16 20:30
psmp版本下，32核跑了下内存70GB可以成功进入电子步

谢谢，现在正在试mpirun -np 6 -x OMP_NUM_THREADS=2 cp2k.psmp cp0scv.inp |tee cp0scv.out
目前内存占用60% (40GB)，希望能顺利跑完。

stishovite

stishovite 发表于 2024-5-16 21:42
谢谢sob老师，我之前用的命令是mpirun -np 16 cp2k.popt cp0scv.inp |tee cp0scv，出现“MPI_ABORT was i ...

向大家及sob老师汇报一下进展：

AMD Ryzen9 7950x ， DDR5  64G，Ubuntu24.04，CP2K 2024.1。
计算192个原子，其中64个Si，128个O，PBE + 6-311G**，振动分析

用mpirun -np 16 cp2k.popt cp0scv.inp |tee cp0scv，内存爆了


用mpirun -np 6 -x OMP_NUM_THREADS=2 cp2k.psmp cp0scv.inp |tee cp0scv.out，
内存占用60% (40GB)，但是感觉算的很慢，9个小时后我终止了任务


用mpirun -np 8 -x OMP_NUM_THREADS=2 cp2k.psmp cp0scv.inp |tee cp0scv.out，
内存占用80% (52GB)，现在已经跑了快24个小时，感觉还得很长时间。


我想请教大家，还有没有什么办法可以提升效率，牺牲一点精度也行
以下是输入文件中的部分内容：

1. &KIND Si
   
2.       ELEMENT Si
   
3.       BASIS_SET 6-311G**
   
4.       POTENTIAL ALL
   
5.     &END KIND
   
6.     &KIND O
   
7.       ELEMENT O
   
8.       BASIS_SET 6-311G**
   
9.       POTENTIAL ALL
   
10.     &END KIND
    
11.   &END SUBSYS
    
12. 
    
13.   &DFT
    
14.     BASIS_SET_FILE_NAME  EMSL_BASIS_SETS
    
15.     POTENTIAL_FILE_NAME  POTENTIAL
    
16. #   WFN_RESTART_FILE_NAME cp0scv-RESTART.wfn
    
17.     CHARGE    0 #Net charge
    
18.     MULTIPLICITY    1 #Spin multiplicity
    
19.     &QS
    
20.       EPS_DEFAULT 1.0E-14 #Set all EPS_xxx to values such that the energy will be correct up to this value
    
21.       METHOD GAPW
    
22.     &END QS
    
23.     &POISSON
    
24.       PERIODIC XYZ #Direction(s) of PBC for calculating electrostatics
    
25.       PSOLVER PERIODIC #The way to solve Poisson equation
    
26.     &END POISSON
    
27.     &XC
    
28.       &XC_FUNCTIONAL PBE
    
29.       &END XC_FUNCTIONAL
    
30.     &END XC
    
31.     &MGRID
    
32.       CUTOFF  400
    
33.       REL_CUTOFF  55
    
34.     &END MGRID
    
35.     &SCF
    
36.       MAX_SCF 128
    
37.       EPS_SCF 1.0E-07 #Convergence threshold of density matrix of inner SCF
    
38. #     SCF_GUESS RESTART #Use wavefunction from WFN_RESTART_FILE_NAME file as initial guess
    
39. #     IGNORE_CONVERGENCE_FAILURE #Continue calculation even if SCF not converged, works for version >= 2024.1
    
40.       &DIAGONALIZATION
    
41.         ALGORITHM STANDARD #Algorithm for diagonalization
    
42.       &END DIAGONALIZATION
    
43.       &MIXING #How to mix old and new density matrices
    
44.         METHOD BROYDEN_MIXING #PULAY_MIXING is also a good alternative
    
45.         ALPHA 0.4 #Default. Mixing 40% of new density matrix with the old one
    
46.         NBROYDEN 8 #Default is 4. Number of previous steps stored for the actual mixing scheme
    
47.       &END MIXING
    
48.       &PRINT
    
49.         &RESTART OFF #Do not generate wfn file to suppress meaningless I/O cost
    
50.         &END RESTART
    
51.       &END PRINT
    
52.     &END SCF
    
53.     &PRINT
    
54.       &MOMENTS
    
55.         PERIODIC T #Use Berry phase formula (T) or simple operator (F), the latter normally applies to isolated systems
    
56.       &END MOMENTS
    
57.     &END PRINT
    
58.   &END DFT
    
59.   &PROPERTIES
    
60.     &LINRES #Activate linear response calculation
    
61.       PRECONDITIONER FULL_ALL #Preconditioner for conjugate gradient minimization
    
62.       EPS 1E-6 #Target accuracy for the convergence of the conjugate gradient
    
63.       &POLAR
    
64.         DO_RAMAN T #Compute the electric-dipole--electric-dipole polarizability
    
65.         PERIODIC_DIPOLE_OPERATOR T #Type of dipole operator: Berry phase(T) or Local(F)
    
66.       &END POLAR
    
67.     &END LINRES
    
68.   &END PROPERTIES
    
69. &END FORCE_EVAL
    
70. 
    
71. &MOTION
    
72.   &PRINT
    
73.     &RESTART
    
74.       BACKUP_COPIES 0 #Maximum number of backing up restart file, 0 means never
    
75.     &END RESTART
    
76.   &END PRINT
    
77. &END MOTION
    
78. &VIBRATIONAL_ANALYSIS
    
79.   DX 0.01 #Step size of finite difference. This is default (Bohr)
    
80.   NPROC_REP 1 #Number of processors to be used per replica. This is default
    
81.   TC_PRESSURE 0 #1 atm. Pressure for calculate thermodynamic data (Pa)
    
82.   TC_TEMPERATURE 298.15 #Temperature for calculate thermodynamic data (K)
    
83.   THERMOCHEMISTRY #Print thermochemistry information (only valid for isolated systems)
    
84.   INTENSITIES T #Calculate IR/Raman intensities
    
85.   FULLY_PERIODIC T #Avoiding to project out rotation component from Hessian matrix
    
86.   &PRINT
    
87.     &MOLDEN_VIB #Output .mol (Molden file) for visualizing vibrational modes
    
88.     &END MOLDEN_VIB
    
89.   &END PRINT
    
90. &END VIBRATIONAL_ANALYSIS
    

复制代码

stishovite

stishovite 发表于 2024-5-18 10:45
向大家及sob老师汇报一下进展：

AMD Ryzen9 7950x ， DDR5  64G，Ubuntu24.04，CP2K 2024.1。

还在计算, 这是当前的out文件, 请大家帮忙分析一下存在什么问题, 以及如何提升效率.

stishovite

sobereva 发表于 2024-5-16 20:52
说清楚运行命令。out文件也不给，别人都不知道你用了多少MPI进程
最直接节约振动分析耗时的做法就是减少副 ...

向sob老师及各位坛友汇报进展，并请教问题：

AMD 7950x 16核，DDR5  64G内存，Ubuntu24.04，CP2K2024.1。
做2*1*2超胞共192个原子的振动分析，之前用mpirun -np 16 cp2k.popt cp3VV.inp |tee cp3VV.out，内存爆浆。

经过sob老师的指点，最终用下面的命令跑成功，全程内存占用96%左右，耗时16小时。
mpirun -np 12 -x OMP_NUM_THREADS=2 cp3k.psmp cp3VV.inp |tee cp2VV.out

附上输入和输出文件。 cp3VV.inp (14.51 KB, 下载次数 Times of downloads: 9)

2024-5-22 08:30 上传 Uploaded

点击下载
Click to download

cp3VV.out.zip (7.06 MB, 下载次数 Times of downloads: 6)

2024-5-22 08:30 上传 Uploaded

点击下载
Click to download

然后用Multiwfn很顺利做出了拉曼光谱，但是发现和实验结果不符。
按照sob老师之前向其他坛友的回复，可能是由于晶胞尺寸较小导致的。
目前我这个2*1*2超胞的尺寸是14*12*14，是否还是不够大？或者是我的输入文件有问题？




另外让我头疼的是，如果还需要继续扩胞，那么计算耗时又得大幅增加。我初步的想法是，合理牺牲精度，但这个技术活对我这个新手来说难以拿捏。


请大家帮我看看输入文件，还有什么好办法进行优化，还望不吝赐教。

sobereva

stishovite 发表于 2024-5-22 09:03
向sob老师及各位坛友汇报进展，并请教问题：

AMD 7950x 16核，DDR5  64G内存 ...

只有电解质电容爆浆，不存在内存爆浆

16核不要用-np 12 -x OMP_NUM_THREADS=2，应当-np 8 -x OMP_NUM_THREADS=2，二者的乘积不应超过物理核心数

没有实验谱，没法判断相符程度。可以尝试继续扩胞得更大，也注意是否和实验谱的测试条件有可比性

不建议用6-31G*，CP2K用户做opt freq类任务没特殊情况一律用DZVP-MOLOPT-SR-GTH

stishovite

sobereva 发表于 2024-5-23 04:23
只有电解质电容爆浆，不存在内存爆浆

16核不要用-np 12 -x OMP_NUM_THREADS=2，应当-np 8 -x OMP_NUM_ ...

感谢社长的回复。

2*1*2超胞192个原子，计算出来的主峰是486，实验给出来的主峰是520。

我现在扩成2*2*2了，384个原子，正在跑，感觉根本跑不动

stishovite

sobereva 发表于 2024-5-23 04:23
只有电解质电容爆浆，不存在内存爆浆

16核不要用-np 12 -x OMP_NUM_THREADS=2，应当-np 8 -x OMP_NUM_ ...

请问sob老师，如果只想获得周期性体系的拉曼光谱，还有哪些计算途径呢？QE、ORCA等等可以吗，不知道计算耗时怎么样？

目前用cp2k跑2*2*2超胞的振动分析实在跑不动了。

sobereva

stishovite 发表于 2024-5-24 20:32
请问sob老师，如果只想获得周期性体系的拉曼光谱，还有哪些计算途径呢？QE、ORCA等等可以吗，不知道计算 ...

QE根本算不动，CP2K算不动的其它程序也别想算得动
ORCA根本不支持周期性体系（支持簇模型，那是另一码事，跟当前无关）
算不动就换更好的机子或者租超算之类

stishovite

sobereva 发表于 2024-5-25 04:03
QE根本算不动，CP2K算不动的其它程序也别想算得动
ORCA根本不支持周期性体系（支持簇模型，那是另一码事 ...

谢谢社长回复，我再细调一下参数对比一下，如果是在不行，那就从硬件下手。
另外，社长，还有几个问题：
1、扩胞时，能否不设整数倍，而是小数倍，例如扩为2.5*1.5*2.5这样，对计算有什么影响吗？2、Multiwfn给出的振动分析输入文件里，EPS_DEFAULT = 1.0E-14，我看有的人设为EPS_DEFAULT = 1.0E-10，这个参数对计算精度和速度的影响是怎样的？
3、Multiwfn给出的振动分析输入文件里，EPS_SCF 1.0E-07，我看有的人设为EPS_SCF 5.0E-06 或 1.0E-06。CP2K官方提到“Vibrations are computed using finite differences, which implies a very tight (e.g. 1E-8) threshold is needed for EPS_SCF to get accurate low frequencies. ” 也就是EPS_SCF 至少得是1.0E-08。同样的，这个参数对计算精度和速度的影响是怎样的？



实在不好意思不断追问社长问题，但还是期待社长的回复。不胜感激。

sobereva

stishovite 发表于 2024-5-25 07:58
谢谢社长回复，我再细调一下参数对比一下，如果是在不行，那就从硬件下手。
另外，社长，还有几个问题 ...

1 不能

2 对耗时影响甚微，所以Multiwfn默认设得较严

3 SCF收敛限越严，达到收敛所需的SCF圈数越多，耗时越高。而且设得太严可能始终也达不到收敛
从经验上来说，1E-7对于振动分析来说通常够用，如果碰到虚频可以再尝试1E-8。1E-6对于振动分析来说太糙了，对于CP2K这样基于有限差分算Hessian的程序，SCF收敛限太糙不仅出现虚频概率大，而且结果准确度低。

HAC

可以用用LBFGS算法来算振动分析吗，两百多个原子，fixed了3/4的原子也感觉有点算不出，内存溢出（分析表面吸附）