ORCA中SCF迭代出现迷之收敛的案例

冰释之川 · 发表于 Post on 2022-4-5 17:41:52

本帖最后由冰释之川于 2022-4-5 17:44 编辑

直接贴SCF收敛过程的细节：

54 -3158.88578497 0.0000001448 0.000008 0.000056 4.855081 0.005949
55 -3158.88578139 0.0000035804 0.000045 0.000050 4.075013 0.005324
56 -3158.88578492 -0.0000035228 0.000003 0.000001 0.448701 0.000609
57 -3158.88578476 0.0000001550 0.000003 0.000005 1.541385 0.001879
58 -3158.88578458 0.0000001828 0.000006 0.000003 0.861860 0.001203
59 -3158.88578469 -0.0000001141 0.000003 0.000003 0.698612 0.000952
60 -3158.88578489 -0.0000002002 0.000005 0.000006 0.889824 0.000991
61 -3158.88578486 0.0000000279 0.000006 0.000005 0.552375 0.000645
62 -3158.88578478 0.0000000886 0.000009 0.002764 1090.494901 1.602174
63 -3158.86904672 0.0167380569 0.002939 0.002761 1090.379352 1.601942
***Gradient check signals convergence***
***Rediagonalizing the Fockian in SOSCF/NRSCF***
*****************************************************
* SUCCESS *
* SCF CONVERGED AFTER 64 CYCLES *
*****************************************************
Old exchange energy = -170.253776618 Eh
New exchange energy = -170.252967503 Eh
Exchange energy change after final integration = 0.000809115 Eh
Total energy after final integration = -3158.884975280 Eh
Final COS-X integration done in = 103.198 sec
Total Energy : -3158.88497528 Eh -85957.63018 eV
Last Energy change ... -1.6738e-02 Tolerance : 1.0000e-08
Last MAX-Density change ... 1.2790e-13 Tolerance : 1.0000e-07
**** THE GBW FILE WAS UPDATED (SBR-trans-sbvb.gbw) ****
**** DENSITY SBR-trans-sbvb.scfp WAS UPDATED ****
**** ENERGY FILE WAS UPDATED (SBR-trans-sbvb.en.tmp) ****
**** THE GBW FILE WAS UPDATED (SBR-trans-sbvb.gbw) ****
**** DENSITY SBR-trans-sbvb.scfp WAS UPDATED ****

复制代码

这个最后一轮的能量变化幅度也太大了吧(Last Energy change ... -1.6738e-02 )，然后，第62、63步这是肿么了？最后居然就。。。判定收敛了？我去……

SBR-trans-sbvb.log (171.44 KB, 下载次数 Times of downloads: 9)

wzkchem5 · 发表于 Post on 2022-4-5 17:49:13

怀疑是基组线性相关问题。可以试试加大sthresh看看。
一般基组线性相关问题会导致在前几步迭代能量就大幅度变化，一眼就能看出来不对劲。我之前没有遇到过在scf最后一步出现问题的情况，但是理论上是有可能的。
SOSCF收敛标准只检查轨道梯度，这个做法当且仅当没有基组线性相关问题的时候是严格的，但是有基组线性相关问题的时候，不排除会导致能量飞掉了但是程序还视而不见。我考虑加一个收敛标准，如果能量、密度矩阵变化特别大，即使轨道梯度满足收敛条件也不认为收敛

冰释之川 · 发表于 Post on 2022-4-5 17:52:22

wzkchem5 发表于 2022-4-5 17:49
怀疑是基组线性相关问题。可以试试加大sthresh看看。
一般基组线性相关问题会导致在前几步迭代能量就大幅 ...

说实话，ORCA的SCF收敛判定是不是和某知名量化软件相比，有点"宽松"了

我刚刚换成了KDIIS，但愿没有这种现象

wzkchem5 · 发表于 Post on 2022-4-5 17:56:52

冰释之川发表于 2022-4-5 10:52
说实话，ORCA的SCF收敛判定是不是和某知名量化软件相比，有点"宽松"了
我刚刚换成KDIIS试试，有没有 ...

有这个问题，不过也在逐渐改，现在的版本比以前好多了。比如5.0.3的DIIS就比以前的版本收敛限更严格，以前只要求alpha和beta电子的[F,P]之和收敛，现在要求alpha和beta电子的[F,P]各自都要收敛。

yflchx · 发表于 Post on 2022-4-5 20:25:56

是不是def2-TZVPPD里面的D造成的？

对ORCA的SCF关注不多，只是当黑箱用。

GAMESS里面如果弥散函数比较多的话，direct SCF收敛的最后一步会出问题，加上FDIFF=.F.即可。

FDIFF-"a flag to compute only the change in the Fock matrices since the previous iteration, rather than recomputing all two electron contributions."

wzkchem5 · 发表于 Post on 2022-4-23 18:00:21

这两天又检查了一下代码，发现真正的问题出在：SCF收敛的那一步的迭代信息，程序不会打出来，而是在打印迭代信息之前就跳出SCF循环了。正常情况下影响不大，但是假如第N-1步SCF突然跑偏了，第N步又被程序掰回来了，刚好第N步的时候SCF收敛了，那么用户看到的就是第N-1步的SCF误差特别大的迭代结果，就会觉得奇怪为什么能量/密度变化这么多都可以算收敛。这个也可以解释为什么很多用户反映orca收敛限比较粗糙，其实并没有那么粗糙，只是输出文件容易被人误会而已。
我现在改了代码，从下一版orca开始，SCF收敛的那步的迭代信息也会打出来，可以更加正确地反映SCF收敛的精度。因为这个修改只涉及打印的信息，不涉及实际计算，所以以前的SCF结果也是可以用的，只不过SCF实际收敛情况比从输出文件看起来的要严

mfdsrax2 · 发表于 Post on 2022-4-24 18:46:06

wzkchem5 发表于 2022-4-23 18:00
这两天又检查了一下代码，发现真正的问题出在：SCF收敛的那一步的迭代信息，程序不会打出来，而是在打印迭 ...

SCF变化这么大是合理的吗

wzkchem5 · 发表于 Post on 2022-4-24 22:07:15

mfdsrax2 发表于 2022-4-24 11:46
SCF变化这么大是合理的吗

最后一步变化必须非常小，但是倒数第二步变化可以任意大，比最后一步大好几个数量级都是合理的。ORCA的问题就是没有打出最后一步的信息，让人误以为是最后一步变化大，其实只是倒数第二步变化大

413 · 发表于 Post on 2023-10-16 21:11:13

wzkchem5 发表于 2022-4-24 22:07
最后一步变化必须非常小，但是倒数第二步变化可以任意大，比最后一步大好几个数量级都是合理的。ORCA的问 ...

想请教下，手册中在9.5.9 linear dependence这部分写了这样一句话，是什么意思？
是处理线性相关问题，不建议使用level shift的意思吗？

“Note that for functions belonging to zero eigenvalues no level shifts are applied!”

另外请教下，手册中给的例子是出现了线性相关的问题对吗？

Diagonalization of the overlap matrix:
Smallest eigenvalue ... -1.340e-17
Time for diagonalization ... 0.313 sec
Threshold for overlap eigenvalues ... 1.000e-08
Number of eigenvalues below threshold ... 1
Smallest eigenvalue above threshold ... 6.013e-07
Time for construction of square roots ... 0.073 sec
Total time needed ... 0.387 sec

wzkchem5 · 发表于 Post on 2023-10-16 23:33:02

413 发表于 2023-10-16 14:11
想请教下，手册中在9.5.9 linear dependence这部分写了这样一句话，是什么意思？
是处理线性相关问题， ...

不是，是说即使加了level shift，也对那些linearly dependent的AO组合所形成的MO的轨道能没有贡献，只影响那些不受linear dependency的MO的轨道能。

对，因为-1.340e-17 < 1.000e-08（正常来说smallest eigenvalue应该大于等于0，这里略小于0是因为数值误差）

413 · 发表于 Post on 2023-10-16 23:57:57

本帖最后由 413 于 2023-10-17 01:08 编辑

wzkchem5 发表于 2023-10-16 23:33
不是，是说即使加了level shift，也对那些linearly dependent的AO组合所形成的MO的轨道能没有贡献，只影 ...

请教下，为啥我这个结构优化会有点收不住？现在跑了四圈geom relaxation cycle了，倒是每步scf都能收敛，趋势看起来，后面会崩。
scf的时候能量变化幅度比较大；并且MAX gradient也越来越大。
初始结构是拿低精度优化过的其实。

第一圈
--------------
SCF ITERATIONS
--------------
ITER    Energy       Delta-E       Max-DP    RMS-DP       Damp
  0 -502212.0566084366 0.000000000000 0.10460444  0.00049639 0.7000
  1 -502213.9094898257  -1.852881389030 0.05507536  0.00037826 0.7000
  2 -502214.3864860610  -0.476996235317 0.02350806  0.00020946 0.7000
  3 -502214.6304536393  -0.243967578281 0.02430830  0.00015809 0.7000
  4 -502214.8606106217  -0.230156982434 0.01658386  0.00012022 0.7000
                              .--------------------.
      ----------------------|Geometry convergence|-------------------------
      Item             value                Tolerance    Converged
      ---------------------------------------------------------------------
      RMS gradient       0.0002567730          0.0001000000    NO
      MAX gradient       0.0016356825          0.0003000000    NO
      RMS step          0.0090867380          0.0020000000    NO
      MAX step          0.0652929032          0.0040000000    NO
      ........................................................
      Max(Bonds)    0.0346    Max(Angles) 0.61
      Max(Dihed)       1.90    Max(Improp) 0.00
      ---------------------------------------------------------------------
第二圈
--------------
SCF ITERATIONS
--------------
ITER    Energy       Delta-E       Max-DP    RMS-DP       Damp
  0 -502215.3880163332 0.00000000000025574.69598333 80.98128798 0.7000
  1 -502215.7993319980  -0.41131566482418071.20830197 56.76662290 0.7000
  2 -502216.0927594276  -0.29342742956913279.84802771 40.33589092 0.7000
  3 -502216.3148443958  -0.22208496829311773.86403012 33.47631702 0.7000
  4 -502216.5087081531  -0.19386375724613644.65240333 36.23618092 0.7000
  5 -502216.6918085384  -0.18310038530013509.36697512 36.73429274 0.7000

                              .--------------------.
      ----------------------|Geometry convergence|-------------------------
      Item             value                Tolerance    Converged
      ---------------------------------------------------------------------
      Energy change    -2.3299043434          0.0000050000    NO
      RMS gradient       0.3000867960          0.0001000000    NO
      MAX gradient       2.0235487685          0.0003000000    NO
      RMS step          0.0090867380          0.0020000000    NO
      MAX step          0.0612899338          0.0040000000    NO
      ........................................................
      Max(Bonds)    0.0324    Max(Angles) 1.56
      Max(Dihed)       0.98    Max(Improp) 0.00
第三圈
--------------
SCF ITERATIONS
--------------
ITER    Energy       Delta-E       Max-DP    RMS-DP       Damp
  0 -502213.8428234163 0.00000000000061775.62025692 159.58325351 0.7000
  1 -502216.3475463460  -2.50472292967644252.63478920 114.18883910 0.7000
  2 -502218.0148476537  -1.66730130772331093.05130098 80.37470405 0.7000
  3 -502219.2257649583  -1.21091730456121780.45591098 56.30851363 0.7000
  4 -502220.0786961677  -0.85293120943215247.72831268 39.34991684 0.7000
  5 -502220.6707454042  -0.59204923646810675.11595451 27.49090617 0.7000
                              .--------------------.
      ----------------------|Geometry convergence|-------------------------
      Item             value                Tolerance    Converged
      ---------------------------------------------------------------------
      Energy change    -4.3360938904          0.0000050000    NO
      RMS gradient       0.4627717616          0.0001000000    NO
      MAX gradient       3.1335808583          0.0003000000    NO
      RMS step          0.0090867380          0.0020000000    NO
      MAX step          0.0636534196          0.0040000000    NO
      ........................................................
      Max(Bonds)    0.0337    Max(Angles) 1.50
      Max(Dihed)       0.91    Max(Improp) 0.00
      ---------------------------------------------------------------------
第四圈
--------------
SCF ITERATIONS
--------------
ITER    Energy       Delta-E       Max-DP    RMS-DP       Damp
  0 -502213.9629409846 0.00000000000085086.82082030 220.61470433 0.7000
  1 -502218.0411626329  -4.07822164834959992.21373535 155.21279226 0.7000
  2 -502220.7940243624  -2.75286172947442102.85612510 108.81076917 0.7000
  3 -502222.7634251502  -1.96940078778429471.02621766 76.16800722 0.7000
  4 -502224.1461266685  -1.38270151830520593.25519434 53.26686154 0.7000
  5 -502225.1092620407  -0.96313537220714390.80154467 37.25257070 0.7000

                              .--------------------.
      ----------------------|Geometry convergence|-------------------------
      Item             value                Tolerance    Converged
      ---------------------------------------------------------------------
      Energy change    -5.3045661810          0.0000050000    NO
      RMS gradient       0.6129660581          0.0001000000    NO
      MAX gradient       4.2032115582          0.0003000000    NO
      RMS step          0.0090867380          0.0020000000    NO
      MAX step          0.0628599372          0.0040000000    NO
      ........................................................
      Max(Bonds)    0.0333    Max(Angles) 1.44
      Max(Dihed)       0.89    Max(Improp) 0.00
      ---------------------------------------------------------------------
第五圈
--------------
SCF ITERATIONS
--------------
ITER    Energy       Delta-E       Max-DP    RMS-DP       Damp
  0 -502213.9973884682 0.000000000000112599.90574800 291.37979738 0.7000
  1 -502220.1313261689  -6.13393770065278988.67660831 204.34423317 0.7000
  2 -502224.3185432099  -4.18721704097755330.23636599 143.13630691 0.7000
  3 -502227.2911649043  -2.97262169444038726.49479409 100.18939007 0.7000
  4 -502229.3754756055  -2.08431070117527091.93767304 70.09500187 0.7000
  5 -502230.8298719081  -1.45439630257918954.81676062 49.04314427 0.7000

                              .--------------------.
      ----------------------|Geometry convergence|-------------------------
      Item             value                Tolerance    Converged
      ---------------------------------------------------------------------
      Energy change    -6.8665596386          0.0000050000    NO
      RMS gradient       0.7749086003          0.0001000000    NO
      MAX gradient       5.3658493260          0.0003000000    NO
      RMS step          0.0090867380          0.0020000000    NO
      MAX step          0.0633712376          0.0040000000    NO
      ........................................................
      Max(Bonds)    0.0335    Max(Angles) 1.39
      Max(Dihed)       0.82    Max(Improp) 0.00
      ---------------------------------------------------------------------
第六圈
--------------
SCF ITERATIONS
--------------
ITER    Energy       Delta-E       Max-DP    RMS-DP       Damp
  0 -502213.9993090944 0.000000000000144744.12833204 375.59702131 0.7000
  1 -502222.6913498316  -8.692040737253101437.51485119 263.14515879 0.7000
  2 -502228.6571641040  -5.96581427234971048.49402906 184.27290932 0.7000
  3 -502232.8798551957  -4.22269109170949743.73579528 128.98800589 0.7000
  4 -502235.8391976283  -2.95934243255834822.47953480 90.26705116 0.7000
  5 -502237.9061069376  -2.06690930930224384.61678672 63.17503711 0.7000

                              .--------------------.
      ----------------------|Geometry convergence|-------------------------
      Item             value                Tolerance    Converged
      ---------------------------------------------------------------------
      Energy change    -8.5912798393          0.0000050000    NO
      RMS gradient       1.0103587991          0.0001000000    NO
      MAX gradient       7.0979536028          0.0003000000    NO
      RMS step          0.0090867380          0.0020000000    NO
      MAX step          0.0673314262          0.0040000000    NO
      ........................................................
      Max(Bonds)    0.0356    Max(Angles) 1.34
      Max(Dihed)       0.87    Max(Improp) 0.00
      ---------------------------------------------------------------------

wzkchem5 · 发表于 Post on 2023-10-17 16:07:49

413 发表于 2023-10-16 16:57
请教下，为啥我这个结构优化会有点收不住？现在跑了四圈geom relaxation cycle了，倒是每步scf都能收敛， ...

MAX gradient这么大，说明要么初始结构极其不合理（例如原子坐标的单位搞错了），要么SCF出现了大问题，例如基组和赝势不匹配，基组线性相关等

413 · 发表于 Post on 2023-10-17 16:15:28

wzkchem5 发表于 2023-10-17 16:07
MAX gradient这么大，说明要么初始结构极其不合理（例如原子坐标的单位搞错了），要么SCF出现了大问题， ...

体系是一碳小分子在过渡金属表面的吸附

结构的话是赝势优化过的，单位也没问题
现在用了全电子基组重新优化下
基组线性相关我看了下"Number of eigenvalues below threshold ... 0"，都是合理的

昨晚优化，发现下一步得到的结构比上一步结构中的键长会逐渐缩短，所以整个结构重新优化后貌似在塌缩，这可能是导致scf越来越不稳定

wzkchem5 · 发表于 Post on 2023-10-17 16:31:46

413 发表于 2023-10-17 09:15
体系是一碳小分子在过渡金属表面的吸附

结构的话是赝势优化过的，单位也没问题

"Number of eigenvalues below threshold ... 0"表示按程序默认的阈值判断没有线性相关问题，但程序默认的阈值并不是对于所有体系都是合理的。这就是为什么手册建议在可能有线性相关问题的时候调sthresh，就是为了改变默认判断阈值。
结构大幅度塌缩，且没有用赝势的话，一般就是因为基组线性相关问题。此外注意如果你用了DKH，对于特别重的元素可能也会导致结构塌缩，因为DKH有变分不稳定性

413 · 发表于 Post on 2023-10-17 16:36:41

本帖最后由 413 于 2023-10-17 16:42 编辑

wzkchem5 发表于 2023-10-17 16:31
"Number of eigenvalues below threshold ... 0"表示按程序默认的阈值判断没有线性相关问题，但程序 ...

手册给了sthresh的区间是1e-5到1e-8。
请问如果我把sthresh设置到1e-3合理吗？因为我试了-4、-9，也有问这个问题。
最后一步scf收敛时的输出结果是
Diagonalization of the overlap matrix:
Smallest eigenvalue                      ... 4.233e-07
Time for diagonalization                ... 1.264 sec
Threshold for overlap eigenvalues       ... 1.000e-09
Number of eigenvalues below threshold    ... 0

倒是没用DKH，用的zora。
体系是负一价的。

		自动登录 Automatic login	找回密码 Forget password
密码 Password			注册 Register

[ORCA] ORCA中SCF迭代出现迷之收敛的案例

评分 Rate