ORCA中SCF迭代出现迷之收敛的案例

冰释之川

直接贴SCF收敛过程的细节：

1. 54  -3158.88578497   0.0000001448  0.000008  0.000056  4.855081  0.005949
   
2. 55  -3158.88578139   0.0000035804  0.000045  0.000050  4.075013  0.005324
   
3. 56  -3158.88578492  -0.0000035228  0.000003  0.000001  0.448701  0.000609
   
4. 57  -3158.88578476   0.0000001550  0.000003  0.000005  1.541385  0.001879
   
5. 58  -3158.88578458   0.0000001828  0.000006  0.000003  0.861860  0.001203
   
6. 59  -3158.88578469  -0.0000001141  0.000003  0.000003  0.698612  0.000952
   
7. 60  -3158.88578489  -0.0000002002  0.000005  0.000006  0.889824  0.000991
   
8. 61  -3158.88578486   0.0000000279  0.000006  0.000005  0.552375  0.000645
   
9. 62  -3158.88578478   0.0000000886  0.000009  0.002764 1090.494901  1.602174
   
10. 63  -3158.86904672   0.0167380569  0.002939  0.002761 1090.379352  1.601942
    
11.                   ***Gradient check signals convergence***
    
12.               ***Rediagonalizing the Fockian in SOSCF/NRSCF***
    
13. 
    
14.                *****************************************************
    
15.                *                     SUCCESS                       *
    
16.                *           SCF CONVERGED AFTER  64 CYCLES          *
    
17.                *****************************************************
    
18. 
    
19. Old exchange energy                            =   -170.253776618 Eh
    
20. New exchange energy                            =   -170.252967503 Eh
    
21. Exchange energy change after final integration =      0.000809115 Eh
    
22. Total energy after final integration           =  -3158.884975280 Eh
    
23. Final COS-X integration done in                =   103.198 sec
    
24. Total Energy       :        -3158.88497528 Eh          -85957.63018 eV
    
25.   Last Energy change         ...   -1.6738e-02  Tolerance :   1.0000e-08
    
26.   Last MAX-Density change    ...    1.2790e-13  Tolerance :   1.0000e-07
    
27.              **** THE GBW FILE WAS UPDATED (SBR-trans-sbvb.gbw) ****
    
28.              **** DENSITY SBR-trans-sbvb.scfp WAS UPDATED ****
    
29.              **** ENERGY FILE WAS UPDATED (SBR-trans-sbvb.en.tmp) ****
    
30.              **** THE GBW FILE WAS UPDATED (SBR-trans-sbvb.gbw) ****
    
31.              **** DENSITY SBR-trans-sbvb.scfp WAS UPDATED ****

复制代码

这个最后一轮的能量变化幅度也太大了吧(Last Energy change ... -1.6738e-02 )，然后，第62、63步这是肿么了？最后居然就。。。判定收敛了？我去……


SBR-trans-sbvb.log (171.44 KB, 下载次数 Times of downloads: 9)

2022-4-5 17:41 上传 Uploaded

点击下载
Click to download

wzkchem5

怀疑是基组线性相关问题。可以试试加大sthresh看看。
一般基组线性相关问题会导致在前几步迭代能量就大幅度变化，一眼就能看出来不对劲。我之前没有遇到过在scf最后一步出现问题的情况，但是理论上是有可能的。
SOSCF收敛标准只检查轨道梯度，这个做法当且仅当没有基组线性相关问题的时候是严格的，但是有基组线性相关问题的时候，不排除会导致能量飞掉了但是程序还视而不见。我考虑加一个收敛标准，如果能量、密度矩阵变化特别大，即使轨道梯度满足收敛条件也不认为收敛

冰释之川

wzkchem5 发表于 2022-4-5 17:49
怀疑是基组线性相关问题。可以试试加大sthresh看看。
一般基组线性相关问题会导致在前几步迭代能量就大幅 ...

说实话，ORCA的SCF收敛判定是不是和某知名量化软件相比，有点"宽松"了
我刚刚换成了KDIIS，但愿没有这种现象

wzkchem5

冰释之川 发表于 2022-4-5 10:52
说实话，ORCA的SCF收敛判定是不是和某知名量化软件相比，有点"宽松"了
我刚刚换成KDIIS试试，有没有 ...

有这个问题，不过也在逐渐改，现在的版本比以前好多了。比如5.0.3的DIIS就比以前的版本收敛限更严格，以前只要求alpha和beta电子的[F,P]之和收敛，现在要求alpha和beta电子的[F,P]各自都要收敛。

yflchx

是不是def2-TZVPPD里面的D造成的？

对ORCA的SCF关注不多，只是当黑箱用。

GAMESS里面如果弥散函数比较多的话，direct SCF收敛的最后一步会出问题，加上FDIFF=.F.即可。

FDIFF-"a flag to compute only the change in the Fock matrices since the previous iteration, rather than recomputing all two electron contributions."

wzkchem5

这两天又检查了一下代码，发现真正的问题出在：SCF收敛的那一步的迭代信息，程序不会打出来，而是在打印迭代信息之前就跳出SCF循环了。正常情况下影响不大，但是假如第N-1步SCF突然跑偏了，第N步又被程序掰回来了，刚好第N步的时候SCF收敛了，那么用户看到的就是第N-1步的SCF误差特别大的迭代结果，就会觉得奇怪为什么能量/密度变化这么多都可以算收敛。这个也可以解释为什么很多用户反映orca收敛限比较粗糙，其实并没有那么粗糙，只是输出文件容易被人误会而已。
我现在改了代码，从下一版orca开始，SCF收敛的那步的迭代信息也会打出来，可以更加正确地反映SCF收敛的精度。因为这个修改只涉及打印的信息，不涉及实际计算，所以以前的SCF结果也是可以用的，只不过SCF实际收敛情况比从输出文件看起来的要严

mfdsrax2

wzkchem5 发表于 2022-4-23 18:00
这两天又检查了一下代码，发现真正的问题出在：SCF收敛的那一步的迭代信息，程序不会打出来，而是在打印迭 ...

SCF变化这么大是合理的吗

wzkchem5

mfdsrax2 发表于 2022-4-24 11:46
SCF变化这么大是合理的吗

最后一步变化必须非常小，但是倒数第二步变化可以任意大，比最后一步大好几个数量级都是合理的。ORCA的问题就是没有打出最后一步的信息，让人误以为是最后一步变化大，其实只是倒数第二步变化大

413

wzkchem5 发表于 2022-4-24 22:07
最后一步变化必须非常小，但是倒数第二步变化可以任意大，比最后一步大好几个数量级都是合理的。ORCA的问 ...

想请教下，手册中在9.5.9 linear dependence这部分写了这样一句话，是什么意思？
是处理线性相关问题，不建议使用level shift的意思吗？

“Note that for functions belonging to zero eigenvalues no level shifts are applied!”

另外请教下，手册中给的例子是出现了线性相关的问题对吗？

Diagonalization of the overlap matrix:
Smallest eigenvalue ... -1.340e-17
Time for diagonalization ... 0.313 sec
Threshold for overlap eigenvalues ... 1.000e-08
Number of eigenvalues below threshold ... 1
Smallest eigenvalue above threshold ... 6.013e-07
Time for construction of square roots ... 0.073 sec
Total time needed ... 0.387 sec

wzkchem5

413 发表于 2023-10-16 14:11
想请教下，手册中在9.5.9 linear dependence这部分写了这样一句话，是什么意思？
是处理线性相关问题， ...

不是，是说即使加了level shift，也对那些linearly dependent的AO组合所形成的MO的轨道能没有贡献，只影响那些不受linear dependency的MO的轨道能。

对，因为-1.340e-17 < 1.000e-08（正常来说smallest eigenvalue应该大于等于0，这里略小于0是因为数值误差）

413

wzkchem5 发表于 2023-10-16 23:33
不是，是说即使加了level shift，也对那些linearly dependent的AO组合所形成的MO的轨道能没有贡献，只影 ...

请教下，为啥我这个结构优化会有点收不住？现在跑了四圈geom relaxation cycle了，倒是每步scf都能收敛，趋势看起来，后面会崩。
scf的时候能量变化幅度比较大；并且MAX gradient也越来越大。
初始结构是拿低精度优化过的其实。

第一圈
--------------
SCF ITERATIONS
--------------
ITER       Energy         Delta-E        Max-DP      RMS-DP        Damp
  0 -502212.0566084366   0.000000000000 0.10460444  0.00049639 0.7000
  1 -502213.9094898257  -1.852881389030 0.05507536  0.00037826 0.7000
  2 -502214.3864860610  -0.476996235317 0.02350806  0.00020946 0.7000
  3 -502214.6304536393  -0.243967578281 0.02430830  0.00015809 0.7000
  4 -502214.8606106217  -0.230156982434 0.01658386  0.00012022 0.7000
                                .--------------------.
          ----------------------|Geometry convergence|-------------------------
          Item                value                   Tolerance       Converged
          ---------------------------------------------------------------------
          RMS gradient        0.0002567730            0.0001000000      NO
          MAX gradient        0.0016356825            0.0003000000      NO
          RMS step            0.0090867380            0.0020000000      NO
          MAX step            0.0652929032            0.0040000000      NO
          ........................................................
          Max(Bonds)      0.0346      Max(Angles)    0.61
          Max(Dihed)        1.90      Max(Improp)    0.00
          ---------------------------------------------------------------------
第二圈
--------------
SCF ITERATIONS
--------------
ITER       Energy         Delta-E        Max-DP      RMS-DP        Damp
  0 -502215.3880163332   0.00000000000025574.69598333 80.98128798 0.7000
  1 -502215.7993319980  -0.41131566482418071.20830197 56.76662290 0.7000
  2 -502216.0927594276  -0.29342742956913279.84802771 40.33589092 0.7000
  3 -502216.3148443958  -0.22208496829311773.86403012 33.47631702 0.7000
  4 -502216.5087081531  -0.19386375724613644.65240333 36.23618092 0.7000
  5 -502216.6918085384  -0.18310038530013509.36697512 36.73429274 0.7000

                                .--------------------.
          ----------------------|Geometry convergence|-------------------------
          Item                value                   Tolerance       Converged
          ---------------------------------------------------------------------
          Energy change      -2.3299043434            0.0000050000      NO
          RMS gradient        0.3000867960            0.0001000000      NO
          MAX gradient        2.0235487685            0.0003000000      NO
          RMS step            0.0090867380            0.0020000000      NO
          MAX step            0.0612899338            0.0040000000      NO
          ........................................................
          Max(Bonds)      0.0324      Max(Angles)    1.56
          Max(Dihed)        0.98      Max(Improp)    0.00
第三圈
--------------
SCF ITERATIONS
--------------
ITER       Energy         Delta-E        Max-DP      RMS-DP        Damp
  0 -502213.8428234163   0.00000000000061775.62025692 159.58325351 0.7000
  1 -502216.3475463460  -2.50472292967644252.63478920 114.18883910 0.7000
  2 -502218.0148476537  -1.66730130772331093.05130098 80.37470405 0.7000
  3 -502219.2257649583  -1.21091730456121780.45591098 56.30851363 0.7000
  4 -502220.0786961677  -0.85293120943215247.72831268 39.34991684 0.7000
  5 -502220.6707454042  -0.59204923646810675.11595451 27.49090617 0.7000
                                .--------------------.
          ----------------------|Geometry convergence|-------------------------
          Item                value                   Tolerance       Converged
          ---------------------------------------------------------------------
          Energy change      -4.3360938904            0.0000050000      NO
          RMS gradient        0.4627717616            0.0001000000      NO
          MAX gradient        3.1335808583            0.0003000000      NO
          RMS step            0.0090867380            0.0020000000      NO
          MAX step            0.0636534196            0.0040000000      NO
          ........................................................
          Max(Bonds)      0.0337      Max(Angles)    1.50
          Max(Dihed)        0.91      Max(Improp)    0.00
          ---------------------------------------------------------------------
第四圈
--------------
SCF ITERATIONS
--------------
ITER       Energy         Delta-E        Max-DP      RMS-DP        Damp
  0 -502213.9629409846   0.00000000000085086.82082030 220.61470433 0.7000
  1 -502218.0411626329  -4.07822164834959992.21373535 155.21279226 0.7000
  2 -502220.7940243624  -2.75286172947442102.85612510 108.81076917 0.7000
  3 -502222.7634251502  -1.96940078778429471.02621766 76.16800722 0.7000
  4 -502224.1461266685  -1.38270151830520593.25519434 53.26686154 0.7000
  5 -502225.1092620407  -0.96313537220714390.80154467 37.25257070 0.7000


                                .--------------------.
          ----------------------|Geometry convergence|-------------------------
          Item                value                   Tolerance       Converged
          ---------------------------------------------------------------------
          Energy change      -5.3045661810            0.0000050000      NO
          RMS gradient        0.6129660581            0.0001000000      NO
          MAX gradient        4.2032115582            0.0003000000      NO
          RMS step            0.0090867380            0.0020000000      NO
          MAX step            0.0628599372            0.0040000000      NO
          ........................................................
          Max(Bonds)      0.0333      Max(Angles)    1.44
          Max(Dihed)        0.89      Max(Improp)    0.00
          ---------------------------------------------------------------------
第五圈
--------------
SCF ITERATIONS
--------------
ITER       Energy         Delta-E        Max-DP      RMS-DP        Damp
  0 -502213.9973884682   0.000000000000112599.90574800 291.37979738 0.7000
  1 -502220.1313261689  -6.13393770065278988.67660831 204.34423317 0.7000
  2 -502224.3185432099  -4.18721704097755330.23636599 143.13630691 0.7000
  3 -502227.2911649043  -2.97262169444038726.49479409 100.18939007 0.7000
  4 -502229.3754756055  -2.08431070117527091.93767304 70.09500187 0.7000
  5 -502230.8298719081  -1.45439630257918954.81676062 49.04314427 0.7000

                                .--------------------.
          ----------------------|Geometry convergence|-------------------------
          Item                value                   Tolerance       Converged
          ---------------------------------------------------------------------
          Energy change      -6.8665596386            0.0000050000      NO
          RMS gradient        0.7749086003            0.0001000000      NO
          MAX gradient        5.3658493260            0.0003000000      NO
          RMS step            0.0090867380            0.0020000000      NO
          MAX step            0.0633712376            0.0040000000      NO
          ........................................................
          Max(Bonds)      0.0335      Max(Angles)    1.39
          Max(Dihed)        0.82      Max(Improp)    0.00
          ---------------------------------------------------------------------
第六圈
--------------
SCF ITERATIONS
--------------
ITER       Energy         Delta-E        Max-DP      RMS-DP        Damp
  0 -502213.9993090944   0.000000000000144744.12833204 375.59702131 0.7000
  1 -502222.6913498316  -8.692040737253101437.51485119 263.14515879 0.7000
  2 -502228.6571641040  -5.96581427234971048.49402906 184.27290932 0.7000
  3 -502232.8798551957  -4.22269109170949743.73579528 128.98800589 0.7000
  4 -502235.8391976283  -2.95934243255834822.47953480 90.26705116 0.7000
  5 -502237.9061069376  -2.06690930930224384.61678672 63.17503711 0.7000


                                .--------------------.
          ----------------------|Geometry convergence|-------------------------
          Item                value                   Tolerance       Converged
          ---------------------------------------------------------------------
          Energy change      -8.5912798393            0.0000050000      NO
          RMS gradient        1.0103587991            0.0001000000      NO
          MAX gradient        7.0979536028            0.0003000000      NO
          RMS step            0.0090867380            0.0020000000      NO
          MAX step            0.0673314262            0.0040000000      NO
          ........................................................
          Max(Bonds)      0.0356      Max(Angles)    1.34
          Max(Dihed)        0.87      Max(Improp)    0.00
          ---------------------------------------------------------------------

wzkchem5

413 发表于 2023-10-16 16:57
请教下，为啥我这个结构优化会有点收不住？现在跑了四圈geom relaxation cycle了，倒是每步scf都能收敛， ...

MAX gradient这么大，说明要么初始结构极其不合理（例如原子坐标的单位搞错了），要么SCF出现了大问题，例如基组和赝势不匹配，基组线性相关等

413

wzkchem5 发表于 2023-10-17 16:07
MAX gradient这么大，说明要么初始结构极其不合理（例如原子坐标的单位搞错了），要么SCF出现了大问题， ...

体系是一碳小分子在过渡金属表面的吸附

结构的话是赝势优化过的，单位也没问题
现在用了全电子基组重新优化下
基组线性相关我看了下"Number of eigenvalues below threshold      ... 0"，都是合理的

昨晚优化，发现下一步得到的结构比上一步结构中的键长会逐渐缩短，所以整个结构重新优化后貌似在塌缩，这可能是导致scf越来越不稳定

wzkchem5

413 发表于 2023-10-17 09:15
体系是一碳小分子在过渡金属表面的吸附

结构的话是赝势优化过的，单位也没问题

"Number of eigenvalues below threshold      ... 0"表示按程序默认的阈值判断没有线性相关问题，但程序默认的阈值并不是对于所有体系都是合理的。这就是为什么手册建议在可能有线性相关问题的时候调sthresh，就是为了改变默认判断阈值。
结构大幅度塌缩，且没有用赝势的话，一般就是因为基组线性相关问题。此外注意如果你用了DKH，对于特别重的元素可能也会导致结构塌缩，因为DKH有变分不稳定性

413

wzkchem5 发表于 2023-10-17 16:31
"Number of eigenvalues below threshold      ... 0"表示按程序默认的阈值判断没有线性相关问题，但程序 ...

手册给了sthresh的区间是1e-5到1e-8。
请问如果我把sthresh设置到1e-3合理吗？因为我试了-4、-9，也有问这个问题。
最后一步scf收敛时的输出结果是
Diagonalization of the overlap matrix:
Smallest eigenvalue                        ... 4.233e-07
Time for diagonalization                   ...    1.264 sec
Threshold for overlap eigenvalues          ... 1.000e-09
Number of eigenvalues below threshold      ... 0



倒是没用DKH，用的zora。
体系是负一价的。