orca在双路计算机上不同的cpu耗时相差很大

carl0206

有个很奇怪的问题
用一台2*8179M的机器做orca(5.0.1版本，openmpi版本411）运算，在cpu0上的计算时间显著低于cpu1，不知道有没有人知道为什么会出现这样的情况，已经怎样提高cpu1的算力？

命令如下：
/xx/orca501/orca 1.inp "-rf /xx/cores/1.txt" > 1.out

1.txt是按照Sobereva老师建议的内核绑定文件：
    rank 0=xw-desktop slot=0:0
    rank 1=xw-desktop slot=0:1
    rank 2=xw-desktop slot=0:2
    rank 3=xw-desktop slot=0:3

或者
    rank 0=xw-desktop slot=1:0
    rank 1=xw-desktop slot=1:1
    rank 2=xw-desktop slot=1:2
    rank 3=xw-desktop slot=1:3

分别对应CPU0和CPU1


1.inp:
! M062X def2-TZVP def2/J TightSCF Opt Freq CPCM(chloroform) DEFGRID3 D3zero nopop noautostart miniprint  


%maxcore 3000
%pal
nprocs 4 end


* xyz 0 1
xxxxxx

*

用CPU0：
Timings for individual modules:


Sum of individual times         ...      461.427 sec (=   7.690 min)
GTO integral calculation        ...        2.398 sec (=   0.040 min)   0.5 %
SCF iterations                  ...      168.533 sec (=   2.809 min)  36.5 %
SCF Gradient evaluation         ...       40.387 sec (=   0.673 min)   8.8 %
Geometry relaxation             ...        0.240 sec (=   0.004 min)   0.1 %
Analytical frequency calculation...      249.870 sec (=   4.164 min)  54.2 %
                             ****ORCA TERMINATED NORMALLY****
TOTAL RUN TIME: 0 days 0 hours 7 minutes 43 seconds 819 msec


如果用CPU1：


Timings for individual modules:


Sum of individual times         ...      856.495 sec (=  14.275 min)
GTO integral calculation        ...        2.815 sec (=   0.047 min)   0.3 %
SCF iterations                  ...      178.850 sec (=   2.981 min)  20.9 %
SCF Gradient evaluation         ...       42.603 sec (=   0.710 min)   5.0 %
Geometry relaxation             ...        0.281 sec (=   0.005 min)   0.0 %
Analytical frequency calculation...      631.947 sec (=  10.532 min)  73.8 %
                             ****ORCA TERMINATED NORMALLY****
TOTAL RUN TIME: 0 days 0 hours 14 minutes 18 seconds 854 msec

sobereva

监控一下计算过程中CPU运行频率，看看两个U有没有显著差别。并且也关注一下CPU温度，看看是否其中一个过高

carl0206

sobereva 发表于 2022-5-5 08:21
监控一下计算过程中CPU运行频率，看看两个U有没有显著差别。并且也关注一下CPU温度，看看是否其中一个过高

谢谢回复，频率和温度都没问题，我看了一眼输出文件，主要是在算频率的时候耗时差别很大：
CPU0：
----------------------------------------------
Forming right-hand sides of CP-SCF equations     ...
----------------------------------------------
One electron integral derivatives  (SHARK)       ... done   (     12.1 sec)
Transforming the overlap derivative matrices     ... done   (      0.8 sec)
Adding tr(S(x)F(y) C-PCM term to the hessian     ... done   (      0.0 sec)
Making the Q(x) pseudodensities                  ... done   (      0.0 sec)
Adding the E*S(x)*S(y) terms to the Hessian      ... done   (      0.0 sec)
Calculating energy weighted overlap derivatives  ... done   (      0.0 sec)
Two electron integral derivatives (SHARK-RI)     ... done   (     15.7 sec)
Exchange-correlation integral derivatives        ... done   (     61.2 sec)
tr(F(y)Q(x)) contribution to the Hessian         ... done   (      0.0 sec)
Response fock operator R(S(x)) (SHARK-RIJCOSX)   ... done   (     11.3 sec)
XC Response fock operator R(S(x))                ... done   (     19.2 sec)
tr(F(y)S(x)) contribution to the Hessian         ... done   (      0.0 sec)
Transforming and finalizing RHSs                 ... done   (      0.0 sec)

----------------------------------------------
Solving the CP-SCF equations (RIJCOSX)           ...
----------------------------------------------
     CP-SCF ITERATION   0:   1.3414e-01 (   6.1 sec   0/ 24 done)
     CP-SCF ITERATION   1:   2.1732e-02 (   6.4 sec   0/ 24 done)
     CP-SCF ITERATION   2:   7.7381e-03 (   6.5 sec   0/ 24 done)
     CP-SCF ITERATION   3:   1.7551e-03 (   6.5 sec   0/ 24 done)
     CP-SCF ITERATION   4:   5.0784e-04 (   6.5 sec   0/ 24 done)
     CP-SCF ITERATION   5:   1.5690e-04 (   6.5 sec  17/ 24 done)
     CP-SCF ITERATION   6:   3.2301e-05 (   2.5 sec  24/ 24 done)
                    *** THE CP-SCF HAS CONVERGED ***

                                                 ... done   (     41.2 sec)
Forming perturbed density Hessian contributions  ... done   (      0.0 sec)
Calculating [Q*(d^2 A/dXdY)*Q  ] C-PCM term      ... done   (      0.0 sec)
Calculating [d^2(V_N)/(dXdY)*Q ] C-PCM term      ... done   (      0.0 sec)
Calculating [d^2(V_el)/(dXdY)*Q] C-PCM term      ... done   (      0.4 sec)
Calculating C-PCM term that depends on dQ/dX     ... done   (      0.0 sec)
2nd integral derivative contribs (SHARK-RI)      ... done   (     62.5 sec)
Exchange-correlation Hessian                     ... done   (     16.3 sec)
Dispersion correction in the Hessian             ... done   (      0.5 sec)
Dipole derivatives                               ... done   (      0.3 sec)

Total SCF Hessian time: 0 days 0 hours 4 min 9 sec


CPU1：
----------------------------------------------
Forming right-hand sides of CP-SCF equations     ...
----------------------------------------------
One electron integral derivatives  (SHARK)       ... done   (     12.5 sec)
Transforming the overlap derivative matrices     ... done   (      0.8 sec)
Adding tr(S(x)F(y) C-PCM term to the hessian     ... done   (      0.0 sec)
Making the Q(x) pseudodensities                  ... done   (      0.0 sec)
Adding the E*S(x)*S(y) terms to the Hessian      ... done   (      0.0 sec)
Calculating energy weighted overlap derivatives  ... done   (      0.0 sec)
Two electron integral derivatives (SHARK-RI)     ... done   (     15.9 sec)
Exchange-correlation integral derivatives        ... done   (     86.5 sec)
tr(F(y)Q(x)) contribution to the Hessian         ... done   (      0.1 sec)
Response fock operator R(S(x)) (SHARK-RIJCOSX)   ... done   (    242.6 sec)
XC Response fock operator R(S(x))                ... done   (     25.6 sec)
tr(F(y)S(x)) contribution to the Hessian         ... done   (      0.0 sec)
Transforming and finalizing RHSs                 ... done   (      0.1 sec)

----------------------------------------------
Solving the CP-SCF equations (RIJCOSX)           ...
----------------------------------------------
     CP-SCF ITERATION   0:   1.3414e-01 (  17.2 sec   0/ 24 done)
     CP-SCF ITERATION   1:   2.1732e-02 (  16.9 sec   0/ 24 done)
     CP-SCF ITERATION   2:   7.7381e-03 (  16.9 sec   0/ 24 done)
     CP-SCF ITERATION   3:   1.7551e-03 (  16.7 sec   0/ 24 done)
     CP-SCF ITERATION   4:   5.0784e-04 (  16.8 sec   0/ 24 done)
     CP-SCF ITERATION   5:   1.5690e-04 (  16.8 sec  17/ 24 done)
     CP-SCF ITERATION   6:   3.2301e-05 (   4.2 sec  24/ 24 done)
                    *** THE CP-SCF HAS CONVERGED ***

                                                 ... done   (    106.1 sec)
Forming perturbed density Hessian contributions  ... done   (      0.0 sec)
Calculating [Q*(d^2 A/dXdY)*Q  ] C-PCM term      ... done   (      0.0 sec)
Calculating [d^2(V_N)/(dXdY)*Q ] C-PCM term      ... done   (      0.0 sec)
Calculating [d^2(V_el)/(dXdY)*Q] C-PCM term      ... done   (      0.4 sec)
Calculating C-PCM term that depends on dQ/dX     ... done   (      0.1 sec)
2nd integral derivative contribs (SHARK-RI)      ... done   (     66.4 sec)
Exchange-correlation Hessian                     ... done   (     44.9 sec)
Dispersion correction in the Hessian             ... done   (     14.5 sec)
Dipole derivatives                               ... done   (      1.5 sec)

Total SCF Hessian time: 0 days 0 hours 10 min 31 sec

sobereva

carl0206 发表于 2022-5-6 09:53
谢谢回复，频率和温度都没问题，我看了一眼输出文件，主要是在算频率的时候耗时差别很大：
CPU0：
---- ...

看看机子上内存插的方式对不对，是否两个CPU的内存通道都等效地利用了

carl0206

sobereva 发表于 2022-5-6 10:09
看看机子上内存插的方式对不对，是否两个CPU的内存通道都等效地利用了

一共12个槽，都插满了，应该没问题吧