求助，在集群的网络共享目录跑STEOM-DLPNO-CCSD计算任务比在本地硬盘目录慢6倍

GGCD

Orca 5.0.4，openMPI 4.1.1
inp文件:

1. ! RHF STEOM-DLPNO-CCSD cc-pVDZ cc-pVDZ/C TightSCF CPCM(toluene)
   
2. 
   
3. %MaxCore 5000
   
4. 
   
5. %pal nprocs 24 end
   
6. 
   
7. %mdci
   
8.   nroots      20
   
9.   DOSOC       true
   
10.   DoTriplet   false
    
11.   DoSOLV      true
    
12.   OThresh     0.0001
    
13.   VThresh     0.0001
    
14.   DoEOMMP2    true
    
15.   DLPNOLINEAR true
    
16.   NEWDOMAINS  true
    
17.   DoCOSXEOM   true
    
18.   DoAOX3e     true
    
19.   KCOpt       KC_AOBLAS
    
20.   MaxIter     500
    
21.   DoRootwise  true
    
22.   Printlevel  3
    
23. end
    
24. 
    
25. * xyz   0   1
    
26. C                  1.20368800    3.29499500   -0.00002600
    
27. C                  0.00000100    3.99610000    0.00001300
    
28. C                 -1.20368500    3.29499900    0.00005400
    
29. C                 -1.17824800    1.86296200    0.00005700
    
30. C                 -0.00000100    1.12923300    0.00006000
    
31. C                  1.17824500    1.86296200   -0.00002300
    
32. ......

复制代码

浪潮工程师测试的结论如下：

通过测试在任意节点的本地硬盘目录(含SATA和SSD硬盘)跑您提供的orca算例均在1小时22分内完成，通过网络共享目录(NFS和BeegFS等)测试均在6小时以上；通过iozone测试对比BeegFS和NFS目录实际读写性能要高于本地单块硬盘，目前不确定为何orca跑在网络共享目录会变慢，但从手册中看到如下解释，请帮忙确认orca是否支持网络共享目录运行，如果使用NFS或BeegFS等网络共享目录是否有参数优化，谢谢。

请问这个慢六倍的问题如何解决？

niobium

没有办法。CC计算过程中本来就有大量的文件读写过程，而且是并行读写。所以他测试的读写性能如果只是串行的，那不能说明问题。

sobereva

硬盘速度与内存容量对量子化学计算速度影响的测试
http://sobereva.com/397

耦合簇计算对硬盘I/O速度敏感

abin

这套机器/集群的配置在这里:
https://cgglzx.jlu.edu.cn/provider/#/publish/20LBKM4KT89MED76

整理后的配置信息在这里:
https://gitee.com/hpc4you/grand-ram-gpu

数位专职管理员都不接手该集群管理/运维, 理由是, (机器/集群)跑起来很困难.

某位领导指出,  “说这套集群配置是垃圾的人, 就是白痴”.

浪潮技术也说了, 测试数据达标呀.
我说, 达不达标我不懂, 可是用户说:“跑啥都慢”, 你们和领导以及用户沟通就行了.
的确有用户, 实名通过电邮反馈, ORCA慢17倍, NAMD.GPU慢2~3倍.
(大家都是读过书的博士, 肯定是和性能相近的硬件做比对的).

100Gbps带宽, I/O测试可以跑到11GB/s, 是数据达标. (100/8=12.5GB/s, 跑到11GB/s性能不差的呀).

不过, 我这个外行认为, I/O测试的那些参数, 并不能反映并行计算集群中的I/O的实际需求.
结果就是, 如果计算涉及磁盘I/O, 肯定慢.



另, 你没有猜错, 我这个外行倒霉鬼, 在暂时运维管理这套(两套)集群.
领导说“你做的这些个管理集群的工作, 在学校无法考核衡量工作量, 所以没有津贴补助, 也没有酬劳.”
对, 我是友情提供协助, 原则是, 保持浪潮交付的“固定资产”原样运行.

不要动不动就骂集群管理员是白痴/不干活, 先问, 有没有给管理员付薪水,
问问领导给管理员定的工作内容和职责.

GGCD

niobium 发表于 2024-5-8 19:26
没有办法。CC计算过程中本来就有大量的文件读写过程，而且是并行读写。所以他测试的读写性能如果只是串行的 ...

感谢解惑

GGCD

sobereva 发表于 2024-5-8 20:31
硬盘速度与内存容量对量子化学计算速度影响的测试
http://sobereva.com/397

感谢sob老师解惑