第八届北京科音基础(中级)量子化学培训班将于6月9~14日于北京举办,是已具备一定量化研究经验者全面大幅提升研究水平的难得机会,报名现已开始,请点击此链接查看培训详情并报名

计算化学公社

 找回密码
 现在注册!
查看: 1486|回复: 13

[Linux] 请教,关于可能影响CentOS计算速度的一些细节问题

[复制链接]

100

帖子

0

威望

306

eV
积分
406

Level 3 能力者

发表于 2020-10-27 07:21:50 | 显示全部楼层 |阅读模式
如题~

一是CPU电源模式,有powersave和performance两种,powersave会让不使用的处理器处于最低频率,而performance会让CPU尽量达到最高频率,请问有必要使用performance吗?另外发现在performance模式下由于不使用的核心频率仍然很高,似乎真正占用的核心频率反而因此有所下降?
二是swap空降,如果内存足够更多,完全关闭swap并且设置vm.swappiness=1是否会加快计算速度?

另外最近发现了一个奇怪现象,同一个postHF任务在完全相同的条件下几次启动计算,好像对应的速度会越来越慢?虽然慢得不多但是非常稳定的几乎每个分步都会变慢一些,这是正常现象吗?

非常感谢各位老师!


3万

帖子

25

威望

3万

eV
积分
66611

管理员

公社社长+计算化学玩家

发表于 2020-10-27 07:31:42 | 显示全部楼层
1 没必要改它,默认即可,不会因为默认设置有碍性能
2 实际计算的时候要求分配的内存量不超过空余物理内存量就行了,这个也没必要特意改它

不是正常现象。我不知道“几次启动”具体怎么做的,是上个任务正常跑完了还是强制中断的,以及用的是什么程序。如果是强制中断的,看看是否有相关进程还没彻底杀死之类
北京科音自然科学研究中心http://www.keinsci.com)致力于计算化学的发展和传播,长期开办最高质量的各种计算化学类培训:初级量子化学培训班基础(中级)量子化学培训班分子动力学与GROMACS培训班量子化学波函数分析与Multiwfn程序培训班。这些培训是计算化学快速入门以及全面系统性提升研究水平的最佳途径,培训各种相关信息见《北京科音办的培训班FAQ》
欢迎加入“北京科音”微信公众号获取培训最新消息、避免错过网上最有价值的计算化学文章!
欢迎加入人气最高、水准最高的综合性理论与计算化学交流QQ群“思想家公社QQ群”:1号:18616395(已满),2号:466017436(已满),3号:764390338(可加)。合计8000人,讨论范畴相同
思想家公社的门口Blog:http://sobereva.com(发布大量原创计算化学相关博文)
Multiwfn主页:http://sobereva.com/multiwfn(最强大的量子化学波函数分析程序)
ResearchGate:https://www.researchgate.net/profile/Tian_Lu
Money and papers are rubbish, get a real life!

100

帖子

0

威望

306

eV
积分
406

Level 3 能力者

 楼主| 发表于 2020-10-27 07:38:42 | 显示全部楼层
sobereva 发表于 2020-10-27 07:31
1 没必要改它,默认即可,不会因为默认设置有碍性能
2 实际计算的时候要求分配的内存量不超过空余物理内存 ...

好的,蟹蟹sob老师!

主要是发现即使剩余仍有物理内存,系统仍然会使用swap空间,不过好像确实没有多大影响,只是不知道在内存完全充裕的情况下关闭swap是否会加速计算?

任务是强制杀死的,检查过没有残留进程,然后再次在同样的环境和设置下启动,计算的一些步骤就变慢了,很奇怪QAQ

100

帖子

0

威望

306

eV
积分
406

Level 3 能力者

 楼主| 发表于 2020-10-27 14:25:39 | 显示全部楼层
sobereva 发表于 2020-10-27 07:31
1 没必要改它,默认即可,不会因为默认设置有碍性能
2 实际计算的时候要求分配的内存量不超过空余物理内存 ...

经检查,发现/sys/devices/system/edac/mc/mc0/csrow0/ch2_ce_count该值不为零,且系统日志中可以看到HANDLING MCE MEMORY ERROR这样的错误。并且在调换主板上两条内存的位置之后发现报错的内存的位置也发生变化,请问这样可以确定是内存条存在故障吗?

3万

帖子

25

威望

3万

eV
积分
66611

管理员

公社社长+计算化学玩家

发表于 2020-10-29 13:09:02 | 显示全部楼层
DoorBell 发表于 2020-10-27 14:25
经检查,发现/sys/devices/system/edac/mc/mc0/csrow0/ch2_ce_count该值不为零,且系统日志中可以看到HAN ...

就留一条你觉得没问题的内存,看看还有没有类似的变慢的现象。按说内存有问题的概率应该很小
北京科音自然科学研究中心http://www.keinsci.com)致力于计算化学的发展和传播,长期开办最高质量的各种计算化学类培训:初级量子化学培训班基础(中级)量子化学培训班分子动力学与GROMACS培训班量子化学波函数分析与Multiwfn程序培训班。这些培训是计算化学快速入门以及全面系统性提升研究水平的最佳途径,培训各种相关信息见《北京科音办的培训班FAQ》
欢迎加入“北京科音”微信公众号获取培训最新消息、避免错过网上最有价值的计算化学文章!
欢迎加入人气最高、水准最高的综合性理论与计算化学交流QQ群“思想家公社QQ群”:1号:18616395(已满),2号:466017436(已满),3号:764390338(可加)。合计8000人,讨论范畴相同
思想家公社的门口Blog:http://sobereva.com(发布大量原创计算化学相关博文)
Multiwfn主页:http://sobereva.com/multiwfn(最强大的量子化学波函数分析程序)
ResearchGate:https://www.researchgate.net/profile/Tian_Lu
Money and papers are rubbish, get a real life!

100

帖子

0

威望

306

eV
积分
406

Level 3 能力者

 楼主| 发表于 2020-11-5 06:40:01 | 显示全部楼层
sobereva 发表于 2020-10-29 13:09
就留一条你觉得没问题的内存,看看还有没有类似的变慢的现象。按说内存有问题的概率应该很小

内存已更换完成,经检测之前的报错问题已消除,但是计算变慢的问题还是存在,确实是很奇怪的。

也许是因为消费级固态硬盘在高负载读写之后性能损耗?

3万

帖子

25

威望

3万

eV
积分
66611

管理员

公社社长+计算化学玩家

发表于 2020-11-5 21:56:54 | 显示全部楼层
DoorBell 发表于 2020-11-5 06:40
内存已更换完成,经检测之前的报错问题已消除,但是计算变慢的问题还是存在,确实是很奇怪的。

也许是 ...

一般的DFT计算是不怎么读写硬盘的,如果这类计算也是这个问题,和硬盘不会有什么关系
北京科音自然科学研究中心http://www.keinsci.com)致力于计算化学的发展和传播,长期开办最高质量的各种计算化学类培训:初级量子化学培训班基础(中级)量子化学培训班分子动力学与GROMACS培训班量子化学波函数分析与Multiwfn程序培训班。这些培训是计算化学快速入门以及全面系统性提升研究水平的最佳途径,培训各种相关信息见《北京科音办的培训班FAQ》
欢迎加入“北京科音”微信公众号获取培训最新消息、避免错过网上最有价值的计算化学文章!
欢迎加入人气最高、水准最高的综合性理论与计算化学交流QQ群“思想家公社QQ群”:1号:18616395(已满),2号:466017436(已满),3号:764390338(可加)。合计8000人,讨论范畴相同
思想家公社的门口Blog:http://sobereva.com(发布大量原创计算化学相关博文)
Multiwfn主页:http://sobereva.com/multiwfn(最强大的量子化学波函数分析程序)
ResearchGate:https://www.researchgate.net/profile/Tian_Lu
Money and papers are rubbish, get a real life!

265

帖子

0

威望

2568

eV
积分
2833

Level 5 (御坂)

发表于 2020-11-5 22:03:29 | 显示全部楼层
机箱内变热所以cpu平均频率下降了吧?

335

帖子

1

威望

2925

eV
积分
3280

Level 5 (御坂)

发表于 2020-11-5 22:04:11 | 显示全部楼层
系统什么版本?据南大超算中心的老师测试,centos 7.6系统内核有bug,使用时间长了后性能会下降,7.8没有这个问题

100

帖子

0

威望

306

eV
积分
406

Level 3 能力者

 楼主| 发表于 2020-11-6 01:01:55 | 显示全部楼层
本帖最后由 DoorBell 于 2020-11-6 01:04 编辑
sobereva 发表于 2020-11-5 21:56
一般的DFT计算是不怎么读写硬盘的,如果这类计算也是这个问题,和硬盘不会有什么关系

DFT计算时间复现性还不错,但是CCSD(T)持续变慢QAQ

实在找不出问题在哪了,能想到的东西基本都试了,但是好像每次都是越弄越糟糕,内核都重新编译过也没啥变化...不知道是不是消费级固态硬盘随着TBW增加性能会不可逆下降?

另外的一个可能就是系统中断(怀疑是网卡,因为发现pip和yum都比较慢,即使换源了)导致的,但是这东西涉及太多内核的东西,搞不懂太难顶了。

另外CentOS好像在常见发行版中速度和性能上并不占优势主要是稳定?

100

帖子

0

威望

306

eV
积分
406

Level 3 能力者

 楼主| 发表于 2020-11-6 01:04:50 | 显示全部楼层
niobium 发表于 2020-11-5 22:04
系统什么版本?据南大超算中心的老师测试,centos 7.6系统内核有bug,使用时间长了后性能会下降,7.8没有这 ...
  1. [root@smp ~]# cat /etc/redhat-release
  2. CentOS Linux release 7.8.2003 (Core)
复制代码

100

帖子

0

威望

306

eV
积分
406

Level 3 能力者

 楼主| 发表于 2020-11-6 01:06:25 | 显示全部楼层
Jasminer 发表于 2020-11-5 22:03
机箱内变热所以cpu平均频率下降了吧?

CPU温度稳定55以下,不会降频吧

另外这个对比也不是两次连续计算对比,计算终止隔一段时间之后再重启计算一样变慢

100

帖子

0

威望

306

eV
积分
406

Level 3 能力者

 楼主| 发表于 2020-11-7 14:24:04 | 显示全部楼层
sobereva 发表于 2020-11-5 21:56
一般的DFT计算是不怎么读写硬盘的,如果这类计算也是这个问题,和硬盘不会有什么关系

另外就是powersave的电源模式会使得系统把中断全部放到CPU0上以尽量空闲其他CPU,理论上这样会使得性能不如performance的均摊中断到所有CPU上吧

3万

帖子

25

威望

3万

eV
积分
66611

管理员

公社社长+计算化学玩家

发表于 2020-11-8 19:17:22 | 显示全部楼层
DoorBell 发表于 2020-11-7 14:24
另外就是powersave的电源模式会使得系统把中断全部放到CPU0上以尽量空闲其他CPU,理论上这样会使得性能不 ...

没测试过。应该不会有什么影响

你那么怀疑硬盘的话,就把scratch目录放到别的硬盘上再试。或者用其它计算程序做CCSD(T)看有无类似现象
北京科音自然科学研究中心http://www.keinsci.com)致力于计算化学的发展和传播,长期开办最高质量的各种计算化学类培训:初级量子化学培训班基础(中级)量子化学培训班分子动力学与GROMACS培训班量子化学波函数分析与Multiwfn程序培训班。这些培训是计算化学快速入门以及全面系统性提升研究水平的最佳途径,培训各种相关信息见《北京科音办的培训班FAQ》
欢迎加入“北京科音”微信公众号获取培训最新消息、避免错过网上最有价值的计算化学文章!
欢迎加入人气最高、水准最高的综合性理论与计算化学交流QQ群“思想家公社QQ群”:1号:18616395(已满),2号:466017436(已满),3号:764390338(可加)。合计8000人,讨论范畴相同
思想家公社的门口Blog:http://sobereva.com(发布大量原创计算化学相关博文)
Multiwfn主页:http://sobereva.com/multiwfn(最强大的量子化学波函数分析程序)
ResearchGate:https://www.researchgate.net/profile/Tian_Lu
Money and papers are rubbish, get a real life!
您需要登录后才可以回帖 登录 | 现在注册!

本版积分规则

手机版|北京科音自然科学研究中心|京公网安备 11010502035419号|计算化学公社 — 北京科音旗下高水平计算化学交流论坛 ( 京ICP备14038949号-1 )

GMT+8, 2021-5-13 13:03 , Processed in 0.250973 second(s), 24 queries .

快速回复 返回顶部 返回列表