计算化学公社

标题: 塔式机提交多个作业效率骤降，怎么办？ [打印本页]

作者
Author: 九月九 时间: 2023-8-11 10:56
标题: 塔式机提交多个作业效率骤降，怎么办？
各位老师好，我按照下面的配置自购了一台塔式服务器：
[color=rgba(0, 0, 0, 0.65)]CPU：2 颗 Intel 8373C 正式版 36 核 72 线程 2.6-3.5GHz
[color=rgba(0, 0, 0, 0.65)]散热：4189 定制风扇
[color=rgba(0, 0, 0, 0.65)]主板：超微 X12-DPI-N6
[color=rgba(0, 0, 0, 0.65)]内存：三星原厂 REG ECC 256GB 2666MHz
[color=rgba(0, 0, 0, 0.65)]硬盘：三星 M.2 NVME 500GB 固态系统盘、希捷 4T ST4000NM000A 企业级存储盘
[color=rgba(0, 0, 0, 0.65)]电源：长城 1650W
[color=rgba(0, 0, 0, 0.65)]机箱：追风者 614pc
[color=rgba(0, 0, 0, 0.65)]

自己安装了slurm调度系统，按照http://bbs.keinsci.com/thread-32750-1-1.html配置。
经过计算测试发现两个问题：
1.核数跑满的效率并不是最好。比如Gaussian作业，经测试54核最快，再增加核数速度变慢。
2.不适合同时计算多个作业。比如同时提交2个作业会使每个作业的效率都降低一半。
请问是否有改进方法呢，谢谢！

作者
Author: 乐平 时间: 2023-8-11 11:18
一台机器当然不适合同时跑多个计算任务，这就是作业调度系统的作用，给任务排队，一个跑完再跑下一个。

作者
Author: 二十一 时间: 2023-8-11 11:20
1. 核数跑满当然效率不是很高，而且长期跑满会损伤CPU。另外大兄弟，36核的机器怎么测试出来54核效率最高。你的意思时54线程最快吗？我没做过相关测试，按理说线程越多运行速度越快，我的36核72线程的机器我算高斯都用70线程。
2. 同时多个作业算是超负荷运行，如果运行2个任务各35线程应该跟运行1个任务70线程是一样的。如果你的同时运行2个任务各70线程，这样超负荷运行效率当然会降低。

改进：对于算高斯来说，可以使用连续运行脚本，一个任务跑完接续着跑下一个任务。

另外我有一个问题：算高斯，计算速度除与运行线程数有关，跟内存设置有关系吗？

作者
Author: 乐平 时间: 2023-8-11 11:24

二十一发表于 2023-8-11 11:20
1. 核数跑满当然效率不是很高，而且长期跑满会损伤CPU。另外大兄弟，36核的机器怎么测试出来54核效率最高。 ...

他是 2 颗 36核 CPU，所以总共的物理核心数是 2 x 36 = 72 核

作者
Author: fineren 时间: 2023-8-11 12:00
我觉得速度变慢是机械硬盘导致的，我最近做freq，由于500G SSD空间不够，临时数据换在机械硬盘，结果用时多了不止一倍

作者
Author: abin 时间: 2023-8-11 12:51
那个配置仅仅是个演示,

要在生产环境使用, 缺少cgroup等资源管控限定.

缺少资源管控限定的调度系统, 基本是扯淡的玩意儿.

作者
Author: fennudepenpen 时间: 2023-8-11 14:32

二十一发表于 2023-8-11 11:20
1. 核数跑满当然效率不是很高，而且长期跑满会损伤CPU。另外大兄弟，36核的机器怎么测试出来54核效率最高。 ...

长期跑满会损伤CPU这个结论是怎么来的啊，如果在散热强力不超过80度的前提下

作者
Author: llity 时间: 2023-8-11 15:40
看看io吞吐量吧，一般要组磁盘阵列

作者
Author: 九月九 时间: 2023-8-12 07:48
看起来说法很多，我再测试看看，谢谢大家！

作者
Author: AaronO_o 时间: 2023-8-13 11:49
双路跨CPU的I/O效率远低于CPU内I/O，因此双路跑任务、应注意每个任务与独立一个CPU绑定；考虑到HT对计算任务可能不带来显著的优势，通常也应注意每个任务的进程数不应超过单路CPU的物理核心数，并尽量将每个进程绑定到一个物理核心上/或者关闭超线程，以避免两个进程同时调度至一个物理核心上；

同时跑多个任务是可行的，但是一定要注意负载分配。此外考虑到并行效率问题，对于良好绑定计算资源的情况，两个基本一致负载量的任务各16c同时运行，理论上运行效率会略高于两个任务分别先后用32c去跑；

作者
Author: QieMinmin 时间: 2025-12-26 11:50
我也遇到了同样的问题，我是单路金牌5220R cpu,共24核心48线程，我一般是一个任务用8线程去跑，一次可以跑6个任务，但是我只单独跑一个8线程的任务时，速度还可以，当同时跑6个8线程的任务时，速度就会下降快，相当于原来单任务的1/5的速度，各位大佬，这是什么原因呢，有无方法来解决你呢，感谢感谢。

作者
Author: tonganlhy 时间: 2025-12-26 13:03

QieMinmin 发表于 2025-12-26 11:50
我也遇到了同样的问题，我是单路金牌5220R cpu,共24核心48线程，我一般是一个任务用8线程去跑，一次可以跑6 ...

绑核啊，把任务绑在核上，numa也设置一下，尽可能靠近。

欢迎光临计算化学公社 (http://bbs.keinsci.com/)