计算化学公社

 找回密码 Forget password
 注册 Register
Views: 3656|回复 Reply: 8
打印 Print 上一主题 Last thread 下一主题 Next thread

[并行运算] 内存调用 请勿超过实际内存容量

[复制链接 Copy URL]

2302

帖子

1

威望

5481

eV
积分
7803

Level 6 (一方通行)

内存占用情形




CPU负载情形

这是一个实际发生的故事。

干活机器配置为24个物理核心,48GB内存。
做计算的同学,调用了24个物理核心,但是实际使用内存量,远大于48GB。

实际情况是,计算特别慢。

原因是,计算实际调用内存大于物理内存量,开始使用虚拟内存。

虚拟内存由普通机械硬盘负载,硬盘读写,当然没有内存块了,是慢很多倍的。

在计算过程中,虚拟内存和物理内存之间频繁交换数据,
由于虚拟内存慢,所以I/O wait偏高。

从负载图中可以看到,该计算在过去的24小时内,对于内存需求峰值约68GB。

推测,
如果在其他的内存在70GB以上的机器上,使用24核心计算,会快很多。
或者,在当前机器上,采用16核或者12核,可能算的比较快哦。

结论,计算中,调用内存量,请保持在实际内存容量的95%以下。
如果你的机器,在计算中还需要浏览器工作,还听歌之类的,请确保内存调用,不要高于实际容量上限的80%。
发现计算忽然慢时,请检查内存使用,有很多情形,都是内存不足造成的。

保守配置1个CPU核心4GB内存,可以应付大多数计算场景,比如DFT之类的计算。

High-Performance Computing for You
为您专属定制的高性能计算解决方案

更多讯息,请访问:
https://labitc.top
http://tophpc.top:8080
电邮: ask@hpc4you.top

2302

帖子

1

威望

5481

eV
积分
7803

Level 6 (一方通行)

2#
 楼主 Author| 发表于 Post on 2020-4-27 23:35:55 | 只看该作者 Only view this author
高性价比解决大内存,
可以搞一搞NVME/SSD --> PCIe --> RAID0,
两个就够了,轻松搞出2TB级别的凑合用的”内存“。
配合稍微修改一下内存调用机制,效果更佳。
High-Performance Computing for You
为您专属定制的高性能计算解决方案

更多讯息,请访问:
https://labitc.top
http://tophpc.top:8080
电邮: ask@hpc4you.top

195

帖子

0

威望

4035

eV
积分
4230

Level 6 (一方通行)

3#
发表于 Post on 2020-5-20 19:07:50 | 只看该作者 Only view this author
swap不要设置的太大,像Gaussian内存不够直接就停了,你用虚拟内存实在太慢了

516

帖子

1

威望

5058

eV
积分
5594

Level 6 (一方通行)

4#
发表于 Post on 2020-5-20 19:29:57 | 只看该作者 Only view this author
24核配48G内存本来就很奇葩

2302

帖子

1

威望

5481

eV
积分
7803

Level 6 (一方通行)

5#
 楼主 Author| 发表于 Post on 2020-5-20 23:22:46 | 只看该作者 Only view this author
本帖最后由 abin 于 2020-5-21 12:29 编辑
niobium 发表于 2020-5-20 19:29
24核配48G内存本来就很奇葩

不怎么奇葩。
示例中的机器,订购于六年前。
采用的是8通道模式,每条6GB内存,因而是48GB内存容量。-----------------------------------------------------------------------
更新, 划线那句有误。
机器支持8通道,
分两个批次供货,
第一批次,采用8x8GB, 内存64GB
第二批次,被更换为6x8GB, 内存是48GB。
从当时的供货票据上看,前后两个批次的机器,价格差距明显。


当年采用8x8GB, 价格还是挺高的呢。

High-Performance Computing for You
为您专属定制的高性能计算解决方案

更多讯息,请访问:
https://labitc.top
http://tophpc.top:8080
电邮: ask@hpc4you.top

1237

帖子

1

威望

3499

eV
积分
4756

Level 6 (一方通行)

6#
发表于 Post on 2020-5-21 11:15:05 | 只看该作者 Only view this author
abin 发表于 2020-5-20 23:22
不怎么奇葩。
示例中的机器,订购于六年前。
采用的是8通道模式,每条6GB内存,因而是48GB内存容量。
...

6年前是四通道机器吧

2302

帖子

1

威望

5481

eV
积分
7803

Level 6 (一方通行)

7#
 楼主 Author| 发表于 Post on 2020-5-21 12:14:14 | 只看该作者 Only view this author
biogon 发表于 2020-5-21 11:15
6年前是四通道机器吧

是啊  两个处理器。
High-Performance Computing for You
为您专属定制的高性能计算解决方案

更多讯息,请访问:
https://labitc.top
http://tophpc.top:8080
电邮: ask@hpc4you.top

2302

帖子

1

威望

5481

eV
积分
7803

Level 6 (一方通行)

8#
 楼主 Author| 发表于 Post on 2020-5-21 12:32:54 | 只看该作者 Only view this author
biogon 发表于 2020-5-21 11:15
6年前是四通道机器吧

E5 v2处理器支持最高4个内存通道;支持一个主板最多两个处理器。

因而E5v2处理器,双路服务器,可以有高达8个内存通道。

机器上的处理器信息和内存信息如下:
Intel(R) Xeon(R) CPU E5-2692 v2 @ 2.20GHz
[root@cu10 ~]# cat /proc/cpuinfo | grep name | cut -f2 -d: | wc -l
24
[root@cu10 ~]# dmidecode |grep -A16 "Memory Device$" | grep 'Size: 8192 MB'  | wc -l
6
[root@cu10 ~]#
High-Performance Computing for You
为您专属定制的高性能计算解决方案

更多讯息,请访问:
https://labitc.top
http://tophpc.top:8080
电邮: ask@hpc4you.top

本版积分规则 Credits rule

手机版 Mobile version|北京科音自然科学研究中心 Beijing Kein Research Center for Natural Sciences|京公网安备 11010502035419号|计算化学公社 — 北京科音旗下高水平计算化学交流论坛 ( 京ICP备14038949号-1 )|网站地图

GMT+8, 2024-11-27 10:55 , Processed in 0.469070 second(s), 23 queries , Gzip On.

快速回复 返回顶部 返回列表 Return to list