计算化学公社

标题: 内存调用 请勿超过实际内存容量 [打印本页]
作者
Author: abin    时间: 2020-4-26 21:50
标题: 内存调用 请勿超过实际内存容量
(, 下载次数 Times of downloads: 64) 内存占用情形


(, 下载次数 Times of downloads: 59)

CPU负载情形

这是一个实际发生的故事。

干活机器配置为24个物理核心，48GB内存。
做计算的同学，调用了24个物理核心，但是实际使用内存量，远大于48GB。

实际情况是，计算特别慢。

原因是，计算实际调用内存大于物理内存量，开始使用虚拟内存。

虚拟内存由普通机械硬盘负载，硬盘读写，当然没有内存块了，是慢很多倍的。

在计算过程中，虚拟内存和物理内存之间频繁交换数据，
由于虚拟内存慢，所以I/O wait偏高。

从负载图中可以看到，该计算在过去的24小时内，对于内存需求峰值约68GB。

推测，
如果在其他的内存在70GB以上的机器上，使用24核心计算，会快很多。
或者，在当前机器上，采用16核或者12核，可能算的比较快哦。

结论，计算中，调用内存量，请保持在实际内存容量的95%以下。
如果你的机器，在计算中还需要浏览器工作，还听歌之类的，请确保内存调用，不要高于实际容量上限的80%。
发现计算忽然慢时，请检查内存使用，有很多情形，都是内存不足造成的。

保守配置1个CPU核心4GB内存，可以应付大多数计算场景，比如DFT之类的计算。

作者
Author: abin    时间: 2020-4-27 23:35
高性价比解决大内存，
可以搞一搞NVME/SSD --> PCIe --> RAID0,
两个就够了，轻松搞出2TB级别的凑合用的”内存“。
配合稍微修改一下内存调用机制，效果更佳。
作者
Author: tiandikuoyuan    时间: 2020-5-20 19:07
swap不要设置的太大，像Gaussian内存不够直接就停了，你用虚拟内存实在太慢了
作者
Author: niobium    时间: 2020-5-20 19:29
24核配48G内存本来就很奇葩
作者
Author: abin    时间: 2020-5-20 23:22
本帖最后由 abin 于 2020-5-21 12:29 编辑
niobium 发表于 2020-5-20 19:29
24核配48G内存本来就很奇葩

不怎么奇葩。
示例中的机器，订购于六年前。
采用的是8通道模式，每条6GB内存，因而是48GB内存容量。-----------------------------------------------------------------------
更新， 划线那句有误。
机器支持8通道，
分两个批次供货，
第一批次，采用8x8GB, 内存64GB
第二批次，被更换为6x8GB, 内存是48GB。
从当时的供货票据上看，前后两个批次的机器，价格差距明显。


当年采用8x8GB, 价格还是挺高的呢。

作者
Author: biogon    时间: 2020-5-21 11:15
abin 发表于 2020-5-20 23:22
不怎么奇葩。
示例中的机器，订购于六年前。
采用的是8通道模式，每条6GB内存，因而是48GB内存容量。
...

6年前是四通道机器吧
作者
Author: abin    时间: 2020-5-21 12:14
biogon 发表于 2020-5-21 11:15
6年前是四通道机器吧

是啊  两个处理器。
作者
Author: abin    时间: 2020-5-21 12:32
biogon 发表于 2020-5-21 11:15
6年前是四通道机器吧

E5 v2处理器支持最高4个内存通道；支持一个主板最多两个处理器。

因而E5v2处理器，双路服务器，可以有高达8个内存通道。

机器上的处理器信息和内存信息如下：
Intel(R) Xeon(R) CPU E5-2692 v2 @ 2.20GHz
[root@cu10 ~]# cat /proc/cpuinfo | grep name | cut -f2 -d: | wc -l
24
[root@cu10 ~]# dmidecode |grep -A16 "Memory Device$" | grep 'Size: 8192 MB'  | wc -l
6
[root@cu10 ~]#



欢迎光临 计算化学公社 (http://bbs.keinsci.com/) Powered by Discuz! X3.3