求助：8173M 机器计算速度再次异常大幅下降

seabiscuit

大家好，昨天遇到了一些计算速度的问题，在这里跟大家讨论，经过各大佬的指点，得到了解决
详情见：http://bbs.keinsci.com/thread-17726-1-1.html

但是，今天又出现了一个令人奇怪性能大幅下降问题，感觉有点头晕

情况是这样，我今天在node01这个节点上做几个Lammps LJ体系并行的测试，然后同时跑了两个28核的任务，

刚开始都很正常，两个任务跑1000步的时间大约45.7s左右。

然后，我把这两个任务取消了，过了一会儿，我重新提交了这个两个任务，奇怪的发现计算速度变得非常的慢

两个任务跑1000步的时间大约842.5s左右。下降了又小18倍了。然后我把机器重启了，依然是这样

我用昨天reax体系测试，也是相同的情况由正常的8.8s变成了319.5s左右。

整个测试过程，未作任何的硬件修改，甚至都没有去碰机器。

然后从CPU温度来看，速度变慢以后比原来正常时有3-5°的下降。

dingniu2

abin 发表于 2020-6-2 23:50
你自己理解一下：
       -m, --vm N
              spawn N workers spinning on malloc()/free()

感谢，已理解。

abin

dingniu2 发表于 2020-6-2 23:36
你好，请问加入想测试服务器共有96G内存，用这个命令如何侧满96G，是stress -c 112 -i 112 -m 112 --vm-b ...

你自己理解一下：
       -m, --vm N
              spawn N workers spinning on malloc()/free()

       --vm-bytes B
              malloc B bytes per vm worker (default is 256MB)

man stress for more info.

dingniu2

abin 发表于 2020-5-31 23:53
修改参数，再次测试。

-c 112 -i 112 -m 112

你好，请问加入想测试服务器共有96G内存，用这个命令如何侧满96G，是stress -c 112 -i 112 -m 112 --vm-bytes 96G -t 1h吗？谢谢！

seabiscuit

abin 发表于 2020-6-2 09:49
听了半天，感觉像是买了一辆泡水车，
市区代步还凑合，上了高速就歇菜了。

是啊，还好当时是找的本地的供应商拿的货，尾款还没有付，人家为了这尾款肯定也是会积极处理，不过也是感觉很闹心了。

abin

听了半天，感觉像是买了一辆泡水车，
市区代步还凑合，上了高速就歇菜了。

这种事情真闹心啊。
本地能上门解决就好了， 要不然这种扯皮的事情，太浪费精力了。

shalene

seabiscuit 发表于 2020-6-1 12:40
这样啊，请问你们是通过怎样的测试排查到这个问题的？是坏了一根？换掉就OK了？

重启，发现内存容量小了。换掉就行了

biogon

seabiscuit 发表于 2020-6-1 12:37
是的，这次这个西数的硬盘测试速度真的不给力，不知道为什么，我用下面的命令做了测试

sysbench --tes ...

这个该不会是板子有问题吧

seabiscuit

shalene 发表于 2020-6-1 12:00
我也是新手。前几天淘宝买的山寨内存坏了一根，然后就各种慢，现象和你描述的非常类似

这样啊，请问你们是通过怎样的测试排查到这个问题的？是坏了一根？换掉就OK了？

seabiscuit

biogon 发表于 2020-6-1 11:23
不过sata的西数蓝盘应该没那么多毛病的，我们买了两个2TB的拿来热插拔转移数据用的，跑高斯在上面读取速 ...

是的，这次这个西数的硬盘测试速度真的不给力，不知道为什么，我用下面的命令做了测试

sysbench --test=fileio --num-threads=16 --file-total-size=3G --file-test-mode=rndrw prepare
sysbench --test=fileio --num-threads=16 --file-total-size=3G --file-test-mode=rndrw run

sysbench --test=fileio --num-threads=16 --file-total-size=3G --file-test-mode=rndrw cleanup

然后发现node01在/home/iamcms（HDD）目录下读写速度奇慢，而node02在/home/iamcms（HDD）目录下速度正常，node02在/root (SDD)目录下读写速度与/home/iamcms（HDD）基本相近。

以下速度分别为node01@/home/iamcms  node02@/home/iamcms node02@root

shalene

seabiscuit 发表于 2020-5-31 23:38
感谢大佬提点，之前还一直把关注点放在CPU上面了，下面测试的结果是不是可能指向内存导致的IO问题？

我也是新手。前几天淘宝买的山寨内存坏了一根，然后就各种慢，现象和你描述的非常类似

biogon

seabiscuit 发表于 2020-6-1 10:13
不跟大家讨论，还真不知道有这么多坑。之前之所以选sata接口，是感觉换硬盘什么的会比较方便，直接插 ...

不过sata的西数蓝盘应该没那么多毛病的，我们买了两个2TB的拿来热插拔转移数据用的，跑高斯在上面读取速度也能达到300mB/s以上，所以这就让人感觉很奇怪

abin

seabiscuit 发表于 2020-6-1 10:13
不跟大家讨论，还真不知道有这么多坑。之前之所以选sata接口，是感觉换硬盘什么的会比较方便，直接插 ...

SATA接口HDD，便宜又耐用。
softRAID基本可以满足需求了。

seabiscuit

abin 发表于 2020-6-1 07:30
SATA接口的固态硬盘，坑特别多的。
在实际使用上，还不如HDD RAID 0效果好。

不跟大家讨论，还真不知道有这么多坑。之前之所以选sata接口，是感觉换硬盘什么的会比较方便，直接插拔就完事了。

biogon

seabiscuit 发表于 2020-6-1 01:56
我用“dd if=/dev/zero of=test bs=64k count=4k oflag=dsync” 命令分别在node01和node02, node03上进行 ...

让卖家换个硬盘来看看