8375c的配置好，还是7T83的好？

hgyhgy · 发表于 Post on 2022-3-25 16:18:21

主要使用VASP. 8375c好像降价了，预算足够买4台，加一台i5作为登录节点和存储节点。预算不足够全部购买32G内存。因此两台32G，两台16G。千兆网连接。两台32G之间用ib线直连。两台16G的一样。采用56 的ib卡。
大家看看这样是否有问题？

另外也考虑7T83的机器。这个只足够买两台。还在考虑有什么便宜一点的，可以作为登录节点和存储节点。8375c会超预算。

是否可以考虑把版主推荐的
CPU：2* XEON Platinum 8175M正式版（24核2.5G，全核睿频到3.1G，散，无集显）2*4200
散热器：2* 金钱豹LGA3647 散热器  2*210
主板：永擎EP2C621D12 WS 3500
机械硬盘：希捷企业级银河Exos 4TB 256MB 7200rpm SATA3 (ST4000NM000A) 990
固态硬盘：三星PM981a 2TB 1500
内存：12* 三星DDR4-2666 ECC REG 16GB  12*450
电源：振华LEADEX HG 750W 820
机箱：追风者614PC 550
键盘鼠标：罗技MK200 多媒体套装  90
总价：约21700

作为登录节点和存储节点，也能用于计算？

abin · 发表于 Post on 2022-3-25 16:34:40

没有IB交换机，
可能用起来没有那么理想的。
配置稍微麻烦……

反正你的场景，基本写内存……

做成两套双节点集群……
共享数据，但是各自调度……

这种折腾的事情，还不如多花点钱，弄交换机方便。

biogon · 发表于 Post on 2022-3-25 19:17:30

都8375了，还是用100gib吧，单口的CX455A也就一千多

abin · 发表于 Post on 2022-3-25 19:58:03

对于小规模的集群，
网络更应该看重latency,
而非带宽。

对于vasp，经由MPI交换的数据包，
Package size不大，
但是交换频繁，
Latency主控数据交换的过程。

看参数，会发现，多年前的56Gpbs
和现在的200Gbps，没有达到两倍以上的差异。

VASP还好，几乎不写硬盘。
如果是ORCA,疯狂写内存和硬盘，
用56Gpbs就差不多了。
因为普通固态硬盘，
读写能做到7GB/s就很难了，
网络太快，读写依旧是短板，还是慢。

既然自己能把控硬件，
建议平衡各个组件的综合性能。

snljty · 发表于 Post on 2022-3-25 20:31:42

abin 发表于 2022-3-25 19:58
对于小规模的集群，
网络更应该看重latency,
而非带宽。

为什么卢老师之前测的ORCA做coupled cluster，http://sobereva.com/397，机械硬盘和NVMe固态计算时间并没有差别呢？

hgyhgy · 发表于 Post on 2022-3-25 22:02:10

abin 发表于 2022-3-25 16:34
没有IB交换机，
可能用起来没有那么理想的。
配置稍微麻烦……

后来注意到那个内存私自变成了2666，不是3200的。其实不足够资金买ib网卡和网线。这样就不得不去掉了ib网卡了。还是内存频率更重要。

abin · 发表于 Post on 2022-3-25 22:19:15

本帖最后由 abin 于 2022-3-25 22:20 编辑

snljty 发表于 2022-3-25 20:31
为什么卢老师之前测的ORCA做coupled cluster，http://sobereva.com/397，机械硬盘和NVMe固态计算时间并没 ...

单机单任务顺序读写,
与多任务随机并发读写的差异.

另
我一个跑ORCA计算, 读写走网络的机器读写数据.
      RX packets 175000698814  bytes 182708752502848 (166.1 TiB)
      RX errors 0  dropped 17079622  overruns 17079622  frame 0
      TX packets 269333283592  bytes 334041981532515 (303.8 TiB)

大概累计60天满负载.

snljty · 发表于 Post on 2022-3-25 22:24:40

abin 发表于 2022-3-25 22:19
单机单任务顺序读写,
与多任务随机并发读写的差异.

好的明白了，谢谢老师。

biogon · 发表于 Post on 2022-3-26 17:53:59

snljty 发表于 2022-3-25 20:31
为什么卢老师之前测的ORCA做coupled cluster，http://sobereva.com/397，机械硬盘和NVMe固态计算时间并没 ...

orca运行不需要那么高的连续读写速度

KiritsuguPapa · 发表于 Post on 2022-3-27 15:01:45

跑vasp不要用7t83 速度慢很多试过很多办法编译都不行

KiritsuguPapa · 发表于 Post on 2022-3-27 15:09:41

另外建议弄一台64Gx16，剩下的都用16Gx16，因为算vasp经常是如果256G内存不够用，那么512G也不会够用，最好还是搞个1T内存的节点。

KiritsuguPapa · 发表于 Post on 2022-3-27 15:14:08

主节点可以考虑用8175，支持avx512编译程序方便，如果用e5你还得去计算节点编译

hgyhgy · 发表于 Post on 2022-3-28 09:08:17

KiritsuguPapa 发表于 2022-3-27 15:09
另外建议弄一台64Gx16，剩下的都用16Gx16，因为算vasp经常是如果256G内存不够用，那么512G也不会够用，最好 ...

这个机器最多支持32G的吧？

如果你内存不够用，可以这样做：使用比节点数少的核心数，或者多节点并行计算（可以适当减少核心数）。

Vasp并行的过程中，内存数据并非只有一份的，多份拷贝就容易内存不足。比如你64个核，然后你只用32个核，每一个mpi能用的内存就多。

hgyhgy · 发表于 Post on 2022-3-28 09:11:19

KiritsuguPapa 发表于 2022-3-27 15:01
跑vasp不要用7t83 速度慢很多试过很多办法编译都不行

我看到有说法是vasp6.3才支持三代。但实际上并没后续说明，没说清楚用了vasp.3后，速度是否正常了。

但我也怀疑定制版，是否削减了某些方面，导致不太适合科学计算。7t83的频率和7663的相同，价格却相差那么多。

KingHPC · 发表于 Post on 2022-3-28 11:02:53

预算充足用7T83 其次用8375C

		自动登录 Automatic login	找回密码 Forget password
密码 Password			注册 Register

[配置讨论] 8375c的配置好，还是7T83的好？

评分 Rate