预算30-40万购买GPU服务器开展MD模拟应如何配置？

金水河的春天 · 发表于 Post on 2020-4-30 08:33:49

请教各位大神，课题组目前有30~40万预算扩充GPU服务器，根据学校政策肯定要招标，经销商报价大约是5-6万一台（主要配置要求是2块2080ti+ 2颗超过12核心的CPU），我们组主要用gromacs跑MD，通常同时跑多个体系，每个体系开展多条平行模拟，计算量很大。现在问题有几个：

1：GPU基本决定用2080ti，但是CPU用哪种呢？组内之前配了几台GPU服务器，GPU是1080ti，CPU是2696v3（18核心）或4669 v4（22核心）。现在升级GPU了，CPU需要换成新一代的CPU吗，或仍用老版本的CPU，有什么推荐吗，看到大家在其他帖子里推荐过8175M等，也看到大家讨论新一代CPU有时性能还不如之前的CPU，还请各位大佬提供宝贵意见。

2：30-40万可配6-8台服务器了，这么多服务器有必要组成集群吗？由于gromacs在多个GPU之间并行效率很低，我们都是1个GPU跑1个作业，同时在多个服务器开展多条模拟，这样似乎没必要组成集群。现在的体系大小也适合这么搞，1个GPU可以在可忍受时间内完成模拟任务。但也在其他帖子看到有人建议淘二手的IB交换机，搞一个集群。不知道GPU并行效率后面会不会有大的改进，这还是未知，值得期待吗，否则搞一个集群是不是没有意义呢。如果现在不组成集群，后面想要连接时可以再改造吗。

3. 拟用固态硬盘装软件，机械硬盘存MD数据，机械硬盘需要做RAID吗，推荐哪种RAID。

4. 下面附上经销商的配置，请各位大神看看如何。是不是内存条配的不对，应该保持和CPU通道数一致？还有其他要注意或更改的吗，谢谢！

2 X Intel Xeon CPU E5-2680v3/12C/24T/2.5GHz
或
2 X Intel Xeon CPU 4216/16C/32T/2.1GHz
或
2 X Intel Xeon CPU Glod 5220/18C/36T/2.2GHz
或
2 X Intel Xeon CPU Glod 5218/16C/32T/2.3GHz

2 X 32GB DDR4 2666MHz ECC Reg
1 X数据中心级SSD 480G
1 X 企业级 4TB SATA 7200RPM 3.5’’
2 X RTX2080Ti

fhh2626 · 发表于 Post on 2020-4-30 10:03:09

如果你跑平衡模拟的话GPU可以好点，如果需要做增强采样的话，CPU性能还是决速步，GPU倒是可以稍微省点

IB没有任何必要，你要想并行还不如配双路的GPU服务器

abin · 发表于 Post on 2020-4-30 10:25:13

本帖最后由 abin 于 2020-4-30 10:37 编辑

多节点并行没有必要。

建议采用“分布式存储”(专家术语)。
每台机器上，采用至少2个HDD做RAID0读写，如果性能要求更高，可以修改为一个NVME协议固态硬盘(温控好，不掉速的大概2400左右1TB)，或者两个NVME固态做RAID0。

建议组集群。
板载千兆连起来就行。
好处是，用户数据和软件数据都是唯一镜像，
使用方面，无需记录在哪一个机器运行计算。
只需要登陆一个服务器，提交计算，查看计算就可以。

CPU不太懂。
我用到的计算中，是CPU主频高算的快，其他应用场景不明确。
如果板载两个GPU卡，不做NVlink，还不如单CPU配单个GPU来的划算。

我同事有用Gromacs，测试发现，貌似采用i7配合一个2080Ti跑得挺快乐的。具体CPU型号没记住。
补充一下，我同事用GPU跑分子动力学，namd，发现，使用i7之类高主频，配合一个2080Ti，NVME高速硬盘，单机，算的非常快哦。
对比的是E5服务器配GPU卡。

abin · 发表于 Post on 2020-4-30 10:35:56

fhh2626 发表于 2020-4-30 10:03
如果你跑平衡模拟的话GPU可以好点，如果需要做增强采样的话，CPU性能还是决速步，GPU倒是可以稍微省点

I ...

IB网络那句，
我顺路提一下。

某些并行计算，如果读写配置不当，
会出现，一个主板上的两个CPU，跑不过两个节点，每一个节点都用一个CPU的情形。
我有遇到过。

测试服务器是，浪潮的。
双路机器，E5-2692 v2。板载SCSI磁盘，12krpm企业盘。
千兆交换机连接。存储采用RAID5阵列，有24个磁盘组成，走千兆网。

测试发现，
VASP 采用两个节点，每个节点调用一个cpu，计算快于使用一个节点上的两个CPU。
同时发现ADF也存在同样的效率问题。
未测试高斯，因为没有Linda授权。

至于IB网络，和普通的以太网是有区别。不仅仅是体现在带宽不同。
而是IB网络可以提供“和CPU直接通讯”级别的数据交换能力，
因而带来的读写性能提升，是十分明显的。

其实很多时候，限制计算效率的，最大的问题在I/O方面。
CPU，内存都很快了。磁盘是个问题。

常见的NVME磁盘，读写当然高，但那个测试是针对顺序读写的。
并行计算，要的是并发读写。

所以应该测试磁盘的随机读写性能。

以上言论，基于我个人的使用场景。
不代表适用于其他未测试的应用场景。
所以，仅供参考。

biogon · 发表于 Post on 2020-4-30 21:10:13

cpu可以不换，要换的话就用6254 8275CL这类高频的

sobereva · 发表于 Post on 2020-5-1 02:21:26

GPU加速的MD对CPU没那么敏感，稍微用个像样的CPU就已经饱和了，不要在这方面投入过多
看测试DOI: 10.1002/jcc.26011
花那么多钱在CPU上还不如多来几台节点

硬盘没必要Raid，在MD过程中硬盘I/O很不频繁，读写量也不大。用SSD也意义不大。

bobosiji · 发表于 Post on 2020-5-3 15:25:58

fhh2626 发表于 2020-4-30 10:03
如果你跑平衡模拟的话GPU可以好点，如果需要做增强采样的话，CPU性能还是决速步，GPU倒是可以稍微省点

I ...

“双路的GPU服务器” 是说一个节点上两张GPU卡？

bobosiji · 发表于 Post on 2020-5-3 15:35:25

sobereva 发表于 2020-5-1 02:21
GPU加速的MD对CPU没那么敏感，稍微用个像样的CPU就已经饱和了，不要在这方面投入过多
看测试DOI: 10.1002/ ...

“硬盘没必要Raid”，做raid能让数据更安全些不？比如一共6块硬盘，做raid后能用5块；但这6块里硬盘坏掉任意一块，数据都不受影响？

fhh2626 · 发表于 Post on 2020-5-4 12:03:51

bobosiji 发表于 2020-5-3 15:25
“双路的GPU服务器” 是说一个节点上两张GPU卡？

是的，infiniband光路由器就要三四万了，这些钱甚至都够买一个小节点了

sobereva · 发表于 Post on 2020-5-5 08:11:47

bobosiji 发表于 2020-5-3 15:35
“硬盘没必要Raid”，做raid能让数据更安全些不？比如一共6块硬盘，做raid后能用5块；但这6 ...

从数据安全性考虑可以做Raid
但企业级机械硬盘也没那么容易坏

bobosiji · 发表于 Post on 2020-5-5 15:32:00

fhh2626 发表于 2020-5-4 12:03
是的，infiniband光路由器就要三四万了，这些钱甚至都够买一个小节点了

一个节点配GPU的话，一般都是2张起步吧

除非节点上的CPU太挫

金水河的春天 · 发表于 Post on 2020-5-8 14:49:04

sobereva 发表于 2020-5-1 02:21
GPU加速的MD对CPU没那么敏感，稍微用个像样的CPU就已经饱和了，不要在这方面投入过多
看测试DOI: 10.1002/ ...

谢谢您！ cpu用5118如何，服务器cpu（长时间开启）是不是不太建议上i9？

sobereva · 发表于 Post on 2020-5-9 10:02:42

金水河的春天发表于 2020-5-8 14:49
谢谢您！ cpu用5118如何，服务器cpu（长时间开启）是不是不太建议上i9？

i9完全没问题。消费级CPU和XEON在稳定性上并没有区别
5118的性能没问题

金水河的春天 · 发表于 Post on 2020-5-19 16:06:59

sobereva 发表于 2020-5-9 10:02
i9完全没问题。消费级CPU和XEON在稳定性上并没有区别
5118的性能没问题

老师您好！现在经销商给我们报了个配置，是intel Xeon GOLD 6138/45系列，20核心， 2.0Ghz。价格很实惠，但我没有在英特尔的官网上找到，这个CPU是不是有什么问题？

金水河的春天 · 发表于 Post on 2020-5-19 16:07:26

bobosiji 发表于 2020-5-5 15:32
一个节点配GPU的话，一般都是2张起步吧除非节点上的CPU太挫

是的现在准备配两张cpu

		自动登录 Automatic login	找回密码 Forget password
密码 Password			注册 Register

[配置讨论] 预算30-40万购买GPU服务器开展MD模拟应如何配置？

硬盘没必要Raid