10W+的VASP集群配置求建议

lvweiqiang111

10W+的VASP集群商家给的配置如下，平时估计会有3人+使用，后期应该还会加节点，各位老师和大牛能否从配置和价格方面给些建议，非常感谢！
1个管理兼存储节点可兼做计算（不含税1.3W）：
CPU        intel xeon E5-2678v3 正式版 12核24线程默频2.5GHz满载3.1GHz*2
散热器        酷冷至尊T400i*2
主板        超微x10drl-i
内存        三星原厂8G DDR4-2133 ECC REG*8
硬盘        三星SSD固态硬盘 M.2接口(NVMe协议)500GB
硬盘        希捷4T ST4000NM000A*3（可搭建raid阵列）
台达NX650W+冗余电源
4U刀片机箱



3个计算节点（不含税3.3W）：
CPU        Intel铂金8175M正式版 24核48线程，主频2.5GHz，满载3.1GHz*2，
散热器        猫头鹰3647定制散热*2
主板        华擎EP2D621D12WS
内存        三星原厂16G DDR4 2666 ECC REG*12
硬盘        三星SSD固态硬盘 M.2接口(NVMe协议)500GB
机箱        4U刀片机箱
电源        台达NX650W+冗余电源


网络（千兆，3000元）
山泽七类万兆网线（2米）        4
山泽七类万兆网线（5米）        1
TP-Link TL-SG1016DT 16口全千兆交换机        1
集群控制系统        1

标准机柜

合计11.3W（不含税）12.65W（含税）

liyuanhe211

个人感觉价格3W3的机器还是可以挤掉不少。

另外存储节点如果只用于存储，配置用不着这么高；如果又要用来做计算就又有些低（相对于其他机器），感觉有点尴尬。是我的话会要么给再弄高点儿，要么再弄低点儿。

不知道这个“集群控制系统”是指什么玩意儿，千兆16口也就是个几百块钱，网线几十块钱，不知道这3000从那儿来的。

sobereva

三万三明显太黑了

我博文里双路8173M才多少钱，更何况8175M还远比8173M便宜
计算化学购机配置推荐
http://sobereva.com/444
直接找博文里提到的商家，报价肯定比你的便宜

组装的服务器一台机子价钱应该多少，自行去淘宝搜一下各个散件加和便知，都不用在这里问

你列出的2678v3的机子价格更是离谱，价钱近乎翻了一倍，你看看上面我博文里同样CPU的机子才多少钱。随便去淘宝搜搜2678v3你也能知道基本行情是多少，比如https://item.taobao.com/item.htm?spm=a230r.1.14.91.5f9a19723WfRRq&id=530367237136&ns=1&abbucket=17#detail

PS：有一些无良商家把我博文里的推荐配置原封不动或者稍微变动一点然后就加价兜售给不懂行情的搞计算的人牟取暴利，在此顺便予以强烈谴责！（我就不具体点名了，哪家报的价我大概能猜到）
比如我博文里说的那种淘宝上的一般服务器商家，卖你一台机子估计也就赚个不到两千，而你找的那家，一台机子赚你六七千。

计算节点区区500GB也太寒碜了。现在固态那么便宜，直接上个1T，省得以后麻烦，要么加个2T的机械。

abin

要不你联系我，我给你一套集群方案。
目前的配置，不就是单节点计算嘛……

abin

[quote][url=forum.php?mod=redirect

如果是说四台机器，都配备IPMI管理，并调试完集群调度……算上材料和辛苦费，以及通过网络访问ipmi ，估计这些钱还不够。

lvweiqiang111

sobereva 发表于 2020-5-31 07:51
三万三明显太黑了

我博文里双路8173M才多少钱，更何况8175M还远比8173M便宜

我也是参考了您那个帖子，商家一般都声称要加税和服务费。我上TB查好像8173M要比8175M贵一点，算力两个U是不是差不多？计算节点按TB配2万5, 2678v3一颗600，登录节点挂了3个硬盘12T,按TB价将近1万。现在配置是把存储都放在了登录节点上，所以计算节点只有500G，是不是会不够用？配置您还有什么建议吗？价格我找商家谈或者换别家

lvweiqiang111

liyuanhe211 发表于 2020-5-31 04:38
个人感觉价格3W3的机器还是可以挤掉不少。

另外存储节点如果只用于存储，配置用不着这么高；如果又要用 ...

3W3的机子按TB算大概2W5，存储节点确实有点尴尬，低配您有什么建议的么？网络 这个价我查了确实离谱。我查了下万兆网这个价也应该能搞定。存储节点和计算节点间您觉得千兆网够用不？存储直接放到每个节点好还是集中到一个节点好？
集群控制系统我理解就是软件层面的东西，比如我知道的有开源的openHPC，节点调度和文件共享。

lvweiqiang111

abin 发表于 2020-5-31 08:25
要不你联系我，我给你一套集群方案。
目前的配置，不就是单节点计算嘛……

对，感觉上万兆并行估计效果也不行，干脆就千兆，组个集群便于管理使用和远程操作。

abin

lvweiqiang111 发表于 2020-5-31 09:08
对，感觉上万兆并行估计效果也不行，干脆就千兆，组个集群便于管理使用和远程操作。

部分资料显示，
VASP多节点并行效率堪忧。
结合实际情形，目前3个可用节点，大概3个人使用。
那就直接规划为一个VASP计算，占据一个机器上的两个CPU或者占据一个机器上的一个CPU。

万兆网路，能做到读写大概900MB/s（扣除网络损耗之后）。

既然是采用计算独占节点方式，
计算读写缓存可以采用 分布式存储，也就是每个机器上配置一个高速硬盘。
如果实际测试发现， 500MB/s读写和2BGB/s读写，对于运行3天左右的计算，时间影响小于5%，
可以考虑采用SATA接口硬盘直接SoftRAID 0， 可能要比直接采用高规格的三星固态更合算。

仅仅是做集群用户数据和软件镜像之用， 板载千兆够用。
不晓得你后续扩展会到多少台机器？
如果在8台左右，可以考虑采用其他400元左右的小型交换机。

所谓管理节点，
其实便宜的E3处理器，开启超线程都轻松搞定。
E3处理器可以采用廉价的PC主板，
如果SATA接口不够，可以采用二手的HBA卡，能挂载多个STAT机械盘。

建议，每一个计算节点，以及管理节点，额外采用一个120GB的低端固态硬盘或者更小的固态硬盘，
单独做系统。如果出现故障，直接更换硬盘，不会影响既有数据。
现在120GB SATA固态，大概120元不到，那种60GB左右的更便宜。

另外，处理器价格，我不买硬件不懂。
但是根据淘宝看到的信息，
价格十分低的，一般是拆机货。
同理，新的处理器，可能没有那么便宜。

最后补充一点，
如果有资料支持，对于VASP而言， 800MB/s的读写，和2GB/s的读写，对于计算速度影响不明显，
建议每台结算节点，只保留至少60GB磁盘做系统；而后配置万兆光纤，读写直接由登陆节点负载。

8口左右的万兆光纤交换机，4个光线模块和跳线，采用TPLink的全新品，大概2000人民币。
采用全新4端口光线交换机，配合拆机的intel之类的万兆网卡，大概也是2000人民币。
1个月前，我刚刚升级的万兆光纤网络，效果还行，价格可以接受。

abin

如果对方说openHPC，无非就是PBSPro而已。
PBSPro是Linux基金会主推的集群调度套件。
开源，但是技术支持，要么自己看手册跑论坛，要么购买付费技术支持。用起来挺好。
另一个开源的是，Slurm，记不清楚了，是某一实验室，为了自己的超算并结合实验室和课题组的应用场景，
开发的一套工具。

各有优劣，用起来都很灵活。

其他收费的就不提了。

abin

各位硬件达人，可否评价一下，
650W的电源，负载两颗高功耗的处理器，是否稳定？

我看这里提到采用4U机箱，是考虑后续加装GPU吗？ 电源有点不够用阿。

另外，配备的机柜，如果配置了PDU，而且还是标准机柜，那这个价格就不好评估了。
配置PDU的标准机柜，不便宜哦。 要问清楚呢。

abin

对了

如果是预算有限，标准机柜太贵，

反正是找个架子把机器放起来，然后购买插线板接上电源。

可以去五金材料市场，买那种可以自己拼装的货架角铁，
回来可以自行通过螺丝拼装，
很结实的。

我朋友买过，放机器不错的。
就是一旦放好了，就不要挪动了，因为下面没有轮子。

刘小英雄steven

各位老师，这个配置价位如何：英特尔铂金8275CL正式版双路，190+三星内存，500G固态，4T机械，加上电源风扇机箱主板。税后34300。PS图片上应该是单颗24核，没改

lvweiqiang111

abin 发表于 2020-5-31 09:47
部分资料显示，
VASP多节点并行效率堪忧。
结合实际情形，目前3个可用节点，大概3个人使用。

非常感谢这么专业详细的解答

lvweiqiang111

abin 发表于 2020-5-31 09:58
各位硬件达人，可否评价一下，
650W的电源，负载两颗高功耗的处理器，是否稳定？

是啊，我也关心650W能否带的动