计算化学公社

标题: 10W+的VASP集群配置求建议 [打印本页]

作者
Author: lvweiqiang111 时间: 2020-5-31 03:20
标题: 10W+的VASP集群配置求建议
10W+的VASP集群商家给的配置如下，平时估计会有3人+使用，后期应该还会加节点，各位老师和大牛能否从配置和价格方面给些建议，非常感谢！
1个管理兼存储节点可兼做计算（不含税1.3W）：
CPU intel xeon E5-2678v3 正式版 12核24线程默频2.5GHz满载3.1GHz*2
散热器酷冷至尊T400i*2
主板超微x10drl-i
内存三星原厂8G DDR4-2133 ECC REG*8
硬盘三星SSD固态硬盘 M.2接口(NVMe协议)500GB
硬盘希捷4T ST4000NM000A*3（可搭建raid阵列）
台达NX650W+冗余电源
4U刀片机箱

3个计算节点（不含税3.3W）：
CPU Intel铂金8175M正式版 24核48线程，主频2.5GHz，满载3.1GHz*2，
散热器猫头鹰3647定制散热*2
主板华擎EP2D621D12WS
内存三星原厂16G DDR4 2666 ECC REG*12
硬盘三星SSD固态硬盘 M.2接口(NVMe协议)500GB
机箱 4U刀片机箱
电源台达NX650W+冗余电源

网络（千兆，3000元）
山泽七类万兆网线（2米） 4
山泽七类万兆网线（5米） 1
TP-Link TL-SG1016DT 16口全千兆交换机 1
集群控制系统 1

标准机柜

合计11.3W（不含税）12.65W（含税）

作者
Author: liyuanhe211 时间: 2020-5-31 04:38
本帖最后由 liyuanhe211 于 2020-5-31 04:40 编辑

个人感觉价格3W3的机器还是可以挤掉不少。

另外存储节点如果只用于存储，配置用不着这么高；如果又要用来做计算就又有些低（相对于其他机器），感觉有点尴尬。是我的话会要么给再弄高点儿，要么再弄低点儿。

不知道这个“集群控制系统”是指什么玩意儿，千兆16口也就是个几百块钱，网线几十块钱，不知道这3000从那儿来的。

作者
Author: sobereva 时间: 2020-5-31 07:51
三万三明显太黑了

我博文里双路8173M才多少钱，更何况8175M还远比8173M便宜
计算化学购机配置推荐
http://sobereva.com/444
直接找博文里提到的商家，报价肯定比你的便宜

组装的服务器一台机子价钱应该多少，自行去淘宝搜一下各个散件加和便知，都不用在这里问

你列出的2678v3的机子价格更是离谱，价钱近乎翻了一倍，你看看上面我博文里同样CPU的机子才多少钱。随便去淘宝搜搜2678v3你也能知道基本行情是多少，比如https://item.taobao.com/item.htm?spm=a230r.1.14.91.5f9a19723WfRRq&id=530367237136&ns=1&abbucket=17#detail

PS：有一些无良商家把我博文里的推荐配置原封不动或者稍微变动一点然后就加价兜售给不懂行情的搞计算的人牟取暴利，在此顺便予以强烈谴责！（我就不具体点名了，哪家报的价我大概能猜到）
比如我博文里说的那种淘宝上的一般服务器商家，卖你一台机子估计也就赚个不到两千，而你找的那家，一台机子赚你六七千。

计算节点区区500GB也太寒碜了。现在固态那么便宜，直接上个1T，省得以后麻烦，要么加个2T的机械。

作者
Author: abin 时间: 2020-5-31 08:25
要不你联系我，我给你一套集群方案。
目前的配置，不就是单节点计算嘛……

作者
Author: abin 时间: 2020-5-31 08:46
[quote][url=forum.php?mod=redirect

如果是说四台机器，都配备IPMI管理，并调试完集群调度……算上材料和辛苦费，以及通过网络访问ipmi ，估计这些钱还不够。

作者
Author: lvweiqiang111 时间: 2020-5-31 08:55

sobereva 发表于 2020-5-31 07:51
三万三明显太黑了

我博文里双路8173M才多少钱，更何况8175M还远比8173M便宜

我也是参考了您那个帖子，商家一般都声称要加税和服务费。我上TB查好像8173M要比8175M贵一点，算力两个U是不是差不多？计算节点按TB配2万5, 2678v3一颗600，登录节点挂了3个硬盘12T,按TB价将近1万。现在配置是把存储都放在了登录节点上，所以计算节点只有500G，是不是会不够用？配置您还有什么建议吗？价格我找商家谈或者换别家

作者
Author: lvweiqiang111 时间: 2020-5-31 09:05

liyuanhe211 发表于 2020-5-31 04:38
个人感觉价格3W3的机器还是可以挤掉不少。

另外存储节点如果只用于存储，配置用不着这么高；如果又要用 ...

3W3的机子按TB算大概2W5，存储节点确实有点尴尬，低配您有什么建议的么？网络这个价我查了确实离谱。我查了下万兆网这个价也应该能搞定。存储节点和计算节点间您觉得千兆网够用不？存储直接放到每个节点好还是集中到一个节点好？
集群控制系统我理解就是软件层面的东西，比如我知道的有开源的openHPC，节点调度和文件共享。

作者
Author: lvweiqiang111 时间: 2020-5-31 09:08

abin 发表于 2020-5-31 08:25
要不你联系我，我给你一套集群方案。
目前的配置，不就是单节点计算嘛……

对，感觉上万兆并行估计效果也不行，干脆就千兆，组个集群便于管理使用和远程操作。

作者
Author: abin 时间: 2020-5-31 09:47

lvweiqiang111 发表于 2020-5-31 09:08
对，感觉上万兆并行估计效果也不行，干脆就千兆，组个集群便于管理使用和远程操作。

部分资料显示，
VASP多节点并行效率堪忧。
结合实际情形，目前3个可用节点，大概3个人使用。
那就直接规划为一个VASP计算，占据一个机器上的两个CPU或者占据一个机器上的一个CPU。

万兆网路，能做到读写大概900MB/s（扣除网络损耗之后）。

既然是采用计算独占节点方式，
计算读写缓存可以采用分布式存储，也就是每个机器上配置一个高速硬盘。
如果实际测试发现， 500MB/s读写和2BGB/s读写，对于运行3天左右的计算，时间影响小于5%，
可以考虑采用SATA接口硬盘直接SoftRAID 0，可能要比直接采用高规格的三星固态更合算。

仅仅是做集群用户数据和软件镜像之用，板载千兆够用。
不晓得你后续扩展会到多少台机器？
如果在8台左右，可以考虑采用其他400元左右的小型交换机。

所谓管理节点，
其实便宜的E3处理器，开启超线程都轻松搞定。
E3处理器可以采用廉价的PC主板，
如果SATA接口不够，可以采用二手的HBA卡，能挂载多个STAT机械盘。

建议，每一个计算节点，以及管理节点，额外采用一个120GB的低端固态硬盘或者更小的固态硬盘，
单独做系统。如果出现故障，直接更换硬盘，不会影响既有数据。
现在120GB SATA固态，大概120元不到，那种60GB左右的更便宜。

另外，处理器价格，我不买硬件不懂。
但是根据淘宝看到的信息，
价格十分低的，一般是拆机货。
同理，新的处理器，可能没有那么便宜。

最后补充一点，
如果有资料支持，对于VASP而言， 800MB/s的读写，和2GB/s的读写，对于计算速度影响不明显，
建议每台结算节点，只保留至少60GB磁盘做系统；而后配置万兆光纤，读写直接由登陆节点负载。

8口左右的万兆光纤交换机，4个光线模块和跳线，采用TPLink的全新品，大概2000人民币。
采用全新4端口光线交换机，配合拆机的intel之类的万兆网卡，大概也是2000人民币。
1个月前，我刚刚升级的万兆光纤网络，效果还行，价格可以接受。

作者
Author: abin 时间: 2020-5-31 09:51
如果对方说openHPC，无非就是PBSPro而已。
PBSPro是Linux基金会主推的集群调度套件。
开源，但是技术支持，要么自己看手册跑论坛，要么购买付费技术支持。用起来挺好。
另一个开源的是，Slurm，记不清楚了，是某一实验室，为了自己的超算并结合实验室和课题组的应用场景，
开发的一套工具。

各有优劣，用起来都很灵活。

其他收费的就不提了。

作者
Author: abin 时间: 2020-5-31 09:58
各位硬件达人，可否评价一下，
650W的电源，负载两颗高功耗的处理器，是否稳定？

我看这里提到采用4U机箱，是考虑后续加装GPU吗？电源有点不够用阿。

另外，配备的机柜，如果配置了PDU，而且还是标准机柜，那这个价格就不好评估了。
配置PDU的标准机柜，不便宜哦。要问清楚呢。

作者
Author: abin 时间: 2020-5-31 10:07
对了

如果是预算有限，标准机柜太贵，

反正是找个架子把机器放起来，然后购买插线板接上电源。

可以去五金材料市场，买那种可以自己拼装的货架角铁，
回来可以自行通过螺丝拼装，
很结实的。

我朋友买过，放机器不错的。
就是一旦放好了，就不要挪动了，因为下面没有轮子。

作者
Author: 刘小英雄steven 时间: 2020-5-31 10:18
各位老师，这个配置价位如何：英特尔铂金8275CL正式版双路，190+三星内存，500G固态，4T机械，加上电源风扇机箱主板。税后34300。PS图片上应该是单颗24核，没改

作者
Author: lvweiqiang111 时间: 2020-5-31 12:08

abin 发表于 2020-5-31 09:47
部分资料显示，
VASP多节点并行效率堪忧。
结合实际情形，目前3个可用节点，大概3个人使用。

非常感谢这么专业详细的解答

作者
Author: lvweiqiang111 时间: 2020-5-31 12:36

abin 发表于 2020-5-31 09:58
各位硬件达人，可否评价一下，
650W的电源，负载两颗高功耗的处理器，是否稳定？

是啊，我也关心650W能否带的动

作者
Author: monoyu 时间: 2020-5-31 16:00

刘小英雄steven 发表于 2020-5-31 10:18
各位老师，这个配置价位如何：英特尔铂金8275CL正式版双路，190+三星内存，500G固态，4T机械，加上电源风扇 ...

含税差不太多

作者
Author: sobereva 时间: 2020-5-31 21:07

lvweiqiang111 发表于 2020-5-31 08:55
我也是参考了您那个帖子，商家一般都声称要加税和服务费。我上TB查好像8173M要比8175M贵一点，算力两个U ...

加不加税是自己开不开票决定的
“服务费”过于含糊，我不认为有什么服务费需要一台机子比别家多出五千块钱来。不单独要所谓服务费的商家照样提供硬件质保。
才3+个人用，区区三个节点，只要在使用方面打好招呼，都没多大必要特意搞个管理、储存节点
机械硬盘也没几个钱，不弄单独的储存节点的话，还不如每台机子加个2或3T的机械硬盘，用着舒坦得多。

650W带两颗高功耗XEON CPU没压力，至于如果以后要加GPU的话需要千瓦级的

作者
Author: sobereva 时间: 2020-5-31 21:09

刘小英雄steven 发表于 2020-5-31 10:18
各位老师，这个配置价位如何：英特尔铂金8275CL正式版双路，190+三星内存，500G固态，4T机械，加上电源风扇 ...

同一问题不要24小时在群里和论坛里同时问。群里已经回复过了。没有大问题

作者
Author: ylbt1989 时间: 2020-6-1 10:47

sobereva 发表于 2020-5-31 07:51
三万三明显太黑了

我博文里双路8173M才多少钱，更何况8175M还远比8173M便宜

应该是跟我报价的是一家给我8173M的报价是3万7不含税。。。

作者
Author: ylbt1989 时间: 2020-6-1 10:48

lvweiqiang111 发表于 2020-5-31 08:55
我也是参考了您那个帖子，商家一般都声称要加税和服务费。我上TB查好像8173M要比8175M贵一点，算力两个U ...

咱俩应该是一家，你找的这个是最近公众号比较多的哪家么？

作者
Author: sobereva 时间: 2020-6-1 14:26

ylbt1989 发表于 2020-6-1 10:47
应该是跟我报价的是一家给我8173M的报价是3万7不含税。。。

利用信息不对称，从科研工作者处牟取暴利，我强烈鄙视这种公司。我也希望能有更多人看到http://sobereva.com/444博文，了解真实价格，减少上当的可能。

作者
Author: monoyu 时间: 2020-6-1 23:11

ylbt1989 发表于 2020-6-1 10:47
应该是跟我报价的是一家给我8173M的报价是3万7不含税。。。

8173M正式都有8000的货了，整机压到27000（不含税）也是可能且合理的。

作者
Author: 刘小英雄steven 时间: 2020-6-2 09:10

sobereva 发表于 2020-5-31 21:09
同一问题不要24小时在群里和论坛里同时问。群里已经回复过了。没有大问题

好的社长

作者
Author: 刘小英雄steven 时间: 2020-6-2 09:11

ylbt1989 发表于 2020-6-1 10:48
咱俩应该是一家，你找的这个是最近公众号比较多的哪家么？

VA****T那个吗？

作者
Author: ylbt1989 时间: 2020-6-2 10:06

刘小英雄steven 发表于 2020-6-2 09:11
VA****T那个吗？

是不过包含服务，但是我觉着单台将近一万的硬件差价，我们要买四台竟然每台都有，这服务费我给学生培训好不好。。。

作者
Author: ylbt1989 时间: 2020-6-2 10:08

sobereva 发表于 2020-6-1 14:26
利用信息不对称，从科研工作者处牟取暴利，我强烈鄙视这种公司。我也希望能有更多人看到http://sobereva. ...

在论坛学到很多准备自己买了差价那么多服务费用不起四台几万的差价让学生学的话一个博士/硕士怎么也学会了。。。

作者
Author: ylbt1989 时间: 2020-6-2 10:09

monoyu 发表于 2020-6-1 23:11
8173M正式都有8000的货了，整机压到27000（不含税）也是可能且合理的。

前段时间问的某宝，单台报价不到三万，买四台还能优惠点

作者
Author: osirisurf 时间: 2020-6-7 16:37

sobereva 发表于 2020-5-31 07:51
三万三明显太黑了

我博文里双路8173M才多少钱，更何况8175M还远比8173M便宜

半年过去了，期待站长更新下
计算化学购机配置推荐
http://sobereva.com/444

作者
Author: sobereva 时间: 2020-6-8 18:59

osirisurf 发表于 2020-6-7 16:37
半年过去了，期待站长更新下
计算化学购机配置推荐
http://sobereva.com/444

没有显著需要更新的，只有价格稍微变动些

是否更新和时间没有关系，只要配置没有值得变动的，文中就不会变动。价格没有精力经常更新

欢迎光临计算化学公社 (http://bbs.keinsci.com/)