计算化学公社

标题: 20万左右怎么合理选购服务器 [打印本页]

作者
Author: ylbt1989 时间: 2020-1-3 21:09
标题: 20万左右怎么合理选购服务器
(, 下载次数 Times of downloads: 83)
根据sobereva大神的推荐配置找商家写的配置报价。四路的看了帖子说并行效率不太高，如果我们买6个单个这个配置的节点要怎么调用管理呢？组建小集群吗？课题组理论计算刚开始做，目前是租用的超算平台，使用软件有MS，VASP，后面主要用VASP，购买了正版MedeA+VASP模块，但是有个学生用MS算的模型比较大，单个节点应该跑起来比较费劲，根据网上看的一些信息，有点问题请教一下，希望各位前辈能指点一下我们怎么搭建的更合理。万分感谢！

1.搭建集群，这个管理起来对我们这种刚入门来说是不是困难太大，询问的淘宝的硬件商基本都没有相关的服务的。而且如果要跨节点并行，看到很多说必须用IB网的，不知道直接千兆网可以吗？或者千兆网直接搭建集群统一管理调度但是不跨节点运行是不是就不用考虑跨节点运行效率了呢？
2.仅仅是买6个节点，不搭建集群的话是不是也可以统一管理这几台小型服务器？

作者
Author: llzz0309 时间: 2020-1-4 22:22
论坛首答哈哈，1. 首先四路并行效率并不低，具体要看服务器品牌和cpu型号（我的华为服务器四路极好）。
2. 其次cpu价格每块可以再坎1000块钱。
3. 都花了20w了，还差个ib交换机？集群运行起来只要不关机，一般情况很稳定，维护工作量和难度没有那么大。
4. 如果不用ib网络，可以弄一个千兆交换机，作成集群，只不过不能跨节点计算了。那么此时你还不如价格ib交换机做ib网络呢。

5. 假如是我，我的如何安排你给的配置：二手淘一个56G infiniband交换机，配好HCA卡，配好IB线，每个节点保留一块500G硬盘，搞一个节点作为主节点（登录节点、存储节点），搭配12TB 磁盘。做成集群，妥妥的标准化集群。

作者
Author: ylbt1989 时间: 2020-1-5 21:13

llzz0309 发表于 2020-1-4 22:22
论坛首答哈哈，1. 首先四路并行效率并不低，具体要看服务器品牌和cpu型号（我的华为服务器四路极好）。
2. ...

非常感谢！！我们再研究一下

作者
Author: 牧生 时间: 2020-1-5 21:34
似乎每个的价格都比我想象的高了不少。。比如内存，我觉得400就可以拿下一根。

预算20万，是单指机器预算20万吗？

作者
Author: abin 时间: 2020-1-6 08:28
建议采用OPA交换机，能便宜点。当然，如果能以合适的价格拿到二手的IB交换机和IB线缆，也是可以考虑的。

对于新手来说，如果集群搭建完毕后，基本锁定root账号，
仅仅使用普通的账号，按照写好的脚本，是管用，没有其他需要管理的事情要做。

当然，如果规划的好，可能在集群搭建的过程中，基本会用root写好一些自动清理读写空间的脚本。

我可以帮你搭建集群，
只要你的机器有基本的Linux系统，网路只要能访问百度腾讯等，（不要求是否具有独立IP，就算是放在路由器后面也可以），
我都可以通过网络完成集群搭建。

至于千兆能否支撑多节点并行计算，需要结合实际考虑，做多节点计算的需求是不是很多，如果是多节点，会用到几个节点？
实际上有几个人在用这个设备？
比如，有10个人用，基本每个人的计算都需要2天以上完成，然后这10个人平均每天都有6个人需要做计算。
这个时候，合理的规划就是禁止多节点计算，要让每个人都在短时间内能有计算跑起来，要不然，大家都等着，太消磨意志。

如果平均每天，机器都有节点空余，可以更具实际耗时以及负载，再考虑是否多节点并行。

另，多节点并行的话，以上的配置有问题。
至少需要，其中一个机器上，多几个硬盘，做磁盘阵列，比如RAID5之类的。

建议，如果没有IB网络或者OPA网络，任何一个计算节点，建议HDD+NVME/SSD，HDD容量可以很小， SSD可以根据实际需求，选择容量大小。

作者
Author: ylbt1989 时间: 2020-1-7 13:05

牧生发表于 2020-1-5 21:34
似乎每个的价格都比我想象的高了不少。。比如内存，我觉得400就可以拿下一根。

预算20万，是单指机器预 ...

总的预算单价高应该跟商家报价有关系后面我再多问几家。谢谢您的回复

作者
Author: ylbt1989 时间: 2020-1-7 13:06

abin 发表于 2020-1-6 08:28
建议采用OPA交换机，能便宜点。当然，如果能以合适的价格拿到二手的IB交换机和IB线缆，也是可以考虑的。 ...

感谢您的回复不知道能不能私信个联系方式

作者
Author: abin 时间: 2020-1-7 13:23

ylbt1989 发表于 2020-1-7 13:06
感谢您的回复不知道能不能私信个联系方式

我的签名中有微信哦.

作者
Author: biogon 时间: 2020-1-7 13:53

llzz0309 发表于 2020-1-4 22:22
论坛首答哈哈，1. 首先四路并行效率并不低，具体要看服务器品牌和cpu型号（我的华为服务器四路极好）。
2. ...

用不用四路的核心是软件怎么样，VASP四路根本不能用，完全和机器没关系

作者
Author: llzz0309 时间: 2020-1-7 14:33

biogon 发表于 2020-1-7 13:53
用不用四路的核心是软件怎么样，VASP四路根本不能用，完全和机器没关系

自己去求证你这可笑的说法吧。另外，去搞清楚影响计算速度的因素，搞清楚多路cpu的实质吧。

作者
Author: biogon 时间: 2020-1-7 21:55

llzz0309 发表于 2020-1-7 14:33
自己去求证你这可笑的说法吧。另外，去搞清楚影响计算速度的因素，搞清楚多路cpu的实质吧。

四路效率本来就不如双路，尤其是内存敏感的应用，我又不是没测过，硬件影响再大也抵不上软件代码的影响

作者
Author: 啦啦黑还黑 时间: 2020-1-21 00:10
有20万，做个标准集群服务器足够了。

你这个配置计算节单是个不错的选择，把计算节点上硬盘改成500gb足够了，可以用ssd，读写临时文件快。
然后配一个便宜的主节点比如2678v3的，用几个大硬盘。花不到1万。
然后自己搭一个PBSpro队列管理系统。

算下来5个8173M的计算节点和1个主节点，用不到20万。计算节点一共56*5 = 280核，每个节点192gb内存

作者
Author: ylbt1989 时间: 2020-3-24 16:30

啦啦黑还黑发表于 2020-1-21 00:10
有20万，做个标准集群服务器足够了。

你这个配置计算节单是个不错的选择，把计算节点上硬盘改成500gb足 ...

非常感谢！

欢迎光临计算化学公社 (http://bbs.keinsci.com/)