求问超算软硬件配置

gauss98

院里打算建设计算中心，咨询软硬件需求。

方向包含催化剂设计（均相，多相），（高分子）材料模拟，流体力学计算和机器学习

我自己只了解 高斯相关软硬件

对于多相， vasp， MS，cp2k等需要都购置吗？  vasp等 需要 用 IB高速网络吗？需要GPU吗？什么型号（4090还是 A100之类的）

分子动力学需要IB高速网络吗？ 需要GPU吗？ 什么型号（4090还是 A100之类的）

机器学习（化工）需要多大的计算资源？

希望相关大神不吝赐教
谢谢！

预算没说，大致按照300-500w算吧

AIchaosuan666

hersvim 发表于 2023-11-16 00:57
我去。mark住

这个只是针对双路9004多卡平台上4090 和 6000ADA哈  最近研发测试那边已经给消息这个问题已经解决 但建议还是慎重

hersvim

AIchaosuan666 发表于 2023-10-30 13:25
首先有一点确认的就是GPU节点千万不要用9004多卡的平台（任何牌子都一样）血淋淋的教训 那玩意儿掉卡
超微 ...

我去。mark住

AIchaosuan666

HPC的方案可以了解一下

AIchaosuan666

首先有一点确认的就是GPU节点千万不要用9004多卡的平台（任何牌子都一样）血淋淋的教训 那玩意儿掉卡
超微 华硕 给的反馈都是跟他们没关系 NV更是不管  最后受伤的只有厂家和用户

Janus

不能左右 发表于 2023-10-27 14:05
说到底如果做计算是自费掏腰包，肯定应该让js赚不到多余的钱，实际情况是学院买超算的钱都是某些项目或者 ...

也不完全是JS，是品牌商高价里面的附属东西，对我们这种不挣钱的行业用不上。例如：上门维修，7x24小时电话服务，4小时上门（或者次日上门），直接换件或者换机。
小的公司就是一锤子买卖，最多搞个1年或者2年售后，换件啥的还得自己出钱，还可能联系不上。
设想一下，银行、通信、金融、工程工业领域 谁会考虑洋垃圾或者小作坊

不能左右

Entropy.S.I 发表于 2023-10-27 13:46
奸商是需要调教的。希望我做的事能有个好结果吧。最近精神状态比较差，得隐一段时间了。

说到底如果做计算是自费掏腰包，肯定应该让js赚不到多余的钱，实际情况是学院买超算的钱都是某些项目或者gov突击要花掉的钱，那核心的诉求就是怎么能顺利花掉。你买个服务好的小厂子的服务器会让上峰在面对审计的时候很被动，所以平常心随缘。几百万经费肯定不能单一来源，肯定需要多个品牌来满足程序正义。

Entropy.S.I

不能左右 发表于 2023-10-27 13:40
现在学院自己搭建超算就是个无解的问题，场地、机房、供电、空调、日常维护都需要自己处理。
采购的话因为 ...

奸商是需要调教的。希望我做的事能有个好结果吧。最近精神状态比较差，得隐一段时间了。

不能左右

现在学院自己搭建超算就是个无解的问题，场地、机房、供电、空调、日常维护都需要自己处理。
采购的话因为金额比较大，肯定要被浪潮曙光等品牌攒机商盯着。
最后的结果就是买了一堆版上负面评价极高的配置，后续集群半死不活的运行着。

sobereva

gauss98 发表于 2023-10-26 20:15
咨询了下MS报价，一个用户界面37万，其他每个模块一百多万
四个模块报下来572万
一个用户，一个用户

如此夸张的溢价，不免令我觉得买M$很容易有幕后交易

zzy_1234_2001

MS，国内不差钱的很多

gauss98

sobereva 发表于 2023-10-24 04:13
CP2K是免费的

M$那种东西在我来看完全没有购买价值，整体又慢又贵又不灵活，在学术界用户也越来越少，也 ...

咨询了下MS报价，一个用户界面37万，其他每个模块一百多万
四个模块报下来572万
一个用户，一个用户
真以为企业的钱是大风刮来的？

Entropy.S.I

gauss98 发表于 2023-10-26 07:51
GPU节点用7950 最多能几卡？多大内存？ 相比xeon-w9-3495

只能1卡，撑死2卡，还做不到PCIe x16，还要另外搞一套计算和存储网络专门给GPU节点（PCIe lane不够，插不了IB卡）。有时候还是有多卡并行需求的。另外，这么大的集群还是别整这种花活了，省不了多少钱，前期省了钱，后期维护可能就麻烦了。我3月份的文章里也没这么激进…
至于最近发布的线程撕裂者7000系列，非常令人失望。Pro线价格贵上天，同级别SKU相较于上一代贵了太多，和W790平台比起来性价比并没有多高，还有核间延迟问题。从32核4CCD直接跳到64核8CCD，而平台最多只能支持到6块GPU获得PCIe x16，如果要避免核间延迟的问题，64核8CCD中有2个CCD用不起来。传统HEDT线则把PCIe规格砍成残废了，最多支持2块GPU获得PCIe x16。

gauss98

Entropy.S.I 发表于 2023-10-24 15:53
在这里再发一遍给楼主私信里回复的内容。

CPU-only节点，CPU用双路9654，没其他选择了；内存可以根据你 ...

GPU节点用7950 最多能几卡？多大内存？ 相比xeon-w9-3495

Janus

Entropy.S.I 发表于 2023-10-24 15:53
在这里再发一遍给楼主私信里回复的内容。

CPU-only节点，CPU用双路9654，没其他选择了；内存可以根据你 ...

这个配置，如果是课题组用，基本最优。但是，是否也要考虑，楼主提的是整个学院弄计算中心。
9654双路，可以算作胖节点了；都配这种胖节点，管理起来会非常费劲。我不是很懂，只是之前碰到过，介绍哈：
六七年前，我隔壁的学院配了30多个节点的双路2680v4，当时是很好的机器了。刚开始很顺，几个月后，我朋友就开始叫苦了；排队要三四天，总被几个组的长时间任务占着。投诉后，管理员放开了独占节点的限制，更绝的事情发生了：任务提交方式从1节点1个任务，逐渐往14核/任务，7核心/任务，2核心/任务发展。最后朋友又去租超算了。

其实，现阶段VASP等大量的作业很难去跑满双路9654，而如果让一个节点跑多个作业，管理是问题（不是一个组内，很难去要求或者控制用户的习惯）。从vasp cp2k这类软件的用户角度来说，可能限制一个任务一个节点对谁都好。如果这样，可能单路/双路在3:1或者4:1会更优。

Entropy.S.I

gauss98 发表于 2023-10-24 16:03
谢谢！
个人觉得存储太大了。有个30T就够了。另外，GPU节点换成 9474F怎么样？兼顾CPU跟GPU计算

那就用12块7.68TB，整个存储只需要13万。另外再加个24*18TB的HDD存储用作主存储的定时备份和用户冷数据存储，10多万。

9474F是8 CCD的配置，每个CCD只开了6核，核间延迟表现很差，并且价格巨高，和9654差不多（甚至可能更贵，我最近没问这玩意的价格，不太了解实时行情），很不值。另外，GPU节点CPU互联只有3组xGMI（因为要留PCIe lane给GPU），因此CPU片间通信瓶颈更严重。