计算化学公社
标题: 课题组打算配服务器，求指导（已列明需求，预算10万） [打印本页]
作者Author: 夏已微凉 时间: 2023-3-16 16:29
标题: 课题组打算配服务器，求指导（已列明需求，预算10万）
本帖最后由 夏已微凉 于 2023-3-16 19:38 编辑
大家好，小弟看了大家讨论服务器硬件的帖子，发现课题组之前买服务器被坑惨了，所以特地注册一个账号想咨询一下服务器配置（虽然不是计算化学方向的，是电-热-气多联产系统多目标优化和运行优化的，但是感觉大佬们可以稍微指导一下）
预算：10万以内，大概三个人用，用的软件都是常用软件，主要是python，matlab。
课题组用服务器干啥课题组目前主要用服务器进行多目标优化（计算量很大，现在用python来算）和运行仿真（matlab或者自己用python搭建），以及机器学习（神经网络，用tensorflow）。
以遗传算法进行多目标优化为例，初始种群数量需要设置到2000个以上，由于目标函数计算比较耗时，所以需要加速（CPU主频高一点也行，或者多核并行算、GPU加速等）。
此外，也会用到用到matlab的cplex和gurobi求解器。
问题1：要不要换成多台服务器多人使用，而不是单台服务器多人使用CPU：AMD Ryzen 9 7950X（16核，4.5~5.7G，散装，无集显）
主板：技嘉 B650M DS3H
CPU、主板套装价约4600
散热器：九州风神大霜塔PRO 240
硬盘：希捷 银河企业级 4TB 256MB 7200rpm SATA3 (ST4000NM000A) 860
显卡：华硕TUF-RTX4090-24G-GAMING 14000
内存：2*金士顿FURY 16GB DDR5 5200 2*440
电源：海韵FOCUS GX-1000 1440
机箱：先马黑洞标准版 260
键盘鼠标：罗技MK200 多媒体套装 80
总价：约22300
可能没有必要10万配一台服务器给3个人用，而是配3台服务器给3个人用，这样设备性能利用更充分？每个人体验也更好？
问题2：AMD的CPU不知道对matlab支持怎么样虽然配置性能很合适，但唯一的疑虑是，之前听说AMD的CPU不支持AVX指令集，导致速度差很多。
(, 下载次数 Times of downloads: 91)
(, 下载次数 Times of downloads: 89)
我主要用matlab的cplex和gurobi求解器，不知道用AMD的CPU，会不会相比Intel性能差太多。
更新：刚知乎有人回答说是差别不大，现在在加gurobi官方群，还没同意进群。
(, 下载次数 Times of downloads: 91)
问题3：如果还是要花10万装一台服务器给多人使用，该怎么配置怕老板不同意配多个小服务器，所以做个10万服务器的方案备选。
我想的是可以用AMD霄龙系列的最新CPU，9374F，双路（应该就是配两颗CPU的意思吧），这样一方面主频跟得上，一方面核数也比较多。
然后内存加到最大。
不知道这样配一台10万以内的服务器怎么样。
作者Author: biogon 时间: 2023-3-16 17:11
9374F缺点就是性价比低，7950带一个4090性价比高
作者Author: Entropy.S.I 时间: 2023-3-16 17:14
本帖最后由 Entropy.S.I 于 2023-3-16 17:25 编辑
毫无疑问，3台7950X + RTX4090，再加1套NAS是最佳方案，每个人用自己的计算资源，不用抢来抢去、勾心斗角。
但不建议直接搬444博文，那是个人自用的极端省钱方案（实际上没省多少钱）。主板用供电强1倍、价格没贵多少的B650M小雕（JD自营板U套装才￥4699，而DS3H的6相主供电无法支持7950X长时间满载），顺便CPU散热用利民FC140；RAM用DDR5 6000 MT/s 32GB*2（金百达银爵，SK Hynix原厂DRAM，套条￥1799。用相对大一些的RAM是因为你提到要做深度学习，万一4090的VRAM不够用，还有机会向CPU多借一些RAM）；加1TB NVMe SSD（致态TiPlus7100，￥579），HDD就不必配了，因为主要数据存在NAS上。
另外，AMD的AVX512需要用较新版的编译器和库，Matlab支持不会那么快。
最后，买EPYC9004还不如等一两个月买至强W3400X。
作者Author: ChemG 时间: 2023-3-16 19:04
老师您好，在7950x+4090的MD工作站配置方面还有一些小问题想请教：
1. 7950x搭配微星B650m迫击炮主板（12+2，80A供电）可以吗？不知道需不需要升级至x670的110A供电
2. 两条32GB和插满4条32 GB DDR5内存如何选择，插满4条会降频吧，可以直接买4条低频（4800）的DDR5以满足内存上的需要吗？
3. 内存频率（4800和6000之间）对Gaussian量化计算和分子动力学计算影响有多大呀？
最近在这几方面比较纠结
作者Author: 夏已微凉 时间: 2023-3-16 19:37
感谢建议，我也问了问最熟悉的服务器供货商，他说主板换个好一点的，内存加到64G。
NAS应该是用不到了，因为这几台服务器可以直接一人用一台，计算资源和数据都可以分开。反正配置都一模一样，也不用抢来抢去了
预算其实也没那么紧张，想问问大佬如果3台服务器的话还有什么可以升级的呢？
作者Author: Entropy.S.I 时间: 2023-3-16 20:32
本帖最后由 Entropy.S.I 于 2023-3-16 20:38 编辑
1. 跑MD的话，CPU功耗不会很高，哪怕是GMX，7950X一般也只能达到160W左右，不会像纯CPU软件一样轻松超过200W。微星这个板子虽然供电还可以，但供电散热不太行，但是的但是跑MD是绰绰有余的。你后面又说要跑量化，那么最好规划一下机箱风道，比如在机箱后方、后上方各加一把性能比较好的风扇，做好CPU VRM的散热。
2. 跑MD不需要这么多RAM，16GB*2足矣。你说的32GB*4，目前都是2DPC+单DIMM双面颗粒（2R），频率肯定上不去。
3. 只要不是极端地低，对MD性能影响可忽略不计；对量化影响非常大，但对于7950X来说，DDR5 6000 MT/s 32GB*2基本够用，毕竟不能奢求7950X跑很大的任务，真的有大任务需求，建议专门弄台纯CPU机器。
作者Author: Entropy.S.I 时间: 2023-3-16 20:34
本帖最后由 Entropy.S.I 于 2023-3-16 20:49 编辑
没啥好升级的了，不过可以去了解一下X3D在你们用的软件中是否有用武之地（我不太了解，只知道对CFD性能提升挺大）。如果真想多花点预算，还是很建议配NAS的，用过就知道NAS的好，而且如果以后还要采购机子，NAS就更有用了。至于要把数据分开，在NAS上建几个用户，相互隔离就行了。
作者Author: ChemG 时间: 2023-3-16 20:51
非常感谢老师，经过老师指导现在大概明白了。在论坛的另一个帖子中看到了您推荐“华硕（ASUS）TUF GAMING X670E-PLUS WIFI主板”，价格差几百块钱就准备上这个啦。内存就按您说的用DDR5 6000 MT/s 32GB*2。以前不知道，真正要装机的时候才发现有这么多门道，幸好有各位老师指导
作者Author: 夏已微凉 时间: 2023-3-16 20:55
出去查了了一波又开始纠结了，好像除了AVX512之外，AMD做计算还是有很多不支持的。
比如说mkl科学计算库，是Intel开发的，没有专门针对AMD优化，所以AMD用起来就会比较慢。但是我用python经常用到的numpy包，要用到mkl。
大佬能推荐一个Intel的CPU配4090显卡吗
很眼馋7950X这么高的主频，Intel i9-13900K听说也很好，但是好像会有大小核的问题。
作者Author: Entropy.S.I 时间: 2023-3-16 21:34
本帖最后由 Entropy.S.I 于 2023-3-16 21:42 编辑
现在这个问题已经没那么明显了，放心用就行。对于需要纯CPU并行的情况，不推荐13900K。纯大核的W2400/3400系列非常贵，如果用2495X或2475X+4090，你10万预算3台肯定拿不下来，2465X也够呛，2455X应该没问题，但只有12核，超频后全核满载频率最高也就5.0GHz，除非intel自家编译器和库又有什么新的黑科技优化（AMX的效果目前存疑），不然不会比7950X强，说不定还不如13900K。
作者Author: 夏已微凉 时间: 2023-3-16 21:57
好，我就放心用了
作者Author: 啊不错的飞过海 时间: 2023-3-17 00:15
numpy包的BLAS实现可选，AMD平台下应该是开源的OpenBLAS，按一个有点旧的测试看有性能差距但不至于大到数量级层面。
仿真和加速的话，注意数值精度要求，非专业显卡加速双精度浮点计算很差劲。市面上典型的8核CPU双精度浮点算力大概是几百GFlops量级，能锤绝大多数的游戏卡，化学上的应用由于这个原因很少用GPGPU加速。
以及单个胖节点与多个小服务器的取舍主要在于有没有可以超多核并行的大任务要跑，化学这边相当部分软件的并行效率是稀烂的，工程上的需求不一定一样。
比较旧的测试，基于Zen2的r7-3800X和i7-11800H：https://blog.csdn.net/luohaha66/article/details/123462715
作者Author: abin 时间: 2023-3-17 09:10
一台机器解决不了的，就是用多台机器。
多机器集群模式，
主要作用是把所有机器放在一个资源池，
存储也在同一个地方，
实际使用具体哪台机器，用户无感。
就像你在哪里都可以打开并使用百度网盘，
但是无需过问是哪一个数据中心在给你服务。
也无需关心，数据到底在哪个硬盘？
要多机器并行计算，一般需要网络支持，
可能还需要IO支撑。
涉及到多机器IO，一般选用IB网络，因为以太网慢。
如果喜欢用图形化交互式方式，
可以参考
【Web端的超算-哔哩哔哩】 https://b23.tv/D1vL00I
【高性能计算集群可视化操作展示-哔哩哔哩】 https://b23.tv/627PT1m
可以通过其中的Interactive Desktop/App开启Matlab 。
另，正如楼上提及，如果涉及数值计算，
双精度是必须的，游戏卡是不行的。
旧货市场捡A100之类的应该不错。
跑MD不需要双精度的，所以可以用消费级的游戏显卡。
作者Author: fhh2626 时间: 2023-3-17 15:05
我昨天配的6138 20C *2, 128G, 2T+14T, 4090 * 3正好10W。。。
作者Author: Entropy.S.I 时间: 2023-3-17 16:33
本帖最后由 Entropy.S.I 于 2023-3-17 16:34 编辑
单核这么差的CPU配3块4090是要干啥…你这价甚至能买w7-2495X + 4*4090，买品牌整机都可以w7-2495X + 3*4090，2495X有24个Golden Cove核心，全核5.0GHz无压力
作者Author: fhh2626 时间: 2023-3-17 17:59
塔式的可以买到，机架式的会贵一些
而且在学校买东西，并不是你想买哪家供应商就能买的（当然非要买的话确实可以，但是给自己找事情）
作者Author: beowulf 时间: 2023-3-19 15:54
上面那哥们批评的挺实在的，
63系列已经是一年半前的昨日黄花，
61系列实在是太老了，不厚道的问一句，确认商家给你的是全新的，不是二手的么。
作者Author: fhh2626 时间: 2023-3-19 20:14
二手的也无所谓了，CPU从来没坏过，我们的计算也不怎么吃CPU资源。
我理解你们想榨干每一分钱，我10年前就是图吧老哥，当年用自己的钱，771、开核、ES都敢玩，从来没出过问题，但是在学校买东西是很不一样的。比如如果强行买自己的供应商，先不说设备处高不高兴，如果机器出问题（不一定是真正的问题，比如学生什么东西没装对，算不起来），大PI肯定觉得是你买的东西有问题，你要负责到底，售后什么更是得自己解决。所以最高是在学校有的供应商里面买品牌服务器，在这个范围内，如果超过10W要走招标流程，就会很复杂，所以只能在满足需求的情况下尽可能选最合适的吧。
作者Author: beowulf 时间: 2023-3-23 14:36
设备处管的是流程是否规范，其余的她们啥都不懂，也不会去管。
供应商需要调教的，要不他们会一直吃定学校这块肥肉。
你们那里走个反向竞价什么的，供应商也会老实一点。
作者Author: Entropy.S.I 时间: 2023-3-23 17:13
http://bbs.keinsci.com/thread-35988-1-1.html
去看看，第五节一定程度上是给你写的
作者Author: 夏已微凉 时间: 2023-3-28 16:18
大佬您好，服务器买回来了，但是发现插满四根内存条降频了，从5200MHz降到了3600MHz，想问问您这个影响大吗？
服务器厂家说AMD就是会这样，看网上别人也说了AMD 7000系插满四根会降频：
https://www.bilibili.com/opus/732365097490448439
https://baijiahao.baidu.com/s?id ... r=spider&for=pc
服务器具体配置如下：
AMD 7950X原盒
华硕 X670-P WIFI
金士顿32G5200马甲 *4
三星980PRO-1TB NVME 4.0
WD4TB 紫盘
华硕TUF-GeForce RTX 4090-24G-GAMING
利民冰封雅静360一体式水冷
航嘉780R 机箱
微星A1000G 金牌全模 3.0版本
AOC Q24B3M 2K
作者Author: 夏已微凉 时间: 2023-3-28 18:50
大佬您好，服务器买回来了，配置是7950X+一块4090，但是内存插满了四条，现在内存频率从5200MHz降到了3600MHz，请问影响大吗？
作者Author: Entropy.S.I 时间: 2023-3-28 19:25
本帖最后由 Entropy.S.I 于 2023-3-28 19:27 编辑
先不说现实影响如何，DDR5运行在这种频率下你自己不会觉得膈应吗…？
当时我说用2条6000MT/s 32GB，你怎么又去用4条5200MT/s了，2DPC导致降频是很正常的事情
内存降频当然会有导致性能下降，尤其是7950X本来就只有2通道内存，频率还降那么多的情况
作者Author: abin 时间: 2023-3-28 19:52
只是路过……
我遇到过一次处理器故障。
具体表现是，运行一段时间后，
会少一个处理器核心，
注意，不是少一颗处理器。
重启之后，会正常。
运行一段时间，又这样。
是某种ES处理器。
作者Author: 夏已微凉 时间: 2023-3-28 21:01
插了4条32GB 5200MHz的，怕不够用就加到了128GB，电脑小白之前不知道还会有降频这一说
如果拔掉两根可以，让频率维持在5200MHz，总体效果会相比插4条降频更好吗？
作者Author: Entropy.S.I 时间: 2023-3-28 21:28
自己实际测试一下，64GB不给跑再改128GB，否则想办法把多余的内存处理掉。那些吃内存容量的应用普遍对内存带宽需求很大，2通道硬塞128GB导致降频运行，得不偿失。
作者Author: 夏已微凉 时间: 2023-3-28 23:11
好的，谢谢，我研究一下，目前来看内存好像确实用不了那么多。
作者Author: fhh2626 时间: 2023-3-29 10:25
缩缸，以前玩开核的时候经常听说，自己倒是没遇到过，可能是我运气比较好。
作者Author: abdoman 时间: 2023-4-10 08:31
想问一下是如何排查出的呢？
作者Author: abin 时间: 2023-4-10 11:29
本帖最后由 abin 于 2023-4-10 13:19 编辑
数一下。
说来话长。
日常巡查发现，有一个学生的计算任务，
总是投送到这个节点，对，学生用了指定节点……
队列显示，节点在干活，
不过性能监控认为，机器空闲，或者负载很低……
电邮学生，让确认输入文件是否正常？
如果正常，但是计算不正常，我就做进一步debug ，
不过丫根本不理会。
挂了两周，丫才来找我。
计算输出写的很明白，
没有那么多核心。
如果用户不确认输入文件是否合理，
一般而言，管理员没有必要做进一步排查。
作者Author: Entropy.S.I 时间: 2023-4-10 18:10
对于某些大乱炖集群，指定节点是很有必要的
作者Author: liulongquan 时间: 2023-5-10 16:13
‘全核5.0GHz无压力’
这玩意都是公司或者单位学校买，谁会超频呢？都是默认频率直接用的，生产力的东西超频出问题谁负责？
别推荐w3400/2400系列了，就纯纯硅渣，同价格被epyc9004系列吊着打。
不要用家用电脑的思维去弄服务器，就算买13900K这种很容易超频的课题组，也基本上99%的人是不会去动它的频率的
作者Author: Entropy.S.I 时间: 2023-5-15 16:42
本帖最后由 Entropy.S.I 于 2023-5-15 17:29 编辑
二极管/不学无术/不懂装懂之人，你最好别在这个论坛待着，微博、贴吧和小某书比较适合你。
我从未推荐过使用W790平台做CPU密集型计算，也从未说过EPYC 9004做CPU密集型计算不如W790平台。但凡去看一看我的文章呢？对了，以这种态度发言的人，大概率也不会认真、逐句阅读长篇图文。
至于超频，你大概率不知道现在CPU厂商对服务器平台限制频率的苦衷，不了解通用计算硬件的发展状况，也没管理、使用过多少计算硬件，没有用过W790平台，更没有跑过多少正经的科学计算，被某些极端同类洗脑后，跑过来就嚷嚷“硅渣”、“生产力不能超频”，贻笑大方。
最后，你不用回复我，去追求你的“稳定”就行了。
作者Author: supersix 时间: 2023-6-17 23:04
百分百是拆机的，够便宜的话坏了给换倒也没什么，就是这价格
作者Author: beowulf 时间: 2023-6-19 11:49
本帖最后由 beowulf 于 2023-6-19 11:52 编辑
这种U配合显卡做一些gpu密集的计算挺合适的。
epyc也一样会推出一些核心数目少，频率高的型号。
不是所有人的计算都能吃到2x96核心这样的拓展性，少数一二十个核心，高频确实适合很多情况。
品牌机上这个，加上三张4090 美滋滋啊，真不是硅渣。
当然全核心5g，跑avx512是不可能的，没有压缩机是绝对不可能的。
| 欢迎光临 计算化学公社 (http://bbs.keinsci.com/) |
Powered by Discuz! X3.3 |