计算化学公社

标题: 极低成本利用V100洋垃圾跑VASP [打印本页]

作者
Author: slxc920113 时间: 2025-3-20 21:48
标题: 极低成本利用V100洋垃圾跑VASP
本帖最后由 slxc920113 于 2025-3-30 20:15 编辑

最近smx 16G版本的V100显卡只要900左右，想要用它来跑GPU版本的VASP，个人自用，没有单位报销，摸索出一套低成本的显卡扩展的方案。
原来有一台7950X+3080Ti的主机用来跑gromacs的，也是二手配件7000搞定的。
虽然7950X的单核性能很高，很适合用来带GPU，但是可惜消费级CPU只有28条PCIE通道，并且主板上也只有2个PCIe X16的插槽。
sxm版本的V100配套的散热器是塔式的，高达9cm，也压根塞不进机箱。所以干脆用显卡扩展坞的方式。
最优的选择其实是用sxm2或者sxmv或者Dell 4140的主板，但是现在这些板子因为AI的火热已经被奸商们炒到6000+的价格了，相比去年1800左右的价格高了3-4倍，实在没有性价比了。

核心的想法在于利用博通的PEX芯片的DMA控制器来加速两张卡的通信，因为带nvlink的V100 PCIe版本，现在一张二手卡也得4000左右。

配件及成本如下：
1. V100显卡*2，900*2 rmb
2. 散热器*2，75*2 rmb
3. PLX8749芯片（带DMA控制器，低配版nvlink的功能）的PCIe扩展卡，带4个SFF8654-8i接口，530 rmb
4. SFF8654的PCIe转接底板*2，70*2 rmb
5. sxm转PCIe转接板*2，260*2 rmb
6. SFF8654-8i线缆*4，35*4 rmb
7. 8025 PWM调速风扇*4，5*4 rmb
8. 4pin风扇延长扩展转接线（连接主板自动调速，7950X的积热严重，主板控制的风扇速度肯定能压住V100的温度不超过65），6 rmb
9. 1200W 服务器电源，50 rmb
10. csps转atx转接板，75 rmb
11. xt60转显卡双8pin转接线*3，25*3 rmb
12. 搭建开放式机架的铝型材五金件若干，60 rmb
总价：3566

怕麻烦的话9+10+11三个可以用750W的ATX模组电源代替，注意电源至少需要4条显卡8pin的线，模组电源价格可能反而更加便宜，就是体积要大不少。

运行效果如下，7950X的性能足够强，两张卡基本可以完全跑满。
(, 下载次数 Times of downloads: 46)

GPU版本的VASP_std 计算900多个电子，80多个原子，2*2*1 k点的体系，大约3-4s一个电子步。
(, 下载次数 Times of downloads: 45)

如果是gam版本的速度则会更加快。实测和sxmv底板的nvlink相比，单卡运行效率基本完全一样，双卡运行大约会损失10%的运行效率，只适合短期进行过渡，坐等sxm板子降价。
(, 下载次数 Times of downloads: 48)

最后，简陋的机架和垃圾7950X主机的照片

(, 下载次数 Times of downloads: 47)

作者
Author: 林家清染 时间: 2025-3-25 17:37
看到最后的图绷不住了,哈哈哈,好对称的机架啊,俩风扇隔着引体向上呢?

作者
Author: fantexi113 时间: 2025-3-28 11:12
海鲜市场有matx孔位的双卡板，可以整进机箱里，价格比散装贵一些

作者
Author: lijilo 时间: 2025-3-28 12:10
牛逼，摩拜！

作者
Author: slxc920113 时间: 2025-3-30 20:39
本帖最后由 slxc920113 于 2025-3-30 20:46 编辑

fantexi113 发表于 2025-3-28 11:12
海鲜市场有matx孔位的双卡板，可以整进机箱里，价格比散装贵一些

期货，暂时还买不到。

成本我也算过：
1. V100显卡*2，900*2 rmb
2. 散热器*2，75*2 rmb
3. SXM主板，1600 rmb
4. PCIe转SFF8654转接卡，120 rmb
5. sSFF8654-8i线缆*2，35*2 rmb
6. 12cm机箱风扇*4, 8*4 rmb
7. 750W ATX电源，350 rmb
8. MATX迷你机箱：80 rmb
总价：4104

作者
Author: ddddnight 时间: 2025-3-31 15:54
GPU版本可以跑CINEB吗

作者
Author: slxc920113 时间: 2025-4-5 21:45

ddddnight 发表于 2025-3-31 15:54
GPU版本可以跑CINEB吗

GPU版本的VASP是每个进程绑定一个GPU，所以如果你还要用VTST的代码，得保证你的GPU数目核images数目一样才行，或者就需要去修改VTST的代码。
如果没有那么多显卡的话，就用ASE的autoNEB算法，VASP作为底层引擎进行计算。

作者
Author: ddddnight 时间: 2025-4-6 11:51

slxc920113 发表于 2025-4-5 21:45
GPU版本的VASP是每个进程绑定一个GPU，所以如果你还要用VTST的代码，得保证你的GPU数目核images数目一样 ...

明白了，感谢您的解答！

作者
Author: slxc920113 时间: 2025-4-7 12:39

ddddnight 发表于 2025-4-6 11:51
明白了，感谢您的解答！

https://www.sciencedirect.com/sc ... i/S0010465518302583
这篇文章发布的PASTA程序也可以，就是bug太多了，我改了十几处，基本上把代码的20%都改得面目全非才跑起来。

作者
Author: gaozx 时间: 2025-4-7 14:57

slxc920113 发表于 2025-4-5 21:45
GPU版本的VASP是每个进程绑定一个GPU，所以如果你还要用VTST的代码，得保证你的GPU数目核images数目一样 ...

一张显卡也可以跑很多插点，只要显存够大就行

作者
Author: 目前还不会计算 时间: 2025-4-8 16:21

gaozx 发表于 2025-4-7 14:57
一张显卡也可以跑很多插点，只要显存够大就行

这个需要什么设置呀

作者
Author: hk01211 时间: 2025-4-16 10:14
妙是妙风扇全力运转起来也是受不了。裸露在外风险不小。

作者
Author: exity 时间: 2025-4-20 07:49
四国也~

作者
Author: QZA 时间: 2025-4-30 11:29
老师，您好！我想问一下，你这个电脑配配件信息可以给我一份吗，我最近在学分子动力学（水性电解液）、高斯和cp2k（原子小于100）。因为没有报销，目前打算买二手配件组装；另外还有一个小问题，AMDCPU 是买散片还是直接买拆机de，显卡可以直接买帖子里面提到的V100吗。

作者
Author: tonganlhy 时间: 2025-4-30 17:01
本帖最后由 tonganlhy 于 2025-4-30 17:03 编辑

QZA 发表于 2025-4-30 11:29
老师，您好！我想问一下，你这个电脑配配件信息可以给我一份吗，我最近在学分子动力学（水性电解液）、高斯 ...

lz这个方法可能不太适合你，需要解决的问题不少。你这个体系7950X+英伟达显卡即可满足。倒不如加点钱上好一点的显卡，比如5080等等。

作者
Author: QZA 时间: 2025-4-30 17:24

tonganlhy 发表于 2025-4-30 17:01
lz这个方法可能不太适合你，需要解决的问题不少。你这个体系7950X+英伟达显卡即可满足。倒不如加点钱上好 ...

感谢层主您的建议，我看了一下5080的价格，让人有点头疼，目前个人的腰包还难以负担得起。对于过渡期，是否有其他的推荐。

作者
Author: tonganlhy 时间: 2025-4-30 17:28

QZA 发表于 2025-4-30 17:24
感谢层主您的建议，我看了一下5080的价格，让人有点头疼，目前个人的腰包还难以负担得起。对于过渡期，是 ...

你的预算是多少，我可以帮你出个主意。

作者
Author: QZA 时间: 2025-4-30 17:40

tonganlhy 发表于 2025-4-30 17:28
你的预算是多少，我可以帮你出个主意。

目前个人购买力最大能到8k，超了就得等等，下个月低补下来还能再加一点点。

作者
Author: tonganlhy 时间: 2025-4-30 18:13
本帖最后由 tonganlhy 于 2025-4-30 18:44 编辑

QZA 发表于 2025-4-30 17:40
目前个人购买力最大能到8k，超了就得等等，下个月低补下来还能再加一点点。

CPU：R7700
主板：微星Pro B650M-B
CPU+主板套装价1800元
散热器：酷冷利民选个便宜的 100元
显卡：RTX5070选个大厂的比如微星  5000元
硬盘： 8TB 企业级 1400，预算不够就买个600元的4T顶着。
内存：金白达 ddr5 6000 16G*2  500元
电源：先马黑钻850 V4  400
机箱：先马黑洞标准版  280
键盘鼠标：罗技MK200 有线键鼠套装  80
总价：约9500

如果可以等到618，打折还更多。
以后有钱了卖掉5070再买个5080就很充分了。

作者
Author: QZA 时间: 2025-4-30 22:19

tonganlhy 发表于 2025-4-30 18:13
CPU：R7700
主板：微星Pro B650M-B
CPU+主板套装价1800元

感谢您

作者
Author: slxc920113 时间: 2025-5-2 09:48

QZA 发表于 2025-4-30 11:29
老师，您好！我想问一下，你这个电脑配配件信息可以给我一份吗，我最近在学分子动力学（水性电解液）、高斯 ...

咸鱼买一台二手配件组装的水冷7950X主机，基本上4500左右能搞定（32G内存，自己淘配件组可以便宜300，但是要麻烦不少，没有必要），另外7950X插2条以上的CPU会降频，如果你需要跑高斯，32G内存不够的话，需要选择2*32G内存条，可以让商家给你调整一下，加500左右，总价5000。然后你再淘一个RTX 3080Ti，跑分子动力学丐就丐一点，找一手卖家的话，3000左右拿下，跑分子动力学基本上和3090、4070Ti齐平。主机加显卡加一起8000。最后你可能还需要一块4-8T的机械硬盘，这个自己买一个插上就行。

作者
Author: Picardo 时间: 2025-5-5 23:40

slxc920113 发表于 2025-5-2 09:48
咸鱼买一台二手配件组装的水冷7950X主机，基本上4500左右能搞定（32G内存，自己淘配件组可以便宜300，但 ...

谢谢分享，我准备搞个4070ti super专门跑gromacs，u想搞个丐点的省点钱，现在想买个5700X+X570，请问您觉得5700X和5900X 5950X差距明显不，我看单核性能应该基本差不多

作者
Author: HPhfpx 时间: 2025-5-7 16:31

slxc920113 发表于 2025-4-7 12:39
https://www.sciencedirect.com/science/article/abs/pii/S0010465518302583
这篇文章发布的PASTA程序也 ...

楼主你好，我也用PASTA报错了，不会改代码，可以分享下改好的代码吗？

作者
Author: tonganlhy 时间: 2025-5-7 17:02

Picardo 发表于 2025-5-5 23:40
谢谢分享，我准备搞个4070ti super专门跑gromacs，u想搞个丐点的省点钱，现在想买个5700X+X570，请问您觉 ...

5到7升级很大，你还不如搞7700+B650M，全新的价钱上就贵个500左右。

作者
Author: Picardo 时间: 2025-5-7 23:49
本帖最后由 Picardo 于 2025-5-8 00:57 编辑

tonganlhy 发表于 2025-5-7 17:02
5到7升级很大，你还不如搞7700+B650M，全新的价钱上就贵个500左右。

谢谢，主要是内存太贵了

作者
Author: slxc920113 时间: 2025-5-8 08:53

Picardo 发表于 2025-5-7 23:49
谢谢，主要是内存太贵了

跑MD，不跑量化的话，32G都绰绰有余了。

欢迎光临计算化学公社 (http://bbs.keinsci.com/)