极低成本利用V100洋垃圾跑VASP

slxc920113 · 发表于 Post on 2025-3-20 21:48:26

本帖最后由 slxc920113 于 2025-3-30 20:15 编辑

最近smx 16G版本的V100显卡只要900左右，想要用它来跑GPU版本的VASP，个人自用，没有单位报销，摸索出一套低成本的显卡扩展的方案。
原来有一台7950X+3080Ti的主机用来跑gromacs的，也是二手配件7000搞定的。
虽然7950X的单核性能很高，很适合用来带GPU，但是可惜消费级CPU只有28条PCIE通道，并且主板上也只有2个PCIe X16的插槽。
sxm版本的V100配套的散热器是塔式的，高达9cm，也压根塞不进机箱。所以干脆用显卡扩展坞的方式。
最优的选择其实是用sxm2或者sxmv或者Dell 4140的主板，但是现在这些板子因为AI的火热已经被奸商们炒到6000+的价格了，相比去年1800左右的价格高了3-4倍，实在没有性价比了。

核心的想法在于利用博通的PEX芯片的DMA控制器来加速两张卡的通信，因为带nvlink的V100 PCIe版本，现在一张二手卡也得4000左右。

配件及成本如下：
1. V100显卡*2，900*2 rmb
2. 散热器*2，75*2 rmb
3. PLX8749芯片（带DMA控制器，低配版nvlink的功能）的PCIe扩展卡，带4个SFF8654-8i接口，530 rmb
4. SFF8654的PCIe转接底板*2，70*2 rmb
5. sxm转PCIe转接板*2，260*2 rmb
6. SFF8654-8i线缆*4，35*4 rmb
7. 8025 PWM调速风扇*4，5*4 rmb
8. 4pin风扇延长扩展转接线（连接主板自动调速，7950X的积热严重，主板控制的风扇速度肯定能压住V100的温度不超过65），6 rmb
9. 1200W 服务器电源，50 rmb
10. csps转atx转接板，75 rmb
11. xt60转显卡双8pin转接线*3，25*3 rmb
12. 搭建开放式机架的铝型材五金件若干，60 rmb
总价：3566

怕麻烦的话9+10+11三个可以用750W的ATX模组电源代替，注意电源至少需要4条显卡8pin的线，模组电源价格可能反而更加便宜，就是体积要大不少。

运行效果如下，7950X的性能足够强，两张卡基本可以完全跑满。

GPU版本的VASP_std 计算900多个电子，80多个原子，2*2*1 k点的体系，大约3-4s一个电子步。

如果是gam版本的速度则会更加快。实测和sxmv底板的nvlink相比，单卡运行效率基本完全一样，双卡运行大约会损失10%的运行效率，只适合短期进行过渡，坐等sxm板子降价。

最后，简陋的机架和垃圾7950X主机的照片

林家清染 · 发表于 Post on 2025-3-25 17:37:07

看到最后的图绷不住了,哈哈哈,好对称的机架啊,俩风扇隔着引体向上呢?

fantexi113 · 发表于 Post on 2025-3-28 11:12:44

海鲜市场有matx孔位的双卡板，可以整进机箱里，价格比散装贵一些

lijilo · 发表于 Post on 2025-3-28 12:10:07

牛逼，摩拜！

slxc920113 · 发表于 Post on 2025-3-30 20:39:30

本帖最后由 slxc920113 于 2025-3-30 20:46 编辑

fantexi113 发表于 2025-3-28 11:12
海鲜市场有matx孔位的双卡板，可以整进机箱里，价格比散装贵一些

期货，暂时还买不到。

成本我也算过：
1. V100显卡*2，900*2 rmb
2. 散热器*2，75*2 rmb
3. SXM主板，1600 rmb
4. PCIe转SFF8654转接卡，120 rmb
5. sSFF8654-8i线缆*2，35*2 rmb
6. 12cm机箱风扇*4, 8*4 rmb
7. 750W ATX电源，350 rmb
8. MATX迷你机箱：80 rmb
总价：4104

ddddnight · 发表于 Post on 2025-3-31 15:54:40

GPU版本可以跑CINEB吗

slxc920113 · 发表于 Post on 2025-4-5 21:45:43

ddddnight 发表于 2025-3-31 15:54
GPU版本可以跑CINEB吗

GPU版本的VASP是每个进程绑定一个GPU，所以如果你还要用VTST的代码，得保证你的GPU数目核images数目一样才行，或者就需要去修改VTST的代码。
如果没有那么多显卡的话，就用ASE的autoNEB算法，VASP作为底层引擎进行计算。

ddddnight · 发表于 Post on 2025-4-6 11:51:23

slxc920113 发表于 2025-4-5 21:45
GPU版本的VASP是每个进程绑定一个GPU，所以如果你还要用VTST的代码，得保证你的GPU数目核images数目一样 ...

明白了，感谢您的解答！

slxc920113 · 发表于 Post on 2025-4-7 12:39:51

ddddnight 发表于 2025-4-6 11:51
明白了，感谢您的解答！

https://www.sciencedirect.com/sc ... i/S0010465518302583
这篇文章发布的PASTA程序也可以，就是bug太多了，我改了十几处，基本上把代码的20%都改得面目全非才跑起来。

gaozx · 发表于 Post on 2025-4-7 14:57:14

slxc920113 发表于 2025-4-5 21:45
GPU版本的VASP是每个进程绑定一个GPU，所以如果你还要用VTST的代码，得保证你的GPU数目核images数目一样 ...

一张显卡也可以跑很多插点，只要显存够大就行

目前还不会计算 · 发表于 Post on 2025-4-8 16:21:51

gaozx 发表于 2025-4-7 14:57
一张显卡也可以跑很多插点，只要显存够大就行

这个需要什么设置呀

hk01211 · 发表于 Post on 2025-4-16 10:14:26

妙是妙风扇全力运转起来也是受不了。裸露在外风险不小。

exity · 发表于 Post on 2025-4-20 07:49:02

四国也~

QZA · 发表于 Post on 2025-4-30 11:29:35

老师，您好！我想问一下，你这个电脑配配件信息可以给我一份吗，我最近在学分子动力学（水性电解液）、高斯和cp2k（原子小于100）。因为没有报销，目前打算买二手配件组装；另外还有一个小问题，AMDCPU 是买散片还是直接买拆机de，显卡可以直接买帖子里面提到的V100吗。

tonganlhy · 发表于 Post on 2025-4-30 17:01:06

本帖最后由 tonganlhy 于 2025-4-30 17:03 编辑

QZA 发表于 2025-4-30 11:29
老师，您好！我想问一下，你这个电脑配配件信息可以给我一份吗，我最近在学分子动力学（水性电解液）、高斯 ...

lz这个方法可能不太适合你，需要解决的问题不少。你这个体系7950X+英伟达显卡即可满足。倒不如加点钱上好一点的显卡，比如5080等等。

		自动登录 Automatic login	找回密码 Forget password
密码 Password			注册 Register

[使用经验] 极低成本利用V100洋垃圾跑VASP

评分 Rate

浏览过的版块