计算化学公社

标题: 锐评Blackwell GPU [打印本页]

作者
Author: Entropy.S.I 时间: 2024-3-20 07:54
标题: 锐评Blackwell GPU
作为科学计算研究人员，站在HPC/科学计算的角度评论一下昨天发布的Blackwell GPU。

1. 完全没提到Vector算力，包括FP32 Vector和FP64 Vector。而这两者是HPC最主要使用的算力，由所谓的CUDA Core提供。FP64 Tensor算力相较于上代H100也倒退了，64TFLOPS>40TFLOPS，另外，作为对比，AMD Instinct MI300X的FP64 Matrix是163TFLOPS。NVIDIA放弃HPC是意料之中的事情，然而产品宣传中还在提HPC，HPC性能却“倒退”，这种行为实属恶臭。

(, 下载次数 Times of downloads: 131)

2. 虽然不知道B100/B200的FP32 Vector和FP64 Vector算力，但可以大胆预测这东西用于HPC/科学计算不可能有性价比。当然，H100/H200也半斤八两，B100/B200只是会更臭罢了。建议科学计算用户去捡大船V100 SXM2用，这玩意性价比可太高了，美国数据中心下架的货只要30美元一片（不过最近被国内某些只要钱不要母亲的奸商炒到了接近2000CNY，建议不要让奸商尝到甜头）。

3. 可以预见的是，下一代会彻底把Vector算力（CUDA Core）和Tensor算力（Tensor Core）解耦，出现“纯Tensor Core”芯片专门服务于AI，这种芯片将不再适合被称为“GPU”，而应称为NPU/TPU，这种芯片完全无法用于HPC。另一方面，届时的Vector-oriented SKU性能会如何就很悬了，毕竟如今HPC的市场还不到AI的1成，HPC产品要怎么做全凭黄狗良心，就像游戏GPU一样。

4. 唬人的算力指数上升，有很大一部分功劳是每代推进一次的“降精度”，如今已经降到FP4，每个参数只有2^4=16种状态，几乎不可能继续降低精度，降精度红利已经消失，好奇之后NVIDIA打算怎么办。大概率是继续堆interconnection，建造规模更大的“Single Giant GPU”和“AI Factory”。

5. GB200 Super Chip的架构梦回IBM Power 8 + P100和IBM Power 9 + V100……果然那个男人还是忘不了她……

(, 下载次数 Times of downloads: 132)

作者
Author: abin 时间: 2024-3-20 11:18
在我看来，
用GPU跑科学计算，可能只是一个意外的发现，算是一个副产品。
因为科学计算，没有丰厚的投资回报。

公司能活下去，那么产品必须有人来买。

当前，科技公司巨头都在奋力开拓生成式人工智能，
所需硬件，英伟达又处于遥遥领先的行列，
满足市场需求，争取公司最大合法利益，
逐步舍弃只靠政府投资的科研领域，是预料之中的。

如果遥遥领先的鼻祖，华为能造出来一批供给科研领域的GPU，那是很美好的。

国产挺好的，曙光的DCU也不差，就是价格不美丽，17万一台。

作者
Author: nemolee 时间: 2024-3-20 15:41
abin说的对，科学计算暂时看确实没啥钱途，之前能吃到游戏佬剩饭真是靠运气，吃不到AI的确属正常。

巨头们不屑于做的就是国产的机会，慢慢来吧。

作者
Author: 喝杯热水 时间: 2024-3-21 09:08
科学计算的需求带来的产值不够高啊。

作者
Author: Graphite 时间: 2024-4-17 10:02
短期需求和经济热点在AI、工商业侧，这么做倒是无可厚非。
做就做了，还有脸提HPC，科研圈也不是人人都懂软硬件，可能不少人没多想就买单这个“新世纪K40”了。

欢迎光临计算化学公社 (http://bbs.keinsci.com/)