AMD4代 单台 vs 8336C 双路 4台

Janus

逛了逛帖子，最近聊的最多的是 AMD 9654 四代CPU。
之前都是购买双路8336C，3200 512G，税后3万不到；最近可能会稍微拓展哈，十万的预算，想请大神帮忙建议一下，是3-4台8336C，还是2台单路9654，或者1台双路9754？
主要用的软件是VASP，CP2K。
自我感觉，买AMD有点战未来的感觉。AMD2代在VASP上效果不咋地，128核干不过两颗8336C。4代不知道效果如何，如有这方面的测评，也烦请大神帮忙提供哈。

Janus

差不多决定买9654了。 今天租了3小时的单路9v84 384G内存 测试了一下性，9V84性能同9654。3小时包含系统更新、各类软件安装等。测试比较仓促，没有系统性调试。
1. CP2K，单路9v84跑H2O-256耗时，131s，8375C 183s，8336C 202s；
2. VASP，跑一个小任务，取3个LOOP的平均值。AOCC-AOCl的9v84 96核为14s，同时提交两个48核任务到9v84，时间在23.5s；8336C 64核心在16.5s.
3. 同2的任务，9v84用intel oneapi 编译的vasp，96核心执行时间为20s。
从编译软件就能感觉出来，这个服务器非常顺滑；vasp是直接改的arch中的模板，cp2k直接抄的“Entropy.S.I”的测评。再稍微优化哈，成绩应该会更好。
AMD确实YES了，相信AOCC AOCL再更新几版，vasp性能还会提升。


硬件参数，是否有超频啥的，我不了解。计算中途查看了频率，在3.5GHz。

啊不错的飞过海

renzhogn424 发表于 2023-9-27 14:24
请教一下，如何进行map-by l3cache？ MPI*OMP=64*3是export OMP_NUM_THREADS=3 ，然后mpirun -n 64....对 ...

用L3的参数按http://bbs.keinsci.com/thread-40077-1-1.html写法是--map-by ppr:2:l3cache，后面的:pe=n控制OpenMP并行。
MPI程序控制OMP并行靠命令行的--map-by :pe=n控制比OMP_NUM_THREADS好使些，主要是不用管超线程的事，MPI的默认设置就是绑定并吃满这个核上的所有线程。不过对一些用通信线程的程序就不了解了，也许后者效率反而高。

gog

renzhogn424 发表于 2023-9-27 14:24
请教一下，如何进行map-by l3cache？ MPI*OMP=64*3是export OMP_NUM_THREADS=3 ，然后mpirun -n 64....对 ...

应该是这样。但等版主回复确认

renzhogn424

Entropy.S.I 发表于 2023-9-26 15:09
VASP等@KiritsuguPapa 的分析吧。目前看来纯泛函（https://github.com/hpc-uk/archer ... in/others/VASP/T ...

请教一下，如何进行map-by l3cache？ MPI*OMP=64*3是export OMP_NUM_THREADS=3 ，然后mpirun -n 64....对吧？

元无虚空

chrinide 发表于 2023-9-26 16:06

应该是中古时代的经验，当时还是皓龙的U，我记得测试过当时很多程序的并行效率，确实AMD比同时代的X ...

Firefly的Alex真是好人啊，Firefly论坛上的各种疑难杂症他都亲自替你解决得稳稳当当！可敬的人啊！

abin

Entropy.S.I 发表于 2023-9-25 18:45
又做了一些tuning，现在是2.75倍

考虑到, 注入CP2K,VASP等真实场景的并行计算,
一般会占据很多物理内存, 可以推测, 处理器自身的缓存大小带来的影响可以忽略.

粗略认为, AMD和Intel在支持AVX52指令集方面, 本质性能差异不大.

剩下的差异就是, 核心之间的通讯效率, 每个核心每秒能完成的计算次数(频率), 核心的多少了.

对于并行效率很好的程序而言, 在支持的指令集一致的时候, 显然核心多, 频率高, 更具有优势.
最后再评估, 价格层面的优势大不大?

如果追求在一个主板上, 实现更多的核心, 更多的内存来跑更大的体系,
AMD当然是可以解决问题的.

Entropy.S.I

Weldingspock 发表于 2023-9-26 21:17
有没有大佬之后会测9554，刚好实验室买了这个型号

我不会专门去协调硬件了。你有9554可以自己测试然后发出来

Weldingspock

有没有大佬之后会测9554，刚好实验室买了这个型号

Janus

Entropy.S.I 发表于 2023-9-26 15:39
这是什么经验？我印象里intel Xeon由于核间延迟低且均匀，并行效率比AMD EPYC高很多，单颗CPU里甚至不需 ...

也是经验之谈，对一般的体系来说，vasp程序在60多核往后走，瓶颈就不在核芯的数量了。不是非常特殊的体系，192核可能和96核的速度差不了多少，这么来说，单路可能就占优势。
不过9654这颗U也不能用一般的眼光来看，期待后期系统性的报告。

chrinide

Entropy.S.I 发表于 2023-9-26 15:39
这是什么经验？我印象里intel Xeon由于核间延迟低且均匀，并行效率比AMD EPYC高很多，单颗CPU里甚至不需 ...

• 应该是中古时代的经验，当时还是皓龙的U，我记得测试过当时很多程序的并行效率，确实AMD比同时代的Xeon并行效率高。现在这种数据在网上比较难看到，当年的PC-GAMESS还是最快的量化软件的时代。
• 可以参考这几个结果 Opteron 2350 (Barcelona) http://classic.chem.msu.su/gran/gamess/barcelona.html，到8核心很多测试的并行标度都是超线性的
• 同时代Intel Dunnington Xeons MP L7455 http://classic.chem.msu.su/gran/gamess/dunnington.html , 到8核心所有测试的并行标度都是低于线性的
• 每一个测试可以看到Barcelona的并行标度都是高于Xeons。
  

可惜了PC-GAMESS（Firefly）， Alex A. Granovsky是少有的数学功底极强的理论化学家，2017年时候就说Firefly已经搞定了DFT解析频率计算的代码，在做优化，后面就生病了，没两年就走了，Firefly的更新就此停摆已经7年了！哪怕是7年前的代码，Firefly的速度和效率依然不落一直在发展的量化软件。

Entropy.S.I

chrinide 发表于 2023-9-26 14:42
正解，单路并行效率应该会更高一些，牙膏厂的U并行效率一直比按摩店低一些

这是什么经验？我印象里intel Xeon由于核间延迟低且均匀，并行效率比AMD EPYC高很多，单颗CPU里甚至不需要做复杂的调优（不过现在intel也开始chiplet了，需要观望观望，从3月份3495X带4090跑GMX的测试结果来看，intel的EMIB还是很强的，增加的延迟非常少，不过这个封装工艺的成本可能比AMD单纯走PCB基板的封装高很多）。

Entropy.S.I

VASP等@KiritsuguPapa 的分析吧。目前看来纯泛函（https://github.com/hpc-uk/archer ... in/others/VASP/TiO2）EPYC 9654性能非常理想，但杂化泛函（https://github.com/hpc-uk/archer ... rs/VASP/CdTe_Hybrid）intel这边似乎还有点神秘加成，估计还没调优好，但是没时间了，还要测另一边的9754。

这次我自己主要负责CP2K、G16和ORCA的测试，请别人测试了VASP和COMSOL。

CP2K也需要非常仔细的调优，即使是使用最新的软件、编译器和库，不做并行参数的调优，性能也会比调好后慢一大截。例如H2O-64和H2O-256，单纯MPI*OMP=96*2速度分别是15s、107s；改用MPI*OMP=64*3（考虑平方数个MPI Rank）并且map-by numa（BIOS设置了NPS=4），速度分别提升到14.4s、98s；进一步调优，改用map-by l3cache，改回MPI*OMP=96*2，速度大幅提升到11.6s、79s。

G16和ORCA，双路9654测出来的数据和之前论坛里其他朋友测试出来的7T83/7B13（7763定制马甲）数据对比，性能提升都是100%起步。

chrinide

Janus 发表于 2023-9-25 23:09
按照您的这个结果，可能单路的EPYC 96 core 效益可能更优

正解，单路并行效率应该会更高一些，牙膏厂的U并行效率一直比按摩店低一些

Janus

Entropy.S.I 发表于 2023-9-25 16:21
测试结果出来了，VASP6.4.2，AOCC4.1+AOCL4.1，双路EPYC 9654（192个Zen4内核，实际频率3.7GHz）速度是双 ...

按照您的这个结果，可能单路的EPYC 96 core 效益可能更优