计算化学公社

 找回密码 Forget password
 注册 Register
Views: 8542|回复 Reply: 52

[硬件评测] 性能翻倍?RTX4090科学计算之经典MD模拟全面测试

  [复制链接 Copy URL]

316

帖子

4

威望

2043

eV
积分
2439

Level 5 (御坂)

小屁孩

发表于 Post on 2022-10-31 17:16:49 | 显示全部楼层 Show all |阅读模式 Reading model
本帖最后由 Entropy.S.I 于 2022-11-1 03:40 编辑

性能翻倍?RTX4090科学计算之经典MD模拟全面测试
[本文首发于计算化学公社 | 文 熵增焓减 | 赞助 51972, 庚子计算 | yult-entropy@qq.com | 2022-10]

0  写在前面
        这次测试最初的目的是证明用何种性能级别的CPU可在运行GPU加速GROMACS(简称GMX)时榨干最新顶级消费级GPU——NVIDIA GeForce RTX 4090,但某日笔者建议一些bilibili UP主测试该GPU运行“生产力”软件的发言被不学无术/不懂装懂者群起而攻之,遂决定亲自上阵,在最初的测试计划中引入一些额外内容,对RTX 4090进行迄今全网最具系统性的分子动力学(MD)模拟性能测试。由于中文互联网上与GPU加速MD相关的benchmark文章较少,本文的讨论将不会局限于RTX 4090本身,会做一些扩展讨论。
        NVIDIA官方对相关软件已经进行了一些测试,但其测试只针对极度昂贵的数据中心GPU产品,以展示多GPU并行性能和其GPU节点对CPU节点的替代能力为主要目的;且笔者发现,其在使用不同软件运行STMV模型的测试中所用具体参数大相径庭,无法实现不同程序间的公平对比。因此,笔者特意在本次测试中使用了一些公平的模型和参数。此外,本次测试仅考虑单GPU运行的使用场景,因为这是实际使用中的大多数状态,且RTX 4090不具备NVLink,使用多GPU并行意义不大。

1  测试平台
        硬件平台(由于51972暂时不能提供RTX 3090Ti,故用ROG STRIX RTX 3090额外超频150MHz并将功耗上限设为480W以模拟RTX 3090Ti):

Table 1.png

        软件环境:Ubuntu22.04.1 LTS Desktop; Linux version 5.15.0-52-generic; GNU 11.2; CUDA Tookit 11.8; NVIDIA GPU Driver 520.56.06

2  测试程序信息及相应模型参数
        本次测试涉及GMX、AMBER、NAMD3、LAMMPS共4款MD软件,基准数据集和测试脚本在SI中(tar.bz2)。GMX、AMBER、NAMD3所用各模型主要参数如下表:

Table 2.png

        其中,A和A-2为表面活性剂在油-水界面的slab模型;B为体相的表面活性剂胶束模型;B-TI为模拟单个表面活性剂(134原子)从胶束中解耦过程的ΔG的热力学积分(TI)模拟的某个λ窗口模拟;4个STMV开头的模型均为STMV(烟草花叶病毒卫星病毒,经典的benchmark专用模型,近20年来被广泛用于HPC性能测试)在水环境中的模型,后3个是相应程序此前已公开报道的测试所用的模型与参数;benchPEP-h为若干小肽链在水环境中的模型。A、A-2、B、B-TI均选自笔者此前研究工作,与5月发布的HPC benchmark报告所用模型完全相同。
        值得一提的是,STMV-AMBER测试中额外使用了AMBER官方benchmark文件包中的优化版参数进行测试,即所谓“Boost”设置,具体机制是通过手动指定合适的“skin_permit”参数以减少pair list的频繁更新引起的性能下降,根据AMBER开发组的说法,将此参数设为0.75可在多数体系中获得8-12%的性能提升,并兼顾模拟的“安全性”,但此功能未在公平版mod中启用。
        10月11日笔者在BB空间发布“预告”后,有网友要求增加LAMMPS测试,但实际上笔者一开始特意将LAMMPS排除在测试列表外,因为其主攻固体材料模拟,力场基本与另3款软件不兼容,故无法与另3款软件横向对比;此外,其GPU加速功能对GPU的双精度浮点性能需求高,较不适合用来测试双精度浮点性能孱弱的游戏GPU。不过既然网友已明确提出需求,又考虑到RTX 4090的双精度浮点性能已超过1 TFLOPS,有一定测试价值,遂将LAMMPS加入测试列表。LAMMPS测试所用文件即为NVIDIA网站上公布的测试所用的文件,3个任务分别为LJ 2.5、EAM、Tersoff。经过测试,目前使用RTX 4090运行ReaxFF/C任务有bug,故放弃ReaxFF/C。也有网友提出希望测试VASP,但此软件是纯商业软件,笔者个人未购买使用许可,故无法进行测试,Material Studio同理(建议自发抵制VASP、MS这类溢价软件,尤其是MS)。本次测试所用的4款经典MD软件是当前最主流的,参考2021年计算化学公社论坛“你最常用的计算化学程序和DFT泛函”投票结果统计
        GROMACS 2022.3根据笔者博客上公布的流程编译CUDA版本;AMBER22根据笔者博客上公布的流程编译串行+CUDA版本,因为不测试多GPU并行,所以不编译MPI版本,也不启用NCCL;NAMD3直接使用官网提供的Alpha13预编译版本(NAMD_3.0alpha13_Linux-x86_64-multicore-CUDA-SingleNode.tar.gz,NVIDIA最新的测试也使用了此版本);LAMMPS版本为23Jun2022_update1,使用cmake预设文件“basic.cmake”和“kokkos-cuda.cmake”进行编译(“kokkos-cuda.cmake”中“Kokkos_ARCH_PASCAL60”改为“Kokkos_ARCH_AMPERE86”,未选择针对Ada Lovelace架构优化是因为目前没有相关选项),同时额外指定编译REAXFF包(-D PKG_REAXFF=on)。

3 发挥RTX4090的最大性能——选择合适的CPU
        GMX的开发遵循硬件资源利用率最大化的原则,因此近些年来其GPU加速一直采用CPU+GPU的方案,运行MD模拟时需要CPU参与部分计算工作,CPU-GPU的任务分配在一定程度上可人工调节,以获得最优效率。在最新的版本中,GMX最多可将非键相互作用、成键相互作用、PME、坐标/速度/力更新和约束计算完全offload到GPU上运行(GPU-resident模式,须在mdrun命令中添加“-bonded gpu -update gpu”),但域分解(domain decomposition)、对搜索(pair search)、一些特殊力的计算以及特殊算法仍必须使用CPU执行。值得一提的是,只有当CPU资源严重匮乏时,采用GPU-resident模式才能快于使用CPU计算成键相互作用(J. Chem. Phys. 2020, 153, 134110 Fig. 10),而“CPU资源严重匮乏”对于不同模型并无确定的分界点,因此本次测试将分别记录以这两种方式运行GMX的性能数据。
        近些年来,GPU性能增速飞快,CPU的性能开始表现出不足,例如2020年9月发布的NVIDIA GeForce RTX 3090,若用来运行GPU加速GMX,须配合同期的高端CPU——AMD Ryzen R9 5900X才能发挥出大部分性能。而RTX 4090的理论性能相较于RTX 3090翻倍有余,CPU性能的瓶颈将更为明显,因此,非常有必要研究如何让RTX 4090在GROMACS任务中发挥最大性能。
        AMBER、NAMD3、LAMMPS这3款MD软件的GPU加速模块均采用了“纯GPU”方案,这与GMX不同。采用这种方案的程序在运行时仅会占用1个CPU线程,几乎所有计算都在GPU上完成。但CPU单核性能对这类MD任务运行速度的影响依然值得考虑。
        本次测试使用了4款典型的CPU,其中,AMD Ryzen R9 7950X和intel Core i9 13900K都是最新的顶级MSDT平台CPU,特点是单核性能都非常强,多核性能也不弱;AMD EPYC 7R32是计算化学公社社长卢天老师(@sobereva)近期推荐的一型高性价比服务器CPU,适合计算密集型应用,具有48颗Zen2核心;intel XEON Platinum 8369B是近期intel阵营的高性价比服务器CPU,具有32颗Sunny Cove核心,在GMX测试中最多同时使用了2颗此CPU(64核),不使用8375C是因为此CPU遭到了奸商扫货,价格暴涨。
        测试使用shell脚本自动运行,详见SI。在GMX测试中,STMV-NPT、STMV-GMX和benchPEP-h的性能数据并非直接取自mdrun运行日志,而是扣除Write traj.项的Wall time后重新计算。因为这3个模型模拟过程中不写轨迹,但GPU计算完成后会花较长时间写gro文件,而mdrun运行日志给出的性能数据包含了这一耗时。在运行时间较长的生产模拟中这一耗时可忽略不计,而在benchmark任务中理应扣除这一耗时。

图 1

图 1

        图1展示了GMX运行各模型MD模拟的速度与所使用的CPU核数之间的关系。A和A-2模型中有大量成键项数量与原子数比值很大的分子(即烷烃和表面活性剂,其原子数占总原子数的60%),因此成键相互作用使用CPU计算与使用GPU计算的性能差异很明显,在图中直观地表现为两条曲线的交叉角度很大。其中A-2模型的cutoff更小,非键相互作用计算量更少,进一步突出了上述差异。在1250万原子的benchPEP-h模型的测试中,通过检查nvidia-smi dmon性能监控日志可发现,如果使用CPU计算成键相互作用,RTX 4090运行此模型时会出现间歇性的低时钟占用率、低功耗状态,且PCIe实时数据传输速率一直维持在近10GB/s,峰值可达20GB/s;而若采用GPU-resident模式,可以观察到GPU间歇性“熄火”的状况有一定改善,且PCIe数据传输量也有所减少;图1也显示对于该模型采用GPU-resident模式的模拟速度完全快于使用CPU计算成键相互作用。总之,对于大多数体系,只要CPU资源不是极度匮乏,都建议把成键相互作用放在CPU上计算(在mdrun命令中添加“-update gpu”,不添加“-bonded gpu”);而对于主观估计为CPU资源极度匮乏(例如使用服务器CPU搭配多块高性能GPU),或体系中成键项数量与原子数比值很大且使用了较小cutoff,或体系极度庞大(近千万原子级别)的情况,应当尝试采用GPU-resident模式,观察其速度是否更快。
        7R32作为4款CPU中多核理论性能最强者,运行GPU加速GMX却最慢,其原因是GPU加速GMX时CPU部分的计算是纯OpenMP并行,这种并行模式在高并行度下并行效率低,且对CPU核心间通信延迟很敏感,而7R32的理论单核性能较差,其多核理论性能靠核心数量支撑,且CPU本身采用小芯片设计,48个CPU核心分布在6个CCD上,跨CCD延迟较高。
        8369B虽然理论单核性能没有比7R32高很多,但它是单Die设计,核心间通信延迟很低,所以运行GPU加速GMX时其表现明显优于7R32(部分项目略低于之是因为受到客观条件限制,8369B使用了机架式平台,散热较差,RTX 4090高负载下的Boost频率比7R32所用的塔式平台低50MHz)。
        7950X的表现比8369B更好,主要原因是其单核理论性能极强,达到了7R32、8369B的2倍以上,然而,7950X仍稍弱于13900K。
        13900K采用了混合架构,P-Core与E-Core的性能差异极大,线程绑定的OpenMP并行在这种CPU上会使线程间有明显的负载不均衡问题,最终导致无法发挥出CPU的完整性能。从图1中也可发现,8-9核处普遍有一断层,但是,从第12核左右开始,混用P-Core与E-Core的速度就会反超使用8个P-Core的速度,intel Raptor Lake相较于前代Alder Lake增加E-Core数量、增大E-Core缓存、优化P-Core与E-Core间延迟是有明显益处的。13900K也是4款CPU中表现最好者。此外,从图中还可看出,24核稍慢于23核,因此,在使用13900K时,建议留一个E-Core供系统进程和GPU驱动使用,这也是GMX手册所建议的。
        值得注意的是,13900K中16个E-Core的性能在本测试中仅相当于5-6个P-Core,且13900K本身还有混合架构导致的线程负载不均衡问题,但其配合RTX 4090运行GPU加速GMX的性能却比7950X稍强,出现这一现象的原因除了13900K P-Core的理论单核性能稍强于7950X外,也包括其核心间通信延迟总体上比7950X更低。7950X跨CCD的延迟过高,严重限制了其性能发挥。实际上从图1中也能看出,部分7950X的曲线在8-10核处有一凹陷,且8核之后曲线斜率明显变小。@ECSM_Official在这2款CPU的首发评测中就已测试了它们的核心间延迟:RaptorLake S,再进一步,Intel Core i9 13900K评测它很接近完美了,AMD R9 7950X全面评测
        综上,在GPU加速GMX这一应用场景中对CPU的需求有以下特征:首先,需要单核性能与多核性能都强的CPU,相同理论多核性能下,单核越强、核数越少越好;其次,核心间通信延迟对CPU性能发挥有很大负面影响。

图 2

图 2

        图2展示了4款CPU配合RTX 4090运行GMX、AMBER、NAMD3和LAMMPS的性能,0%基准线是7950X。前2幅小图是图1的另一种表现形式,从中可以发现,对于GMX,CPU多核性能对不以GPU-resident模式运行MD任务的速度有很大影响,但对GPU-resident模式影响较小。从后4幅小图中可以发现,CPU单核性能对4款MD软件运行MD任务的速度均有影响,其中对GMX和AMBER的影响很明显,而对NAMD3和LAMMPS的影响相对小一些。
        再谈谈采购建议若使用RTX 4090加速GMX,当下最佳搭档CPU是intel Core i9 13900KF,如果采购时发现AMD Ryzen R9 7950X及其主板的价格远低于前者,也可买之。如果预算较低,打算选4080 16GB、3090Ti级别的GPU,推荐13700KF,不推荐7900X。暂不推荐任何服务器CPU,尤其是AMD EPYC CPU,若已有这类CPU,可在此基础上添加多块RTX 4090,为每块RTX 4090保留8-16核,以GPU-resident模式运行MD模拟。采购用于搭配RTX 4090运行AMBER、NAMD3或LAMMPS的CPU时,单核性能同样是首要关注因素,但不必选13900K,用13600KF配2块RTX 4090即可。

4 RTX4090实际性能是否“翻倍”?
        RTX 4090的理论性能是RTX 3090Ti的2倍,这一次的性能提升可能是十多年来NVIDIA消费级GPU性能提升最大的一次,非常有必要测试并对比两者用于GPU加速经典MD模拟时的实际性能。此外,实际做研究时,在系统稳定的前提下计算速度越快越好,能效并不重要,超频是可行的操作,笔者自己跑生产模拟时也会对硬件进行一些保守的超频,所以有必要测试保守超频的收益。

图 3

图 3

        图3展示了RTX 4090和超频150MHz且功耗上限提升至600W的RTX 4090相较于RTX 3090Ti在各MD任务下的性能提升百分比,数据在3号和4号硬件平台(13900K平台)上测得。从图中可以发现,RTX 4090运行经典MD模拟的性能并没有实现普遍的“翻倍”,在不同模型、不同软件下的表现各不相同,超频收益普遍较明显。
对于GMX,当成键相互作用在CPU上计算时,不同模型的表现差异非常大,其中A-2模型极低的提升幅度显然是由于CPU性能有严重瓶颈,benchPEP-h模型提升幅度较低是因为CPU-GPU通信有明显瓶颈,这些都已在第3节有所讨论。从图1中可以知道,上述2个模型以GPU-resident模式运行速度明显更快,在实际生产模拟中必然会以GPU-resident模式运行,故可忽略图3第1幅小图中的这2个模型。当GMX以GPU-resident模式运行时,不同模型的表现差异显著缩小。对于GMX和AMBER来说,几个STMV模型基本实现了“翻倍”,其中AMBER的STMV-NPT模型提升幅度高达108.65%。作为“纯GPU”程序,AMBER和NAMD3下各个模型的提升幅度均达到了70%以上;AMBER的上限更高,且超频收益与超频幅度相符;而NAMD3下没有任何模型实现“翻倍”,超频的收益也不大。对于LAMMPS,LJ 2.5和EAM两个任务中RTX 4090性能实现“翻倍”,Tersoff任务离“翻倍”还有较大距离。而对比NVIDIA公布的测试结果,RTX 4090运行LAMMPS的性能(具体数据见SI)仍明显不如A100,甚至不如V100,这显然是因为RTX 4090无FP64执行单元,双精度浮点性能太弱。总之,以上结果体现了模型大小以及MD程序本身的设计对RTX 4090性能发挥的重要影响,实际上,模型大小的影响在一定程度上是软件优化的问题。
        此外,通过检查nvidia-smi dmon性能监控日志还可发现,在测试运行过程中,全程显存占用率不超过60%,对GMX而言甚至不超过40%,所以显存不存在瓶颈,这否定了此前一些人关于“显存瓶颈”的猜想。需注意,显存占用率和显存使用量不同,前者是指在采样周期内GPU读写显存的时间百分比。
结合本节和第3节内容可得出结论:当前,制约RTX 4090的性能在GMX、AMBER、NAMD3和LAMMPS中发挥的主要瓶颈是CPU单核性能以及软件优化,对于GMX,CPU多核性能、CPU核间通信延迟以及CPU-GPU通信能力是次要瓶颈;当前,RTX 4090运行经典MD模拟的性能相较于RTX 3090Ti总体上有62~109%的提升,在使用合适的软件和模型的情况下,确实可实现“翻倍”,超频150MHz后实际提升幅度为1~6%。如今Ada Lovelace架构刚刚上市,并无针对性优化,预计在将来几个月,随着几款MD软件以及编译器和驱动层面对于Ada Lovelace架构的优化,RTX 4090运行MD模拟的性能还会有进一步提升。

5 GMX、AMBER、NAMD3速度对比
        去年12月有朋友对NVIDIA官网测试结果做了详细分析(http://bbs.keinsci.com/thread-27072-1-1.html,4楼),讨论的是STMV模型,但NVIDIA官方在使用不同软件运行STMV模型时所用的具体参数区别很大,无法实现不同程序间的公平对比,因此,笔者重新使用一些公平的参数对GMX、AMBER和NAMD3这3款主流MD软件的速度进行对比。
图4选取了在3号和4号硬件平台(13900K平台)上测得的数据,以在单CPU线程、GPU-resident模式下运行GMX的速度为100%基准;“max perf.”指的是图1中相应曲线最高点的数值,即充分利用13900K CPU资源后能达到的最高性能。从图4中可发现,虽然GMX的GPU-resident模式未彻底将MD计算转移到GPU,但其只用1个CPU线程来与AMBER公平对比时并无明显弱势,而GMX充分利用CPU资源后,性能还有巨幅提升,最终远超AMBER;此外,NAMD3的性能明显弱于GMX和AMBER。综上,当前还是最推荐广大研究者使用GMX和AMBER做经典MD模拟,这2款软件性能都不错(根据NVIDIA的测试,后者多GPU并行效率极高),且在功能方面可以互补,足以胜任绝大部分研究工作。

图 4

图 4


6 特别篇:一些老数据
        SI中提供了一些以前的测试数据(xlsx)。这些数据仅供参考,不在此作仔细讨论,但有一点应当注意:评估一款NVIDIA GPU加速MD模拟的性能不应只关注FP32,也应该看其他部分,例如Tensor Core。数据显示GTX 1080Ti加速MD模拟的性能不如RTX 4000,这是因为Turing架构(SM75)引入了Tensor Core,导致FP32只有7 TFLOPS的RTX 4000比FP32有11 TFLOPS的GTX 1080Ti还强。从Ampere架构(SM86)到Ada Lovelace架构(SM89)未改变SM中各类执行单元的比例,所以RTX 40系列相较于RTX 30系列FP32性能翻倍基本相当于MD模拟整体性能翻倍。至于采购建议,若预算极低,需要购买二手老GPU,极不推荐没有Tensor Core的NVIDIA GPU

SI
        基准数据集和通用性一般的测试脚本(tar.bz2);经简单整理的测试结果原始数据(xlsx)。文件下载地址:https://www.aliyundrive.com/s/9eUZ19WGepx,提取码:xp66。附件仅上传了xlsx文件。

致谢
        本次测试所用的硬件由bilibili UP主@51972和庚子计算(济南庚子矩阵云科技有限公司)远程赞助,同时感谢他们专业且高效的协作,使本次测试得以顺利完成。

推荐阅读
1.       GROMACS Manual(GMX官方文档,应详细阅读GPU运行mdrun以及Performance相关章节);
2.       J. Chem. Phys. 2020, 153, 134110(该文是了解GPU加速GMX的必读文章,由GMX开发团队核心成员撰写,极为深入地讲解了近年来GMX的GPU加速功能,并进行了一些性能基准测试,其中提到的跨GPU直接通信功能已从2021版开始正式引入);
3.       NVIDIA HPC Application Performance(英伟达对其数据中心/HPC专用GPU的性能测试,长期更新);
4.       分享最近给某超算平台GPU节点做的Benchmark(笔者于2022年5月完成的小测试,工作量不大);
5.       Amber,gromacs,namd,acemd3 和desmond 计算速度咨询(此贴4楼基于文献数据讨论了几款MD软件的速度,但个别描述有误);
6.       GROMACS (2019.3 GPU 版) 并行效率测试及调试思路(由钟成老师撰写,发布于2019年,详细讲解了对GMX的GPU加速性能进行测试的思路,但部分内容可能稍有过时)。

碎碎念
        为什么不写成正式的论文投稿到学术期刊?
1. 投稿论文需经过漫长的同行评议阶段,而本文具有时效性,如果投稿论文,等到论文发表,文中很多内容将会过时。
2. 拒绝水论文。这篇benchmark文章如果写成正式的论文,只有核心期刊或末流SCI的水平,这不符合笔者个人现在应当有的水平。
3. 做研究应当在一定程度上遵循实用主义。本次测试的目的是让大家直观地了解软硬件的性能和特点,为采购硬件、选择软件提供参考,这种目的用格式开放的网络图文来传播会更高效、实用。

perf_data_4090.xlsx (153.74 KB, 下载次数 Times of downloads: 22)

评分 Rate

参与人数
Participants 41
威望 +3 eV +189 收起 理由
Reason
ChemG + 5 精品内容
yihanxu + 5 好物!
ggdh + 5 tql
ccjjww25 + 5 赞!
Geyer + 5 精品内容
伞阳 + 5 牛!
五月雨 + 5 牛!
Trinity + 3 牛!
CHC + 5 赞!
chenbq18 + 5 赞!
Acee + 5 233333
t11b41 + 4 牛!
16aDream + 5 好物!
新月之痕 + 5 牛!
月亮欠我九条鱼 + 3
xujc1983 + 5 赞!
Picardo + 5 谢谢
夏一天 + 5 精品内容
Nichoras.PY + 2 牛!
aqhuangry + 5 牛!

查看全部评分 View all ratings

- 向着虚无前进 -

12

帖子

0

威望

355

eV
积分
367

Level 3 能力者

发表于 Post on 2022-10-31 17:55:02 | 显示全部楼层 Show all
太刺激了,但个人又很不喜欢大小核,不知道牙膏会不会良心发现出一个纯大核的13代

864

帖子

0

威望

2475

eV
积分
3339

Level 5 (御坂)

发表于 Post on 2022-10-31 18:33:44 | 显示全部楼层 Show all
本帖最后由 牧生 于 2023-1-9 15:13 编辑

等我6149 CPU + 1080ti GPU + 3090 GPU退役的时候,不知道又有什么高端产品出现了
只是不知道机箱还能不能塞进那么大尺寸的GPU


今天在autodl租用一天的4090,跑15万原子的体系,大约240 ns/day,GPU占用约70%,用了-update gpu。。
QQ截图20230109150931.png

QQ截图20230109150931.png

我自己办公室的6149 CPU (16个线程)+3090, 跑这个体系,大约130 ns/day。

如果autodl的CPU更好一点,估计还能再快点。

423

帖子

0

威望

2495

eV
积分
2918

Level 5 (御坂)

小白

发表于 Post on 2022-10-31 19:04:29 | 显示全部楼层 Show all
打算买的3个GPU节点都是4090*2+7R32*2,现在准备重新考虑下CPU了
No problem is insoluble in all conceivable circumstances.

21

帖子

0

威望

353

eV
积分
374

Level 3 能力者

发表于 Post on 2022-10-31 19:19:39 | 显示全部楼层 Show all
本帖最后由 xptracy 于 2022-10-31 19:24 编辑

如果是win系统跑是win10还是11好?  GROMACS (2019.3 GPU版)跟最新的差多少

21

帖子

0

威望

353

eV
积分
374

Level 3 能力者

发表于 Post on 2022-10-31 19:30:16 | 显示全部楼层 Show all
13700K+4090 跟7950x+4090 比选哪个更好?

137

帖子

1

威望

1366

eV
积分
1523

Level 5 (御坂)

发表于 Post on 2022-10-31 19:42:52 | 显示全部楼层 Show all
庚子计算的人来了 谢谢楼主的测试报告

对于个人用户和小课题组,推荐用13900KF这种消费级平台配合4090,速度最快,安装最新的桌面版Ubuntu系统还可以直接登录远程桌面登录上去使用图形界面 很方便。

服务器CPU的好处是可以配多块GPU。对于服务器平台,实际的使用场景不会是一台服务器只带一个GPU,而通常是一个服务器配2-4张GPU。如果一台64核服务器配2张或4张GPU,则应考察一个GPU配合32核或16核的速度(以下只讨论GROMACS):
        A    A-2 B     B-TI     STMV-NPT      benchPEP-h
16c  104.462         100.064         302.448         199.739         37.326         3.387
32c  120.007         139.615         310.255         210.264         40.533         3.484
64c  125.183         175.098         305.268         178.326         41.601         3.399

可以看到除了A和A-2体系对CPU需求很高之外(楼主贴中有说明),其它体系在使用到16核时距离满速就很近了。这样子一台8369B可以带4个GPU,每个GPU用16核。当然,楼主测试16核的时候,同一CPU的另外16核都是空闲状态,这样睿频可以跑得更高一些;如果跑满CPU,那么同样的16核CPU性能会比楼主测试的结果略低(楼主对32核的测试没有这个问题,因为是用满了一颗CPU)。因为GPU是通过PCIe与两颗CPU中的一颗直连的,所以用到32核就可以说是“满配”了,再用更多的核就涉及与另一颗CPU的通信了,一般来说不会再有提升甚至反而下降(A和A-2体系比较特殊)。

1台多GPU服务器相比2-4台桌面机 整体性能弱一些 价格上也稍微便宜一点。但主要是更省空间 可以做集群方便管理。例如假设有100万预算,都搞桌面机的话差不多要30台机器,太占地方了。且因为PCIe被显卡占了,没法增加其他的外围设备做集群,基本只能每台机器单独连接使用,会出现一些机器在排队,一些机器又在空闲的情况。所以对于任务量大/使用人数多、预算高(几十万上百万)的大课题组,可以考虑服务器平台配多个GPU,多台机器做成集群统一使用。如果同时有如高斯、ORCA等CPU计算软件的使用需求,就更是需要使用服务器平台了。


316

帖子

4

威望

2043

eV
积分
2439

Level 5 (御坂)

小屁孩

 楼主 Author| 发表于 Post on 2022-10-31 19:53:41 | 显示全部楼层 Show all
本帖最后由 Entropy.S.I 于 2022-10-31 19:55 编辑
xptracy 发表于 2022-10-31 19:30
13700K+4090 跟7950x+4090 比选哪个更好?

7950X。看图1,13900K 16核的位置就相当于13700K,总体上比7950X稍弱一些。13900K首发是4899,现在涨到5699了……
- 向着虚无前进 -

316

帖子

4

威望

2043

eV
积分
2439

Level 5 (御坂)

小屁孩

 楼主 Author| 发表于 Post on 2022-10-31 20:01:10 | 显示全部楼层 Show all
xptracy 发表于 2022-10-31 19:19
如果是win系统跑是win10还是11好?  GROMACS (2019.3 GPU版)跟最新的差多少

完全不建议用Windows系统跑MD
- 向着虚无前进 -

26

帖子

0

威望

2205

eV
积分
2231

Level 5 (御坂)

发表于 Post on 2022-11-1 00:10:06 | 显示全部楼层 Show all
不知道13代大小核对Gaussian之类的支持如何, 可以的话13900K+D5感觉会比较有性价比

4万

帖子

99

威望

4万

eV
积分
89933

管理员

公社社长+计算化学玩家

发表于 Post on 2022-11-1 05:36:48 | 显示全部楼层 Show all
zhouoh 发表于 2022-11-1 00:10
不知道13代大小核对Gaussian之类的支持如何, 可以的话13900K+D5感觉会比较有性价比

纯靠CPU计算的情况不建议用大小核的CPU。如果机子确实同时要兼顾Gaussian,我建议用7950X
北京科音自然科学研究中心http://www.keinsci.com)致力于计算化学的发展和传播,长期开办最高质量的各种计算化学类培训:初级量子化学培训班基础(中级)量子化学培训班分子动力学与GROMACS培训班量子化学波函数分析与Multiwfn程序培训班,内容介绍以及往届资料购买请点击链接查看。这些培训是计算化学从零快速入门以及进一步全面系统性提升研究水平的最佳途径。培训各种常见问题见《北京科音办的培训班FAQ》
欢迎加入“北京科音”微信公众号获取培训最新消息、避免错过网上最有价值的计算化学文章!
欢迎加入人气最高、水准最高的综合性理论与计算化学交流QQ群“思想家公社QQ群”:1号:18616395,2号:466017436,3号:764390338,搜索群号能搜到哪个说明目前哪个能加,合计9000人,讨论范畴相同
思想家公社的门口Blog:http://sobereva.com(发布大量原创计算化学相关博文)
Multiwfn主页:http://sobereva.com/multiwfn(最强大的量子化学波函数分析程序)
ResearchGate:https://www.researchgate.net/profile/Tian_Lu
Money and papers are rubbish, get a real life!

6

帖子

0

威望

1171

eV
积分
1177

Level 4 (黑子)

发表于 Post on 2022-11-1 07:52:13 | 显示全部楼层 Show all
本帖最后由 dexyu 于 2022-11-1 07:57 编辑

"8-9核处普遍有一断层,但是,从第12核左右开始,混用P-Core与E-Core的速度就会反超使用8个P-Core的速度"

如果用intel12/13代,但关小核,CPU计算影响不知如何,是停留在测试中8核断层?或是反而不如?

1061

帖子

16

威望

5784

eV
积分
7165

Level 6 (一方通行)

計算化学の社畜

发表于 Post on 2022-11-1 08:54:12 | 显示全部楼层 Show all
KiritsuguPapa 发表于 2022-10-31 19:42
庚子计算的人来了 谢谢楼主的测试报告

对于个人用户和小课题组,推荐用13900KF这种消费级平台 ...

哈哈,原来切丝啪啪是庚子计算的人啊……
Stand on the shoulders of giants

949

帖子

6

威望

5293

eV
积分
6362

Level 6 (一方通行)

发表于 Post on 2022-11-1 10:49:31 | 显示全部楼层 Show all
本帖最后由 fhh2626 于 2022-11-1 10:57 编辑

做MD效率测试强烈建议加上OpenMM,毕竟是现代MD软件的标杆
穷了,试试接论文润色+修改建议,直接私信

13

帖子

0

威望

197

eV
积分
210

Level 3 能力者

发表于 Post on 2022-11-1 11:37:15 | 显示全部楼层 Show all
有一个问题是 我记得Linux 5.16才开始支持大小核来着,5.15不会有奇怪的调度问题吗?

本版积分规则 Credits rule

手机版 Mobile version|北京科音自然科学研究中心 Beijing Kein Research Center for Natural Sciences|京公网安备 11010502035419号|计算化学公社 — 北京科音旗下高水平计算化学交流论坛 ( 京ICP备14038949号-1 )|网站地图

GMT+8, 2023-2-5 09:18 , Processed in 0.364663 second(s), 26 queries .

快速回复 返回顶部 返回列表 Return to list