求教同样的资金买两台E5-2696 v3的机器好还是买一台8173M的机器好呢？

mgqqlwq

CrysLantZ 发表于 2020-6-3 11:27
假如性价比相当的话，我倾向于买8173m，因为它晚推出2年，新一些

嗯嗯，是的，一台机器比起两台机器也更方便一些感觉

abin

mgqqlwq 发表于 2020-6-4 17:54
之前问过一些厂家的，因为说延迟的问题，跨节点的话推荐至少56g的。
我自己这边用lammps的时候，千兆网 ...

 厂家推荐的56G带宽的，是IB网络低配版本。
那玩意，交换机、线缆、卡，配四台机器，价格可能比你的机器还要贵的。

当然IB网络和以太网有本质差异的。

多节点并行， 效率低，
要分析是程序算法问题，
或者是I/O造成的效率低。
如果是后者，改造网络有办法，
如果是前者，减少CPU核心数目，或者优化并行算法。

mgqqlwq

sobereva 发表于 2020-6-3 21:25
lammps的GPU加速相关讨论看https://sourceforge.net/p/lammps/mailman/message/36858507/。我自己不怎么 ...

谢谢卢老师！您找到的这个讨论，问题就是我之前问的，但是了解的比较少，问完还是不太清楚怎么选
卢老师，我在Ubuntu下的Firefox和Chrome上登录论坛会遇到输入用户名和密码后登录论坛无反应的现象，就是点击后跳一下没有错误但是并没有登录，不知道这个是我自己的问题呢还是论坛登录的问题呢？最近一直都这样，需要再虚拟机Windows下面登录才行

mgqqlwq

bobosiji 发表于 2020-6-4 10:42
**** 本内容被作者隐藏 ****

不好意思，您回复的内容需要积分超过4000才能看，我不清楚是为什么
能麻烦您改下回复的模式或者私信下吗？

niobium

mgqqlwq 发表于 2020-6-4 17:48
多台服务器组成小集群的话，网络用一个就可以了，数据也是在一起，好像更方便一些。
多台机器单独使用我 ...

集群的优点你说了，就是数据都在一起，不用倒来倒去，软件也装一次就行。缺点是万一共享的存储坏了，就完蛋，计算节点基本就跟着用不了了。
单独使用，可能有些东西麻烦点，数据要从主节点传到计算节点上做计算。（如果你们网络允许，也可以每一台都是登录节点，也没啥不方便的）软件可能也要在每台机器上都装一遍，但这都是一次性劳动，也就机器买回来时装一下。

mgqqlwq

abin 发表于 2020-6-4 18:07
 厂家推荐的56G带宽的，是IB网络低配版本。
那玩意，交换机、线缆、卡，配四台机器，价格可能比你 ...

谢谢您的解答！具体是什么原因造成的我不是很清楚，请问LAMMPS您有用过吗？LAMMPS想跨节点的话最低需要什么样的网络呢？
您千兆网络并行计算用的是VASP？

mgqqlwq

niobium 发表于 2020-6-4 18:25
集群的优点你说了，就是数据都在一起，不用倒来倒去，软件也装一次就行。缺点是万一共享的存储坏了，就完 ...

嗯嗯，单独的几台机器感觉提交任务下载数据还是会麻烦一点，不过每个人都有自己喜欢的方式，谢谢您的分享！也是一种可参考的方式
不过从我目前使用的感觉来讲，我个人还是更喜欢集群的方式，不过我觉得集群最开始整个环境的配置和后续的管理会麻烦一些。

zyn792102916

mgqqlwq 发表于 2020-6-4 17:45
了解了，谢谢！登录论坛有点问题，抱歉回复晚了
请问下我这边试的一台机器上56个核心和36个核心速度并不 ...

这种情况是有可能的，因为使用不同核心数时的运行频率并不一样。您可以百度搜“wikichip 8173M”，里面有详细的8173M在非avx模式、avx2模式和avx512模式下使用不同核心数时对应的频率，我这边网络卡那个频率表一直加载不出来，这贴一张8176在普通模式下的频率（8176比8173M高0.1GHz的频率）。我师弟之前跑lammps模型时也发现，如果是2万原子的那种小体系，不用满核心（好像他当时就是因为记错了核心数用的36个）跑跟使用满核心的时候速度好像差不多，另外跑MS Dmol时满核心反而比较慢，除非体系比较大时满核心优势才明显。另外，2个cpu的效率这么说吧，我们有一台单路的8173M，当然计算效率还是看体系大小，如果是类似的体系，双路大概比单路提高90%左右，差不错接近1倍吧。

abin

mgqqlwq 发表于 2020-6-5 09:16
嗯嗯，单独的几台机器感觉提交任务下载数据还是会麻烦一点，不过每个人都有自己喜欢的方式，谢谢您的分享 ...

系统和存储分开，

系统出现问题，直接换盘就搞定了。

数据，无论是共享模式存储，还是单独存储，都是一样的存储介质，都存在坏的可能性。

集群搭建，要么自己玩，也很刺激的。
要么找别人做。

我这里的使用体验是，集群一旦搭建好之后，
然后就一直用了，没啥需要维护的。
用了几年后，几乎都忘记了这玩意怎么搭建的。

集群一旦搭建好，你不需要管理。
Linux工作站，搭建好之后，也不需要管理。

作为用户级别的管理员，顶多需要添加一下新用户而已。

至于集群搭建时候，所需要的并行环境等，应该是由负责搭建集群的技术负责处理的。
除非你自己想从头撸一遍。

sobereva

mgqqlwq 发表于 2020-6-4 18:11
谢谢卢老师！您找到的这个讨论，问题就是我之前问的，但是了解的比较少，问完还是不太清楚怎么选
卢 ...

自身机子的问题。我这里CentOS系统用firefox登录论坛反正没遇到问题。
此类问题的反馈请发到本论坛的“公社大厅”板块，当前问题和帖子无关

mgqqlwq

zyn792102916 发表于 2020-6-5 09:24
这种情况是有可能的，因为使用不同核心数时的运行频率并不一样。您可以百度搜“wikichip 8173M”，里面有 ...

非常感谢您详细的回复！我自己查一下了解一下，不好意思，我登陆论坛有点问题,回复晚了。
请问如果是请求不超过28个核心，任务肯定会提交在一个cpu上是吧？

mgqqlwq

abin 发表于 2020-6-5 09:43
系统和存储分开，

系统出现问题，直接换盘就搞定了。

谢谢您的回复！抱歉回复晚了。
我们这之前有个小的集群，是供应厂家帮我们弄得系统和初始的并行等环境。我感觉靠普的会搭建集群的人还是有点难找，如果是从淘宝上买卢老师推荐的高性价比的机器，请问下怎样能找到靠谱的朋友帮着做集群的环境呢？

mgqqlwq

sobereva 发表于 2020-6-6 10:49
自身机子的问题。我这里CentOS系统用firefox登录论坛反正没遇到问题。
此类问题的反馈请发到本论坛的“ ...

好的，谢谢卢老师！我去那重新发个帖子

abin

mgqqlwq 发表于 2020-6-11 19:55
谢谢您的回复！抱歉回复晚了。
我们这之前有个小的集群，是供应厂家帮我们弄得系统和初始的并行等环境。 ...

我可以搭建集群。

我自己搭建的有几套在运行。

靠谱的朋友是google + manuals + time。

abin

mgqqlwq 发表于 2020-6-5 09:13
谢谢您的解答！具体是什么原因造成的我不是很清楚，请问LAMMPS您有用过吗？LAMMPS想跨节点的话最低需要什 ...

规模不是很大的话，
比如一个计算涉及两个节点并行， 总体也就8台左右机器，
可以考虑使用万兆网络。

新品采用便宜的TP-Link，
或者采用拆机货，也能用。

我自己购买的是拆机的交换机和网卡，
效果呢，我的设计目标是读写至少达到500MB/s以上，目前完全满足要求。

如果需要再快的网络，可能就没有那么便宜了。

另外，对于多节点之间的并行读写，
性能分析可能存在偏差。
比如两节点，合计112核心计算，
如果采用MPI方式，大概是112和读写进程。
根据一般科学计算的特点，是写的多，读的少。
计算过程中，是累积方式的小数据读写，
就是每一次可能写一部分，然后累积为一个大文件。

所以，只要保证磁盘在应对112或者120进程同时4K随机读写稳定就可以了。
这个时候，实际要求的读写大概在200MB/s左右。
万兆光纤网络足够用了。

以上数据，来自于我在自己的机器上，采用fio做的读写测试和网路带宽分析。

为了保证并发读写性能，
使用廉价的多硬盘组RAID0足够应付了。