独孤天血 发表于 2022-4-29 15:53
IB贵的很 好多小集群基本顶多用万兆  用IB的不多

ib网卡现在烂大街，去年56g的卡也就几十块钱，交换机两三千

abin 发表于 2021-5-26 09:27
补充一下，
话说当年，
读书的所在的单位，巨资买过当时的明星产品： 曙光5000A系列的机器，

我们学校的曙光集群也是烂的不行，现在都已经停机半年了，再也没有开过机

IB贵的很 好多小集群基本顶多用万兆  用IB的不多

个人意见，看到这个配置，我觉得挺正常。你说花两倍多的钱，得到的和淘宝的一样的体验，这事谁都认同。但是很多时候走招标，限制不是一般的少，这个框框，那个条条，最后最能行的方案就是这个。

特别说明下戴尔售后，我觉得戴尔售后挺好的，花钱买心安吧，前几天说莫名报总线错误，戴尔立马跑过来换了主板和阵列卡。

今晚有空。 补充几点常见奇葩配置。

第一种 网络很快，磁盘读写很慢。
Linux平台，可以把计算读写、系统读写、用户输入输出读写分开，放在不同的设备处理。

如今的Linux系统，尤其是针对计算用户调整过内核的，启动后，基本占用200MB内存，系统基本驻留在内存，系统层面的磁盘读写操作很少的。
因此是否使用固态硬盘，并不会明显改善Linux系统响应速度。

常见的奇葩配置有，万兆光纤或者更快的IB，比如56Gbps；
计算读写，也就是存储，使用机械盘或者固态做RAID5。可是，采用SATA接口。
SATA 3.0 上限6Gpbs。来多少个，上限也仅有这些，最快650MB/s。

如果是多机器跑VASP还好，因为这玩意就基本写内存。
如果遇到ORCA， 或者是CASSCF CCSD(T) 或者GW之类的计算，岂不是慢的要死！！！
因为这几个疯狂写硬盘。
如果是搭配IB 56Gbps， 小规模集群，那么采用NVMe 2GB/s规格的硬盘，做RAID0，可以做到8GB/s的速度。
目前highpoint RAID卡支持。 其他均不支持的。 （备注，IB 56 Gbps，最快就是7GB/s。单位换算，查查计算机是本吧。）

想要再快的读写速度，就要采用Lustre。
不仅单独的硬件要跟上，还需要额外几台机器来配合。
硬件成本挺高的。

第二种 配备“专业”存储设备的。
可能会有SAN存储，或者NAS存储。
比如SAN，配备12Gbps的端口。
这东西是在玩吗？ 12Gpbs，顶多能维持理论上线1.5GB/s， 实际跑到1.2GB/s就不错了。
这玩意，还不如买单条的NVMe硬盘实惠呢， 可以买国产品牌，反正质保三年，用坏了就找京东换。
如果采用读写和数据分开的做法，读写坏了，又不影响系统，顶多是关机、插拔硬盘、开机，大概十分钟而已。
（明显比那种今天做手术，明天就上班还要快捷。）

第三种 使用以太网跑多机器并行计算的。
以太网，就是能买到的PC或者任何普通服务器上的网路。延时， lantency，本地局域网，在0.03ms级别。
IB网络，不是以太网，延时， lantency，在0.5 微秒级别。
比如VASP，多机器并行，MPI进程频繁交换数据，彼此通讯。
两者的效率差距大约有60倍。
一个并行计算，如果新机器能跑的快一倍，都有人花好几万买新机器。 何况，这边的差距是几十倍呢。
OPA和IB性能在一个级别，可能稍微差点。 intel已经剥离了OPA业务，转给其他公司继续发展。


注意， IB支持“远程内存直取”，也许中文这么叫。
（remote direct memory access (RDMA),
is a direct memory access from the memory of one computer into that of another without involving either one's operating system.
This permits high-throughput, low-latency networking, which is especially useful in massively parallel computer clusters.）
比如计算用到A和B两台机器并行，每个机器跑32个MPI进程。
B机器上的某MPI进程，可以直接读取A机器上内存里面的数据。
以太网是，B机器发送请求，通过CPU发送给PCIe接口的光纤网卡，网卡发送信息经过交换机，找到目标机器，接收数据，解码，传送给CPU，CPU读内存；再原路返回数据。
（通俗演义过程，不是十分严谨）
以太网也支持，也就是RoCE，当然这种卡，不怎么便宜的。
系统层面，至少RHEL/CentOS 7.x 8.x默认支持这种东西的。 其他系统版本，我自己未测试过，不清楚。

万兆光纤，一般指的是万兆以太网，延时也是微秒级别的。

现在有部分机房淘汰了56Gbps的IB网卡，可以咸鱼上找一找。
买两个，把两台机器连起来，效果很不错的，特别适合VASP，cp2k之类的并行计算。

放心，CP2K，VASP，都有测试报告，有IB网络支持，跑10个节点，并行效率都能维持在85%以上。
这是欧洲的实验室报告的，不是我自己编造的。

CP2K，VASP都是线性标度特别棒的并行计算程序。
通俗的讲就是，
如果体系有10个原子，用10个核心计算，耗时1个小时；
那么，体系扩展到100个原子，用100个核心计算，耗时差不多是1个小时多一点点。
但是，特别留意，10个原子，使使用100个核心计算，可能耗时远多于1个小时。
也许应该是数bands数目之类的，仅仅是通俗表述，仅供参考。

对于CP2K，VASP用户，如果要扩充现有设备算力，
第二台机器，仅仅需要处理器，内存，电源，主板，一个普通的小容量硬盘做系统；
额外购置一对IB网卡。
按照现在咸鱼的价格，IB的成本可能是2条16GB内存的钱。
国产新品，可能是6～7千元一个。

如果是3台或者更多机器，还是需要交换机的，价格挺高的。

仅供参考。


修正了错别字。

没有内部高速网络，做量化计算效果会很不好的。

这个配置，我怎么看着眼熟，好像是我认识的人的配置。。。

这算啥，我还见过双路主板只安一个U的呢 ，毕竟人家有“品牌售后”嘛
负责的人也未必真不懂或者有啥好处，可能只是防备某些甩不开手的“麻烦”而已

abin 发表于 2021-5-26 12:21
不晓得你说的某光是啥？

我们之前合规途径买过中科曙光，

那是你单位采购的老师外行，被哄了呗。
所有的厂商都一样，能哄就哄。
不光某光。

abin 发表于 2021-5-25 23:55
最业余的一项配置是，计算节点，
双路两颗处理器，居然只给6个16GB。
这种外行配置，尤其是vasp性能减半 ...

阵列卡多半是焊在主板上的，写在那里无非是凑字数。

fc-san也一样，那个盘阵要么用sas，要么用fc挂载到管理节点上。人家就是想买/卖一个盘阵，作为“专业存储”。4012是一个低端存储，如果提供了双控制器，前端也接了双控制器，也算是提高了一点点的可用性。
不过磁盘数目实在太少，😄

除了那个96G内存确实sb，其他还算正常。
登录节点加了一块显卡，也不明白是什么操作。

djjj148 发表于 2021-5-26 09:53
听说某光给配的机器里，内存条默认不会给插满。朋友的机器有次报修，工程师一看有内存条不是自家的，直接拒 ...

不晓得你说的某光是啥？

我们之前合规途径买过中科曙光，
内存条安装很诡异。
双路机器，6x 8GB内存条。
十分坑。

涉及到招标采购环节，
基本都是外行。
买的设备，就凑合用吧。

验收的只看能否开机，
谁管其他的？

听说某光给配的机器里，内存条默认不会给插满。朋友的机器有次报修，工程师一看有部分内存条不是自家的(因为卖家默认配的内存条没插满，朋友自己买来几根插上了)，直接拒绝保修。

补充一下，
话说当年，
读书的所在的单位，巨资买过当时的明星产品： 曙光5000A系列的机器，
那叫一个烂呀。

最业余的一项配置是，计算节点，
双路两颗处理器，居然只给6个16GB。
这种外行配置，尤其是vasp性能减半。

一个硬盘，要哪门子阵列卡？

FC-SAN，这个玩意有啥用？光纤交换机也没有，
这玩意买来看着玩呀？
还不如四个硬盘放管理节点阵列走起。

网络只有千兆，
不太可能多节点计算，况且那个机器本地有读写支持。
SAN就没有任何用处，纯属用所谓专业设备来糊弄人。

交换机就一个，
难道要计算网络，管理网络以及BMC跑在一个交换机上？
纯粹是增加使用难度和不可靠性。

买品牌没有问题，
只是图片中的配置，简直太业余了。
纯属花了好多钱，买到一堆电子垃圾。

卖人家十多台机器，KVM都没有，
现有的配置中，BMC都无法正常使用，
让终端用户搬椅子接显示器做调试啊。