集群中千兆/万兆网配置请教

djjj148

最近在尝试自己搭建集群，10台机子组成的PBS小型集群已经搭好，不过用的是最普通的交换机和网线，scp测试，节点之间的传输速率在10-12 MB/s波动，想了解一下千兆，万兆网配置相关，IB太贵不考虑了，请教下大家：
1. 如果仅仅是用PBS做调度，完全不考虑跨节点并行，10-12 MB/s的节点之间的传输速率是否足够？是否即使是调度的需求也需要千兆交换机？
2. 千兆和万兆网的实际传输速度大概分别是多少呢？
3. 我之前听说集群用的千兆交换机是1千元左右的，那万兆的应该更贵才是。然而在某宝上，同一家店铺，万兆交换机分好多种，价格也不同，比如8个万兆SFP+全光口的交换机是700元，8个万兆RJ45端口的是1859元。千兆交换机也是琳琅满目，实在不知道怎么挑选，还请大家给个购买标准。
4. 千兆和万兆网的配置是不是买好交换机和对应的网线，插电-插网线就直接能用了？

谢谢大家！

abin

万兆，当然是光纤接口便宜了；
电口，也就是RJ45接口，比较贵一些。

不使用OPA或者IB网络，就不要考虑多节点并行计算了。 会慢死。


调度管理网络，其实10Mbps都够用了。具体体验，看集群配置和调度策略。 比如分布式存储，或者共享存储，会有明显的差异。


1000Mpbs， 是千兆， 1000/8 = 125.0MB/s，实际大概是110MB/s。
10000Mbps，是万兆，实际能跑到1GB/s。小数据读写，和硬盘无关。持续大数据读写，请务必保证磁盘读写能高于1GB/s。
这是基础的网络带宽换算呀！

交换机插上线缆可否直接使用？
看说明书啊，交换机分好多种呢，根据需求合理购买。
其实你的需要是，本地互联，而非线路汇聚。
你需要的应该仅仅是具有局域网交换之用。

另，100Mbps，理论上限是12.5MB/s。
如果是本地局域网，一般能稳定在11MB/s。如果长时间低于11MB/s，请排查网络设定。

djjj148

abin 发表于 2021-6-18 18:10
万兆，当然是光纤接口便宜了；
电口，也就是RJ45接口，比较贵一些。

谢谢王老师。
我是用的NIS+NFS配合PBS的，应该是您说的“分布式存储，或者共享存储”中的共享存储吧，
10Mbps=1.25MB/s，看来我这11MB/s的速度对于调度应该是绰绰有余了~。
另外请教一下，“务必保证磁盘读写能高于1GB/s”，这相当于要主节点的全部硬盘全都是高规格的固态盘吧？如果是IB对固态硬盘的要求更高吧，感觉这样有点小贵呢。

abin

djjj148 发表于 2021-6-19 13:18
谢谢王老师。
我是用的NIS+NFS配合PBS的，应该是您说的“分布式存储，或者共享存储”中的共享存储吧，
...

高性能计算，
满足高I/O性能是其中一项。

比如CCSD(T)这种疯狂读写的，当然需要高规格的I/O类配合了。

咸鱼上能慢到的56Gpbs IB网络，需要至少搭配 7GB/s的读写规格来配合。
否则，涉及到磁盘I/O，那么读写可能是最大的短板了。