计算化学公社

标题: ib网络中NFS走RDMA协议 [打印本页]

作者
Author:
xiaofeng_hpc    时间: 2021-12-16 18:07
标题: ib网络中NFS走RDMA协议
本帖最后由 xiaofeng_hpc 于 2021-12-16 18:10 编辑

跟大家分享一下有ib网络的集群中,让nfs走rdma协议的方式。

我使用的是56G的ib网卡MCX354A-FCBT。如果默认方式安装ib网卡驱动,之后配置nfs文件共享,是无法走rdma协议的,只能走TCP协议,那么文件传输的速度是很慢的。
错误的操作:

我自己测试着,一个RAID5的磁盘阵列,本身写入速度极限是 1.2GB 每秒左右。集群使用56G IB网络,传输文件的极限速度应该在 5~7GB 每秒左右。但是实际使用nfs共享文件,走IPoIB的方式,文件传输只有100~200MB每秒。不过对于硬盘读写不大的作业,比如vasp,仍然是能够享受IB的低延迟的,对于vasp的多节点并行计算速度没什么影响。

正确的示范:
我安装的是 5.0-2.1.8.0 版本的ib驱动(驱动文件名:MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.8-x86_64.tgz),操作系统是 centos7.8。安装驱动是时候应该添加 --with-nfsrdma 选项:
  1. ./mlnxofedinstall --with-nfsrdma
复制代码
然后按照下边这个链接配置就行了。如果不加这个选项,根据下边这个链接,进行到配置NFS的第5步的时候是无法识别rdma协议的。这样在计算节点,使用dd命令向nfs共享文件夹写入文件能达到 1.1GB 每秒。由于手头没有nvme的固态硬盘,受限于现有硬盘的写入速度,无法测试 NFSoRDMA的极限速度,感兴趣的同学可以自己测试下。
在RDMA(RoCE)上配置NFS


作者
Author:
biogon    时间: 2021-12-17 09:38
跑IB的RDMA在linux上如果硬盘不受限是有可能跑满带宽的,但是如果在win下跑满就需要支持roce v2的操作系统和cx3p以上的芯片的卡才能跑的起
作者
Author:
abin    时间: 2021-12-17 10:25
本帖最后由 abin 于 2021-12-17 10:30 编辑

RDMA,可以优先写内存。
配置得当,小文件的读写,
就是带宽上限。

简单讲,IB如果配置不当,
就会工作在以太网模式,
就没有啥实际效果了。

作者
Author:
biogon    时间: 2021-12-17 10:50
另外内核是带这个驱动的,并且一般发行版内核驱动默认是开rdma的
作者
Author:
leeru    时间: 2022-4-13 19:44
如果没有IB交换机,只有两张IB卡直连,应该也是可以这样用的对吧
作者
Author:
abin    时间: 2022-4-13 19:53
leeru 发表于 2022-4-13 19:44
如果没有IB交换机,只有两张IB卡直连,应该也是可以这样用的对吧

显然可以呀……
看我的历史贴文中,有提到一种双机迷你集群方案。

或者我签名链接中的PDF文件中,
有详细描述。




欢迎光临 计算化学公社 (http://bbs.keinsci.com/) Powered by Discuz! X3.3