ib网络中NFS走RDMA协议

xiaofeng_hpc · 发表于 Post on 2021-12-16 18:07:53

本帖最后由 xiaofeng_hpc 于 2021-12-16 18:10 编辑

跟大家分享一下有ib网络的集群中，让nfs走rdma协议的方式。

我使用的是56G的ib网卡MCX354A-FCBT。如果默认方式安装ib网卡驱动，之后配置nfs文件共享，是无法走rdma协议的，只能走TCP协议，那么文件传输的速度是很慢的。
错误的操作：

我自己测试着，一个RAID5的磁盘阵列，本身写入速度极限是 1.2GB 每秒左右。集群使用56G IB网络，传输文件的极限速度应该在 5~7GB 每秒左右。但是实际使用nfs共享文件，走IPoIB的方式，文件传输只有100~200MB每秒。不过对于硬盘读写不大的作业，比如vasp，仍然是能够享受IB的低延迟的，对于vasp的多节点并行计算速度没什么影响。

正确的示范：
我安装的是 5.0-2.1.8.0 版本的ib驱动（驱动文件名：MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.8-x86_64.tgz），操作系统是 centos7.8。安装驱动是时候应该添加 --with-nfsrdma 选项：

./mlnxofedinstall --with-nfsrdma

复制代码

然后按照下边这个链接配置就行了。如果不加这个选项，根据下边这个链接，进行到配置NFS的第5步的时候是无法识别rdma协议的。这样在计算节点，使用dd命令向nfs共享文件夹写入文件能达到 1.1GB 每秒。由于手头没有nvme的固态硬盘，受限于现有硬盘的写入速度，无法测试 NFSoRDMA的极限速度，感兴趣的同学可以自己测试下。
在RDMA（RoCE）上配置NFS

abin · 发表于 Post on 2022-4-13 19:53:34

leeru 发表于 2022-4-13 19:44
如果没有IB交换机，只有两张IB卡直连，应该也是可以这样用的对吧

显然可以呀……
看我的历史贴文中，有提到一种双机迷你集群方案。

或者我签名链接中的PDF文件中，
有详细描述。

leeru · 发表于 Post on 2022-4-13 19:44:51

如果没有IB交换机，只有两张IB卡直连，应该也是可以这样用的对吧

biogon · 发表于 Post on 2021-12-17 10:50:47

另外内核是带这个驱动的，并且一般发行版内核驱动默认是开rdma的

abin · 发表于 Post on 2021-12-17 10:25:32

本帖最后由 abin 于 2021-12-17 10:30 编辑

RDMA，可以优先写内存。
配置得当，小文件的读写，
就是带宽上限。

简单讲，IB如果配置不当，
就会工作在以太网模式，
就没有啥实际效果了。

biogon · 发表于 Post on 2021-12-17 09:38:47

跑IB的RDMA在linux上如果硬盘不受限是有可能跑满带宽的，但是如果在win下跑满就需要支持roce v2的操作系统和cx3p以上的芯片的卡才能跑的起

		自动登录 Automatic login	找回密码 Forget password
密码 Password			注册 Register

[其它] ib网络中NFS走RDMA协议