请教 ib带宽测试效果

naxiangzi

1. 两台机子，这是节点，测试如下，这样的测试，带宽是多少，有没有跑满，性能可好
   
2. [root@node01 ~]# ib_send_bw -a -c UD -d mlx5_0 -i 1 192.168.0.101
   
3. Max msg size in UD is MTU 4096
   
4. Changing to this MTU
   
5. ---------------------------------------------------------------------------------------
   
6.                     Send BW Test
   
7. Dual-port       : OFF          Device         : mlx5_0
   
8. Number of qps   : 1            Transport type : IB
   
9. Connection type : UD           Using SRQ      : OFF
   
10. PCIe relax order: ON
    
11. ibv_wr* API     : ON
    
12. TX depth        : 128
    
13. CQ Moderation   : 100
    
14. Mtu             : 4096[B]
    
15. Link type       : IB
    
16. Max inline data : 0[B]
    
17. rdma_cm QPs     : OFF
    
18. Data ex. method : Ethernet
    
19. ---------------------------------------------------------------------------------------
    
20. local address: LID 0x01 QPN 0x0097 PSN 0x180c46
    
21. remote address: LID 0x02 QPN 0x0116 PSN 0xdb4a2b
    
22. ---------------------------------------------------------------------------------------
    
23. #bytes     #iterations    BW peak[MB/sec]    BW average[MB/sec]   MsgRate[Mpps]
    
24. Conflicting CPU frequency values detected: 2658.990000 != 2571.017000. CPU Frequency is not max.
    
25. 2          1000             13.12              11.67              6.116808
    
26. Conflicting CPU frequency values detected: 2781.306000 != 2500.000000. CPU Frequency is not max.
    
27. 4          1000             27.56              25.28              6.626575
    
28. Conflicting CPU frequency values detected: 3052.067000 != 3366.163000. CPU Frequency is not max.
    
29. 8          1000             54.36              50.04              6.558548
    
30. Conflicting CPU frequency values detected: 2800.000000 != 3280.459000. CPU Frequency is not max.
    
31. 16         1000             96.23              78.49              5.144014
    
32. Conflicting CPU frequency values detected: 3282.174000 != 3500.000000. CPU Frequency is not max.
    
33. 32         1000             190.31             141.07             4.622600
    
34. Conflicting CPU frequency values detected: 3243.996000 != 3390.353000. CPU Frequency is not max.
    
35. 64         1000             453.31             421.83             6.911240
    
36. Conflicting CPU frequency values detected: 3159.035000 != 3500.000000. CPU Frequency is not max.
    
37. 128        1000             561.23             511.35             4.188988
    
38. Conflicting CPU frequency values detected: 3042.473000 != 2500.000000. CPU Frequency is not max.
    
39. 256        1000             783.92             154.74             0.633816
    
40. Conflicting CPU frequency values detected: 2746.557000 != 2623.267000. CPU Frequency is not max.
    
41. 512        1000             3456.42            3181.17            6.515037
    
42. Conflicting CPU frequency values detected: 2800.000000 != 2720.510000. CPU Frequency is not max.
    
43. 1024       1000             4690.18            4314.99            4.418550
    
44. Conflicting CPU frequency values detected: 2859.560000 != 3250.093000. CPU Frequency is not max.
    
45. 2048       1000             6096.72            6053.51            3.099399
    
46. Conflicting CPU frequency values detected: 3266.579000 != 3146.778000. CPU Frequency is not max.
    
47. 4096       1000             3397.75            3309.22            0.847161
    
48. ---------------------------------------------------------------------------------------

复制代码

doublezhang

这是啥卡啊

naxiangzi

doublezhang 发表于 2024-12-10 19:49
这是啥卡啊

1. # ibstat
   
2. CA 'mlx5_0'
   
3.         CA type: MT4115
   
4.         Number of ports: 1
   
5.         Firmware version: 12.25.1020
   
6.         Hardware version: 0
   
7.         Node GUID: 0xe0071
   
8.         System image GUID: 0xe0071
   
9.         Port 1:
   
10.                 State: Active
    
11.                 Physical state: LinkUp
    
12.                 Rate: 100
    
13.                 Base lid: 1
    
14.                 LMC: 0
    
15.                 SM lid: 2
    
16.                 Capability mask: 0x265
    
17.                 Port GUID: 0xe0071
    
18.                 Link layer: InfiniBand

复制代码

IB 网卡 InfiniBand、mlx5_0