计算化学公社

标题: 请教 ib带宽测试效果 [打印本页]
作者
Author: naxiangzi    时间: 2024-12-10 18:49
标题: 请教 ib带宽测试效果
本帖最后由 naxiangzi 于 2024-12-10 18:51 编辑
  1. 两台机子，这是节点，测试如下，这样的测试，带宽是多少，有没有跑满，性能可好
  2. [root@node01 ~]# ib_send_bw -a -c UD -d mlx5_0 -i 1 192.168.0.101
  3. Max msg size in UD is MTU 4096
  4. Changing to this MTU
  5. ---------------------------------------------------------------------------------------
  6.                     Send BW Test
  7. Dual-port       : OFF          Device         : mlx5_0
  8. Number of qps   : 1            Transport type : IB
  9. Connection type : UD           Using SRQ      : OFF
  10. PCIe relax order: ON
  11. ibv_wr* API     : ON
  12. TX depth        : 128
  13. CQ Moderation   : 100
  14. Mtu             : 4096[B]
  15. Link type       : IB
  16. Max inline data : 0[B]
  17. rdma_cm QPs     : OFF
  18. Data ex. method : Ethernet
  19. ---------------------------------------------------------------------------------------
  20. local address: LID 0x01 QPN 0x0097 PSN 0x180c46
  21. remote address: LID 0x02 QPN 0x0116 PSN 0xdb4a2b
  22. ---------------------------------------------------------------------------------------
  23. #bytes     #iterations    BW peak[MB/sec]    BW average[MB/sec]   MsgRate[Mpps]
  24. Conflicting CPU frequency values detected: 2658.990000 != 2571.017000. CPU Frequency is not max.
  25. 2          1000             13.12              11.67              6.116808
  26. Conflicting CPU frequency values detected: 2781.306000 != 2500.000000. CPU Frequency is not max.
  27. 4          1000             27.56              25.28              6.626575
  28. Conflicting CPU frequency values detected: 3052.067000 != 3366.163000. CPU Frequency is not max.
  29. 8          1000             54.36              50.04              6.558548
  30. Conflicting CPU frequency values detected: 2800.000000 != 3280.459000. CPU Frequency is not max.
  31. 16         1000             96.23              78.49              5.144014
  32. Conflicting CPU frequency values detected: 3282.174000 != 3500.000000. CPU Frequency is not max.
  33. 32         1000             190.31             141.07             4.622600
  34. Conflicting CPU frequency values detected: 3243.996000 != 3390.353000. CPU Frequency is not max.
  35. 64         1000             453.31             421.83             6.911240
  36. Conflicting CPU frequency values detected: 3159.035000 != 3500.000000. CPU Frequency is not max.
  37. 128        1000             561.23             511.35             4.188988
  38. Conflicting CPU frequency values detected: 3042.473000 != 2500.000000. CPU Frequency is not max.
  39. 256        1000             783.92             154.74             0.633816
  40. Conflicting CPU frequency values detected: 2746.557000 != 2623.267000. CPU Frequency is not max.
  41. 512        1000             3456.42            3181.17            6.515037
  42. Conflicting CPU frequency values detected: 2800.000000 != 2720.510000. CPU Frequency is not max.
  43. 1024       1000             4690.18            4314.99            4.418550
  44. Conflicting CPU frequency values detected: 2859.560000 != 3250.093000. CPU Frequency is not max.
  45. 2048       1000             6096.72            6053.51            3.099399
  46. Conflicting CPU frequency values detected: 3266.579000 != 3146.778000. CPU Frequency is not max.
  47. 4096       1000             3397.75            3309.22            0.847161
  48. ---------------------------------------------------------------------------------------
复制代码


作者
Author: doublezhang    时间: 2024-12-10 19:49
这是啥卡啊
作者
Author: naxiangzi    时间: 2025-1-10 22:49
doublezhang 发表于 2024-12-10 19:49
这是啥卡啊
  1. # ibstat
  2. CA 'mlx5_0'
  3.         CA type: MT4115
  4.         Number of ports: 1
  5.         Firmware version: 12.25.1020
  6.         Hardware version: 0
  7.         Node GUID: 0xe0071
  8.         System image GUID: 0xe0071
  9.         Port 1:
  10.                 State: Active
  11.                 Physical state: LinkUp
  12.                 Rate: 100
  13.                 Base lid: 1
  14.                 LMC: 0
  15.                 SM lid: 2
  16.                 Capability mask: 0x265
  17.                 Port GUID: 0xe0071
  18.                 Link layer: InfiniBand
复制代码


IB 网卡 InfiniBand、mlx5_0



欢迎光临 计算化学公社 (http://bbs.keinsci.com/) Powered by Discuz! X3.3