Mellanox OFED Linux User's Manual

208 Pages·2014·3.46 MB·English

by  Mellanox Technologies

Mellanox OFED for Linux User Manual
Rev 2.3-1.0.1
www.mellanox.com
Rev 2.3-1.0.1
2 Mellanox Technologies Document Number: 2877
Rev 2.3-1.0.1
Table of Contents
Table of Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
List of Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
List of Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
Chapter 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.2 Stack Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.2.1 mlx4 VPI Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.2.2 mlx5 Driver. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.2.3 Mid-layer Core . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.2.4 ULPs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.2.5 MPI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.2.6 InfiniBand Subnet Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.2.7 Diagnostic Utilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.2.8 Mellanox Firmware Tools. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.3 Mellanox OFED Package . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.3.1 ISO Image. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.3.2 Software Components. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.3.3 Firmware. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.3.4 Directory Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.4 Module Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.4.1 mlx4 Module Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.4.2 mlx5 Module Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.5 Device Capabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
Chapter 2 Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.1 Hardware and Software Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.2 Downloading Mellanox OFED . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.3 Installing Mellanox OFED. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.3.1 Installation Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.3.2 Installation Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.3.3 Installation Logging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.3.4 openibd Script. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.3.5 mlnxofedinstall Return Codes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.4 Uninstalling Mellanox OFED . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.5 Installing MLNX_OFED using YUM. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.5.1 Setting up MLNX_OFED YUM Repository . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.5.2 Installing MLNX_OFED using the YUM Tool . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.5.3 Uninstalling Mellanox OFED using the YUM Tool. . . . . . . . . . . . . . . . . . . . . . . 30
2.6 Installing MLNX_OFED using apt-get. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.6.1 Setting up MLNX_OFED apt-get Repository. . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.6.2 Installing MLNX_OFED using the apt-get Tool . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.6.3 Uninstalling Mellanox OFED using the apt-get Tool. . . . . . . . . . . . . . . . . . . . . . 31
2.7 Updating Firmware After Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
Mellanox Technologies 3
Rev 2.3-1.0.1
2.8 UEFI Secure Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.8.1 Enrolling Mellanox's x.509 Public Key On your Systems . . . . . . . . . . . . . . . . . . 32
2.8.2 Removing Signature from kernel Modules. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.9 Performance Tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
Chapter 3 Features Overview and Configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.1 Ethernet Network. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.1.1 Interface. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.1.2 Quality of Service (QoS). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.1.3 Quantized Congestion Notification (QCN). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.1.4 Ethtool. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.1.5 Checksum Offload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.1.6 RDMA over Converged Ethernet (RoCE) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.1.7 Explicit Congestion Notification (ECN). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.1.8 Power Management. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.1.9 RSS Hash Function. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.1.10 Time-Stamping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.1.11 Flow Steering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.2 InfiniBand Network. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
3.2.1 Interface. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
3.2.2 OpenSM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.2.3 Quality of Service (QoS). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
3.2.4 Secure Host. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
3.2.5 Upper Layer Protocols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
3.2.6 Advanced Transport . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
3.2.7 Optimized Memory Access. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
3.2.8 PeerDirect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
3.3 Storage Protocols. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
3.3.1 SCSI RDMA Protocol (SRP) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
3.3.2 iSCSI Extensions for RDMA (iSER) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
3.3.3 Lustre. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
3.4 Virtualization. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
3.4.1 Single Root IO Virtualization (SR-IOV) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
3.4.2 VXLAN. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
3.5 Resiliency. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
3.5.1 Reset Flow. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
3.6 HPC-X™ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
Chapter 4 InfiniBand Fabric Utilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
4.1 Common Configuration, Interface and Addressing. . . . . . . . . . . . . . . . . . . . . . 192
4.1.1 Topology File (Optional) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
4.2 InfiniBand Interface Definition. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
4.3 Addressing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
4.4 Diagnostic Utilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
4.4.1 Link Level Retransmission (LLR) in FDR Links. . . . . . . . . . . . . . . . . . . . . . . . 198
4.5 Performance Utilities. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
Chapter 5 Troubleshooting. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
4 Mellanox Technologies
Rev 2.3-1.0.1
5.1 General Related Issues. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
5.2 Ethernet Related Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
5.3 InfiniBand Related Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
5.4 InfiniBand/Ethernet Related Issues. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
5.5 Installation Related Issues. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
5.6 Performance Related Issues. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
5.7 SR-IOV Related Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
5.8 PXE (FlexBoot) Related Issues. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
5.9 RDMA Related Issues. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
Mellanox Technologies 5
Rev 2.3-1.0.1
List of Figures
Figure 1: Mellanox OFED Stack for ConnectX® Family Adapter Cards . . . . . . . . . . . . . . . . . . . .13
Figure 2: RoCE and v2 Protocol Stack . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .54
Figure 3: QoS Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .100
Figure 4: Example QoS Deployment on InfiniBand Subnet . . . . . . . . . . . . . . . . . . . . . . . . . . . . .109
Figure 5: I/O Consolidation Over InfiniBand . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .121
Figure 6: An Example of a Virtual Network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .135
6 Mellanox Technologies
Rev 2.3-1.0.1
List of Tables
Table 1: Document Revision History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8
Table 2: Abbreviations and Acronyms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9
Table 3: Glossary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10
Table 4: Reference Documents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12
Table 5: Software and Hardware Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22
Table 6: mlnxofedinstall Return Codes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .27
Table 7: ethtool Supported Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .50
Table 8: Topology Qualifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .97
Table 9: mlx4_vnic.conf file format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .138
Table 10: Red Hat Linux mlx4_vnic.conf file format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .139
Table 11: Diagnostic Utilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .193
Table 12: Diagnostic Utilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .199
Table 13: General Related Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .202
Table 14: Ethernet Related Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .202
Table 15: InfiniBand Related Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .203
Table 16: InfiniBand/Ethernet Related Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .204
Table 17: Installation Related Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .205
Table 18: Performance Related Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .206
Table 19: SR-IOV Related Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .206
Table 20: PXE (FlexBoot) Related Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .207
Table 21: RDMA Related Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .208
Mellanox Technologies 7
Rev 2.3-1.0.1
Document Revision History
Table 1 - Document Revision History
Release Date Description
2.3-1.0.1 September, 2014 • Major restructuring of the User Manual
• Added the following sections:
• S ection2.6, “Installing MLNX_OFED using apt-get”, on
p age30
• S ection2.6.1, “Setting up MLNX_OFED apt-get Reposi-
tory” , on page30
• S ection2.6.2, “Installing MLNX_OFED using the apt-get
Tool” , on page30
• S ection2.6.3, “Uninstalling Mellanox OFED using the apt-
get Tool” , on page31
• S ection2.8.2, “Removing Signature from kernel Modules”,
o n page32
• S ection3.1.5, “Checksum Offload” , on page52
• S ection3.1.6.1, “IP Routable RoCE” , on page53
• S ection3.1.6.2, “RoCE Configuration” , on page54
• S ection3.1.6.2.2, “Configuring SwitchX® Based Switch
System” , on page54
• S ection3.1.6.2.3, “Configuring the RoCE Mode”, on
p age55
• S ection3.1.7, “Explicit Congestion Notification (ECN)”,
o n page60
• S ection3.2.4, “Secure Host” , on page124
• S ection3.2.7.3, “Memory Region Re-registration”, on
p age154
• S ection3.2.7.5, “User-Mode Memory Registration
(UMR)” , on page155
• S ection3.2.7.6, “On-Demand-Paging (ODP)” , on page156
• S ection3.4.1.8.1, “Configuring VGT+” , on page188
• S ection3.5.1, “Reset Flow” , on page190
• S ection5.1, “General Related Issues” , on page202
• S ection5.2, “Ethernet Related Issues” , on page202
• S ection5.3, “InfiniBand Related Issues ”, on page203
• S ection5.4, “InfiniBand/Ethernet Related Issues”, on
p age204
• S ection5.5, “Installation Related Issues ”, on page205
• S ection5.6, “Performance Related Issues” , on page206
• S ection5.7, “SR-IOV Related Issues” , on page206
• S ection5.8, “PXE (FlexBoot) Related Issues” , on page207
• S ection5.9, “RDMA Related Issues” , on page208
• Updated the following sections:
• S ection3.1.11, “Flow Steering” , on page67
8 Mellanox Technologies
Rev 2.3-1.0.1
About this Manual
This preface provides general information concerning the scope and organization of this User’s
Manual.
Intended Audience
This manual is intended for system administrators responsible for the installation, configuration,
management and maintenance of the software and hardware of VPI (InfiniBand, Ethernet)
adapter cards. It is also intended for application developers.
Common Abbreviations and Acronyms
Table 2 - Abbreviations and Acronyms (Sheet 1 of 2)
Abbreviation / Acronym Whole Word / Description
B (Capital) ‘B’ is used to indicate size in bytes or multiples of
bytes (e.g., 1KB = 1024 bytes, and 1MB = 1048576 bytes)
b (Small) ‘b’ is used to indicate size in bits or multiples of bits
(e.g., 1Kb = 1024 bits)
FW Firmware
HCA Host Channel Adapter
HW Hardware
IB InfiniBand
iSER iSCSI RDMA Protocol
LSB Least significant byte
lsb Least significant bit
MSB Most significant byte
msb Most significant bit
NIC Network Interface Card
SW Software
VPI Virtual Protocol Interconnect
IPoIB IP over InfiniBand
PFC Priority Flow Control
PR Path Record
RDS Reliable Datagram Sockets
RoCE RDMA over Converged Ethernet
Mellanox Technologies 9
Rev 2.3-1.0.1
Table 2 - Abbreviations and Acronyms (Sheet 2 of 2)
Abbreviation / Acronym Whole Word / Description
SDP Sockets Direct Protocol
SL Service Level
SRP SCSI RDMA Protocol
MPI Message Passing Interface
EoIB Ethernet over Infiniband
QoS Quality of Service
ULP Upper Level Protocol
VL Virtual Lane
vHBA Virtual SCSI Host Bus adapter
uDAPL User Direct Access Programming Library
Glossary
The following is a list of concepts and terms related to InfiniBand in general and to Subnet Man-
agers in particular. It is included here for ease of reference, but the main reference remains the
InfiniBand Architecture Specification.
Table 3 - Glossary (Sheet 1 of 2)
Channel Adapter An IB device that terminates an IB link and executes transport
(CA), Host Channel functions. This may be an HCA (Host CA) or a TCA (Target
Adapter (HCA) CA).
HCA Card A network adapter card based on an InfiniBand channel
adapter device.
IB Devices Integrated circuit implementing InfiniBand compliant commu-
nication.
IB Cluster/Fabric/ A set of IB devices connected by IB cables.
Subnet
In-Band A term assigned to administration activities traversing the IB
connectivity only.
Local Identifier (ID) An address assigned to a port (data sink or source point) by the
Subnet Manager, unique within the subnet, used for directing
packets within the subnet.
Local Device/Node/ The IB Host Channel Adapter (HCA) Card installed on the
System machine running IBDIAG tools.
10 Mellanox Technologies