Cisco Data Center Networking Workshop

似たような資料：https://www.cisco.com/c/dam/m/ja_jp/training-events/events-webinars/dc-webinars/20210210.pdf

Cisco が提供するスイッチ製品(Nexux/Catalyst の違い)

従来から LAN スイッチとして幅広い分野で使用されている Catalyst スイッチに対し、データセンターの要件を満たすために開発されたのが Nexus スイッチです。サービス志向である Catalyst スイッチはセキュリティやファシリティ系の機能が充実しています。一方、パフォーマンス志向である Nexus スイッチはポート密度や、仮想化、ファブリック系の機能が充実しています。

データセンター向け
- Nexus シリーズスイッチ
キャンパス向け
- Catalyst シリーズスイッチ

データセンタスイッチとキャンパススイッチの違い

	データセンタ	キャンパス
物理環境	DC、ラック収容、安定電力	オフィス、EPS、静音、省エネ設計
接続機器	サーバ、ストレージ	パソコン、スマートデバイス
アプリケーション	Web、AP、DB	SNS、動画、インターネット、メール
機能要件	低遅延、ノンブロッキング、仮想化、ファブリック	端末認証、PoE、QoS
デザイン	Leaf/Spine 構成	3 階層構成

DC の要件と対応する Nexus シリーズの機能

DC の要件	Nexus の機能
高密度・インタフェース	10G/100G、Marchant ASIC、Cisco ASIC
低遅延・バッファ制御	Algo Boost、Smart Buffer、Deep Buffer
FC との統合	FC、FCoE、Unified Port
ファブリック化・オーバーレイ	Fabric Path、VXLAN、ACI Fabric
自動化	NX-API、Puppet/Chef/Ansible、Open-NS
マルチ DC ・マルチクラウド	Multi-Site、ACI Anywhere
ミッションクリティカル性	ISSU/eISSU、SMU、GIR
ネットワーク/アプリ可視化	NDB、Micro Burst Detection、Streaming Telemetry

Nexus シリーズポートフォリオ

Nexus 9500	モジュラー型:ACI/VXLAN/ISSU 対応、最先端の DC 機能、高い価格競争力
Nexus 9500 R	モジュラー型:VXLAN (ACI 非対応)、ディープバッファ、高いスケールを持つ
Nexus 9300	固定型:ACI/VXLAN/eISSU/FC 対応、最先端の DC 機能、高い価格競争力
Nexus 9200	固定型:VXLAN 対応/eISSU 対応(ACI 非対応)、最も価格競争力を重視したモデル
Nexus 7700	モジュラー型:7000 の上位モデルで 40G/100G に最適化、VXLAN/VDC/OTV/FabricPath/FCoE/ISSU 対応、豊富な実績と機能、高いスケールを持つ
Nexus 7000	モジュラー型:VXLAN/VDC/OTV/FabricPath/FCoE/ISSU 対応、豊富な実績と機能、高いスケールを持つ
Nexus 5600	固定型:FabricPath/FC/FCoE/VXLAN/ISSU 対応、豊富な実績と機能を持つ
Nexus 3600 R	固定型:ディープバッファ、VXLAN 対応、高いスケールを持つ
Nexus 3500	固定型:PHY レス構造に加えて、業界最高の低遅延(200ns 以下)、HFT 環境向けのスイッチ
Nexus 3400	固定型:プログラマブルパイプライン、In-band Network Telemetry による可視化
Nexus 3200	固定型:3100 の上位モデルで 40G/100G に最適化、PHY レス構造による低遅延スイッチ、マーチャントチップを用いた高い価格競争力、VXLAN 対応
Nexus 3100	固定型:PHY レス構造による低遅延スイッチ、マーチャントチップを用いた高い価格競争力、VXLAN 対応
Nexus 2300 / 2200	固定型:FEX(外付けラインカード、単独で動かない)により安価に、管理ポイントを減らしつつネットワークを作る、N5k/7k/9k が親になる、100M IF などに対応可能、豊富な実績
Nexus 1000V	仮想スイッチ:VMware や Hyper-V のサーバにインストールして使用、VXLAN 対応

命名規則について

例：N9K-C93180C-FX

C or X (プラットフォームの種類)
- C: 固定スイッチ
- X: モジュラスイッチ用ラインカード
93 (プラットフォームのハードウェア)
- 92: NX-OS リーフ
- 93: NZ-OS/ACI リーフ
- 94: NX-OS 汎用 ASIC 搭載ラインカード
- 96: NX-OS 汎用 ASIC 搭載(ディープバッファ)ラインカード
- 97: NX-OS/ACI スパインラインカード
180 (プラットフォームの帯域幅もしくはポート数)
- ポートスピードがすべて同じ場合：ポート数の合計
- ポートスピードがこなる場合：スイッチの帯域幅を x10Gbps で表記
  - 180 = 1.8Tbps
Y (ダウンリンク) / C (アップリンク)
- G: 100M/1G
- P: 10G SFP+
- T: 10G Copper
- Y: 25G SFP28
- Q: 40G QSFP+
- L: 50G QSFP28
- C: 100G QSFP28
- D: 400G QSFPDD
FX (特殊機能)
- F: MACsec
- F2: CloudSec
- E: IP Based EPG
- X: Analytics, Netflow, Micro-segmentation, In-based telemetry 等
- G: 400G
- S: SyncE

ファブリック技術の変遷

2008	STP	ループを防止する標準技術。管理が複雑である点と冗長リンクを利用できない点が問題
2009	vPC	STP で問題であったブロッキングポートをなくしつつ、帯域の増強や、冗長性を確保する技術。対向装置は通常のポートチャネルを利用できる
2010	FEX	ToR スイッチのポート数を安価に増設する技術親スイッチで子スイッチの集中管理が可能
2010	FabricPath	ループフリーな L2 ファブリックを、シンプルな設定と容易な管理、運用により提供する技術
2013	VXLAN	自由な L2/L3 ファブリックを構成することにより、仮想化環境に最適なネットワークを大規模に展開する標準技術
2014	ACI	コントローラ(APIC)により一元管理、可視化を可能にしつつ、複雑になりがちな L2/L3 ファブリックを自動で迅速かつシンプルに提供するソリューション
2018	ACI Anywhere	ACI の管理性と柔軟性を小規模環境から大規模環境、クラウド環境を問わず拡げ、複数ファブリックの一元管理/自動化を実現するソリューション

データセンターにおける 3 階層と 2 階層の比較

3 階層構成の課題

Nexus 以前のデータセンターネットワークは下図のような、キャンパスで用いられていた 3 階層構成をデザインの基本としていました。当時はキャンパススイッチがデータセンターでそのまま利用され、LAN の延長としてデータセンターが作られていたと言えます。その後、サーバ、ストレージ、アプリケーションなど多くのイノベーションとその需要がデータセンターで生まれ、ネットワークのデザインとしては、従来の 3 階層構成は適切ではないことが多くなってきています。

ペアでの冗長

ルーティングプロトコル等を含む冗長用の仕組みは 1 対 1 の関係を構築するものが多く、規模を拡張する際は 1 台づつではなくペアで考える必要があります。そのため、拡張性や柔軟性における課題となる場合があります。

サービスモジュールのボトルネック

サービスモジュールと呼ばれる、Firewall や IPS 系機能を備えたラインカードを利用し、スイッチ上で統合的にネットワーク機能を提供するデザインはキャンパスではよく用いられています。しかし、高パフォーマンスを要求するデータセンターネットワークにおいては、サービスモジュールはボトルネックになりがちで、更に障害時にスイッチの問題なのか、サービスモジュールの問題なのか事態を複雑化させがちです。よりミッションクリティカル性の高いデータセンターにおいては、必ずしも適切なデザインとは言えません。

East-West トラフィック

今日のデータセンターでは、サーバ間通信も非常に増えており、L2/L3 境界がディストリビューション層にある場合は、必ずそこまで行く通信路となります。これは East-West トラフィックにとって最適なデザインではありません。

恒常的な高負荷と高い機能要件

L2/L3 境界をディストリビューション層で持たせることにより、MAC や ARP、ACL など多くの情報を集中的に保持し、また処理する必要があります。このアーキテクチャはスイッチに高い要件が求められるため、必然的に高価になりがちで、更に恒常的に負荷が高くなるため、問題があるデザインと言えます。

2 階層構成(リーフ/スパイン)による 3 階層構成の課題解決

転送処理に集中

リーフ/スパイン型の 2 階層構成では L2/L3 境界をリーフスイッチまで下ろすデザインになります。 3 階層構成ではスパインに当たるディストリビューションスイッチは恒常的な高負荷と高い機能要件を求められましたが、 2 階層構成のスパインスイッチでは転送処理に集中し、多くの機能をリーフスイッチに分散させることが出来ます。

L3 化で可用性と性能の向上

リーフスイッチから L3 ですべての経路をアクティブに選択することで、可用性と共に有効に帯域を利用し性能を向上させます。

ファブリック/オーバーレイ技術

オーバーレイ技術によりマルチテナント環境専用の個別ネットワークを提供することや、自由に L2/L3 を配置することが可能になります。特に VXLAN においては VLAN と比較し、非常に多くのテナントやサービスを収容出来ることも魅力です。

低価格なインターフェース

今日では 100G トランシーバやインターフェース等、ビット単価が下がって来ており、ディストリビューションスイッチを利用せずにより広帯域なネットワークを組むことが可能になっています。

East-West トラフィックの最適化

3 階層構成では L3 の収容をディストリビューションスイッチで行っていたため、East-West トラフィックはすぐ隣のサーバとの通信であっても、アクセススイッチを超えてディストリビューションスイッチまで行く必要がありました。 2 階層構成では L3 の収容をリーフスイッチで行うため、East-West トラフィックを含むすべての通信は最適化されて、シンプルなルーティングをすることが出来ます。

各機能について

vPC (virtual Port-Channel)

機能概要

物理的に筐体、リンクを冗長させつつ L2 ネットワークを作る

動作概要

vPC ピアリンクでデバイス間の状態を同期しながら、 vPC 配下のスイッチ/サーバへ 1 つの PortChannel として認識させる

利点/効果

汎用的な Port-Channel の仕組みを利用して簡単にループしない/冗長性のある L2 ネットワークを作ることが出来る

memo

STP の場合だとブロッキングがあるため片方のリンクしか利用することができない vPC ピアリンクが必要後述の vPC Fabric Peering だとピアリンクが不要となる

vPC Fabric Peering

機能概要

VXLAN EVPN における vPC multi-homing に関する機能拡張

動作概要

Spine 経由で vPC を形成、状態同期を行う

利点/効果

vPC 構成において、デバイス間の物理ケーブルを削減できる

GIR(Graceful Insertion and Removal)

機能概要

メンテナンス作業などのためにスイッチを動的にフォワーディングパスから除く機能

動作概要

各プロトコルの仕組みを利用して、メンテナンス対象スイッチへ対向のスイッチからトラフィックを送信しないようにさせる

利点/効果

簡単にフォワーディングパスからスイッチを外すことが出来るため、その間にメンテナンス作業などを実施出来るブラックホール問題なども解決出来る

Fast-Reboot

機能概要

リブートによるダウンタウンを短縮化

動作概要

fast-reload というコマンドで実行

利点/効果

ISSU が利用できない場合などでも、ネットワークのダウンタイムを最小化しアップグレードが可能 ※ダウングレードは未サポートリブートを最短で実施可能

enhanced-ISSU

機能概要

SUP 冗長のない ToR モデルでも高速に ISSU を実行する

動作概要

仮想的に OS を 2 つ持つことによってコントロールプレーンを冗長する

利点/効果

従来であればコントロールプレーンが 120 秒以下ほど断時間がかかったところを、6秒以下までに縮められる

memo

実は Nexus はコンテナベースで動いている (LXC) Standby 側のコンテナ image を先にアップデートしてそれに切り替えることで OS バージョンアップ的なことが可能

ITD (Intelligent Traffic Director)

機能概要

Nexus で行うことが出来る Load-Balancing の機能。アプライアンスに対して Keep-Alive も行う。

動作概要

L2-L4 までの情報を元にバランシングを実行する。要ライセンス。

利点/効果

スイッチベースで Load-Balancing が実行できるためアプライアンスと比較してスケールさせつつ安価に構成が作れるスイッチへのパフォーマンスインパクトはない

NDB (Nexus Data Broker)

機能概要

Nexus で自身を通過するトラフィックを L2-L7 情報に基いてフィルタする機能 ※ライセンス必要

動作概要

L2-L7 レベルまでの情報を元にフィルタを実行する専用の GUI を提供

利点/効果

SPAN のようにすべてのトラフィックを複製して送信するのではなく、必要なパケットのみフィルタして外部ツールへ転送可能専用アプライアンスよりスケールさせつつ、安価に構成が作れる

Micro-Burst Monitoring

機能概要

Micro-Burst の発生をモニタする機能

動作概要

モニターしたいキューに検出するための閾値を設定する

利点/効果

従来では Micro-Burst の発生を把握することは非常に難しかったが、この機能によってよりネットワークの可視性を高められる

memo

マイクロバースト(バーストトラフィック)とはスイッチなどの機器に、短時間(マイクロ秒単位)に大量のトラフィックが流れることです。マイクロバースト(バーストトラフィック)が発生すると、バッファの容量が少ないスイッチですと、パケットがドロップされてしまいます。 TCP ですと、多少のパケットがドロップされただけでは、再送機能で問題ないですが、あまりに多いと処理が遅くなります。また、低レイテンシーのため、UDP を使う場合もありますが、UDP ですと、パケットがドロップされると問題になります。

Nexus3264Q(config-pmap-c-que)# burst-detect rise-thresh 1000
bytes fall-thresh 1000 bytes
Nexus3264Q# show queuing burst-detect detail
slot 1
-----------------------------------------------------------------
-----------
Out Of Band Statistics
-----------------------------------------------------------------
-----------
Ethernet |Queue|Pipe |Start Depth| Start Time |Peak Depth|
Interface| | | (bytes) | | (bytes) |
-----------------------------------------------------------------
----------
Ether1/23| 0 | XPE-A | 23000 | 2015/09/12 16:43:12:227129 | 24174

Latency Monitoring

機能概要

筐体内の遅延時間を表示する機能

動作概要

内部でタイムスタンプを付加する Show コマンドをうつだけ

利点/効果

実際の遅延時間をリアルタイムで把握することによりネットワークの可視性を高める

Smart Buffer

機能概要

トラフィックフローに応じた最適バッファリングアーキテクチャを標準装備

動作概要

スイッチがトラフィックフローのサイズを動的に判断し大・小のフローに分ける小さいフローを動的に優先してバッファリングする

利点/効果

複雑な設定・設計なしに、トラフィックバースト等の影響から重要なパケットを保護

memo

パケットの長短が多いような環境（データマイニング）でアプリケーション応答時間が短くなった事例ありデフォルト有効化されている

MACsec

機能概要

L2 レベル(Ethernet)での通信暗号化を提供する機能

動作概要

L2 レベルでの通信暗号化をラインレートで実現

利点/効果

ネットワーク構成やパフォーマンスに影響を与えることなく、セキュアなネットワークを構築可能

iCAM

機能概要

シスコ検証済みのスケーラビリティ値と比較して、スイッチ使用状況を検証、問題の検出、計画/予測する機能を提供

動作概要

機能ごとの TCAM 使用率や、機能を利用したトラフィックを分析して可視化

利点/効果

従来では詳細な TCAM/SRAM 使用率および ACE エントリなどに該当したトラフィックを把握することは難しかったが、追加機器無しで TCAM/SRAM 使用率、そしてトラフィックの可視性を高められる

memo

※ ver9.3(5) 以降は、デフォルトで iCAM 有効

VMTracer

機能概要

vCenter と連携し、VLAN の動的なプロビや CLI によるホスト、VM などの情報の確認

動作概要

feature の有効化 vCenter との連携設定

利点/効果

Nexus 上のポートの設定が vCenter 側の設定を確認しなくても可能になる。 vCenter にログインしなくても、簡単な VM の情報を確認できる。

memo

switch# show system internal vmtracker info all
VM-Interface Mapping (Device:50:87:89:a1:f0:de)
------------------------------------------------------------------------------
Interface Host VMNIC VM State PortGroup VLAN-Range
------------------------------------------------------------------------------
port-channel2 10.193.174.213 vmnic7 Site-1-Hos on dvPortGrou 1-100
port-channel2 10.193.174.213 vmnic7 Site-1-Hos on dvPortGrou 1-100
VM-Interface Mapping (Device:50:87:89:a1:f0:df)
------------------------------------------------------------------------------
Interface Host VMNIC VM State PortGroup VLAN-Range
------------------------------------------------------------------------------
port-channel3 10.193.174.214 vmnic7 Site-1-Hos on dvPortGrou 1-100
port-channel3 10.193.174.214 vmnic7 Site-1-Hos on dvPortGrou 1-100
VM-Interface Mapping (Device:50:87:89:a1:f0:e1)
------------------------------------------------------------------------------
Interface Host VMNIC VM State PortGroup VLAN-Range
------------------------------------------------------------------------------
（省略）

Config Archive

機能概要

コンフィグを Archive するための機能

動作概要

Archive モードに入って設定する

利点/効果

コンフィグを定期的に保存し、コンフィグ内容やコマンドを実行したユーザ名なども表示さらに特定のコンフィグファイルを configure replace コマンドで読み込むことも可能

memo

switch# configure terminal
switch(config)# archive
switch(config-archive)# path bootflash:myconfig
switch(config-archive)# maximum 14
switch(config-archive)# time-period 10
switch# show archive log config all
INDEX LINE USER LOGGED COMMAND
1 console0 user01 | logging console 1
2 console0 user01 | logging monitor 2
3 console0 user02 | system default switchport shutdown
4 console0 user02 | interface mgmt0
5 console0 user02 | no shutdown

Ethanalyzer

機能概要

Wireshark のコードをベースとした NX-OS のコントロールパケット解析機能

動作概要

CLI を通じてキャプチャとデコードを行う

利点/効果

SPAN などでパケットを出さずにスイッチローカルで解析を行うことができる

memo

コンテナ化するときに wireshark で使える CPU リソース上限が決まっているのでパケット送信に影響はない（CPU 上限はたぶん 1%） pcap ファイルに吐き出すことは可能どのくらいエントリできるかはわからない事例として仕込んで放置するというのは聞いたことがある

switch(config)# ethanalyzer local interface mgmt limit-captured-frames 4
Capturing on eth1
2013-05-18 13:21:21.841182 172.28.230.2 -> 224.0.0.2 BGP Hello (state
Standy)
2013-05-18 13:21:21.842190 10.86.249.17 -> 172.28.231.193 TCP 4261 >
telnet [AC] Seq=0 Ack=0 Win=64475 Len=0
2013-05-18 13:21:21.843039 172.28.231.193 -> 10.86.249.17 TELNET Telnet
Data ..
2013-05-18 13:21:21.850463 00:13:5f:1c:ee:80 -> ab:00:00:02:00:00 0x6002
DEC DN

PoAP (Power on Auto Provisioning)

機能概要

Start-up Configuration がないデバイスのプロビジョニングを行う

動作概要

PoAP 中にあるスクリプトを通じてブートアップに必要な情報を集める

利点/効果

ブートアップに必要な以下の作業を自動化する OS インストール, ライセンスインストール DHCP コンフィグ作業

memo

ゼロタッチプロビジョニング boot 時に PoAP するか聞かれているはず

Telemetry

機能概要

ネットワークの健全性を分析して可視化する機能

動作概要

Cisco Nexus Insight や Grafana 等監視装置に Telemetry を転送

利点/効果

システムのヘルス状態や各種センサーの情報を可視化パケットドロップや遅延の発生箇所を特定

EVPN-VXLAN（Virtual eXTensible LAN）

機能概要

L3 ネットワーク上でマルチテナントを実現する Overlay ネットワーク技術

動作概要

VXLAN ヘッダーにより、テナントを識別 EVPN でホスト情報(MAC と IP)を BGP で交換

利点/効果

ブロッキングをしないなしで、マルチパスを提供（ECMP）標準化プロトコル間の機器は VXLAN 非対応機器も可能 Underlay ネットワーク（物理）の構成を意識せずマルチテナンシーを実現

EVPN NLRI Filtering

機能概要

VXLAN EVPN の経路制御に関する機能拡張

動作概要

VXLAN EVPN の経路制御において MAC/IP 以外にも様々な NLRI パラメータを条件に指定可能

利点/効果

より柔軟な EVPN の経路制御を実現

ePBR

機能概要

ポリシーベースルーティングに関する機能拡張

動作概要

特定の条件でトラフィックをサービス(FW/IPS/LB 等)にリダイレクト

利点/効果

通常はボトルネックとなるサービスを利用せず必要なときにサービスに転送可能サービスの可用性に基づいてフェイルアクションを指定可能

Nexus シリーズ便利コマンド

include コマンドと exclude コマンド


(パイプ)の後に include/exclude コマンドを使うことで、特定の文字列を含む/含まない行を抽出可能です。

例) show interface brief | include up
mgmt0 -- up 192.168.0.141 1000 1500
Eth1/1 1 eth trunk up none 1000(D) --

sleep コマンド

;(セミコロン)の後に別のコマンドを指定して、複数コマンドを一括して実行可能。sleep <秒>コマンドを組み合わせることで、一定時間が経ってからカウンターの増分の確認などが簡単に出来ます。

例) show interface ; sleep 5 ; show interface

grep/egrep コマンド

grep/egrep コマンドを組み合わせることで、show コマンドの出力から特定の文字列を含む行を抽出可能です。下記の例では-1 を指定することで、“1/2 ”を含む行と前後 1 行を抽出しています。

例) show interface brief | grep -1 "1/2 "
Eth1/1 1 eth trunk up none 1000(D) --
Eth1/2 20 eth access up none 1000(D) --
Eth1/3 1 eth trunk up none 1000(D) --

run bash/tcpdump コマンド

Bash シェル機能が有効になる。Run bash コマンドにより、tcpdump 等 Linux 同様のコマンドを実行可能です。

例)nexus(config)# feature bash-shell
nexus(config)# run bash
bash-4.3$ sudo tcpdump -i Eth1-54
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode