Datacenter Network Topology

3-Tier vs Spine-Leaf 구조, ECMP, Oversubscription, VXLAN/BGP

---

🎯 개요

토폴로지	시대	특징
3-Tier	전통	계층적, North-South 최적화
Spine-Leaf	현대	평면적, East-West 최적화

---

🏛️ 전통 3-Tier 구조

아키텍처

flowchart TB
    Core["Core - Router"]
    
    Agg1["Aggregation"]
    Agg2["Aggregation"]
    Agg3["Aggregation"]
    
    Acc1["Access (L2)"]
    Acc2["Access (L2)"]
    Acc3["Access (L2)"]
    Acc4["Access (L2)"]
    Acc5["Access (L2)"]
    Acc6["Access (L2)"]
    
    S1["Servers"]
    S2["Servers"]
    S3["Servers"]
    S4["Servers"]
    S5["Servers"]
    S6["Servers"]
    
    Core --> Agg1 & Agg2 & Agg3
    Agg1 --> Acc1 & Acc2
    Agg2 --> Acc3 & Acc4
    Agg3 --> Acc5 & Acc6
    Acc1 --> S1
    Acc2 --> S2
    Acc3 --> S3
    Acc4 --> S4
    Acc5 --> S5
    Acc6 --> S6

3계층 역할

계층	장비	역할
Core	라우터/L3 스위치	외부 연결, 고속 백본
Aggregation	L3 스위치	라우팅, 정책, VLAN 집선
Access	L2 스위치	서버/엔드포인트 연결

트래픽 패턴

North-South 트래픽:

flowchart TB
    Internet["인터넷/외부"]
    Core["Core"]
    Servers["Servers"]
    
    Internet <-->|"North-South"| Core
    Core <--> Servers

클라이언트 ↔ 서버 간 트래픽. 전통적 웹 서비스 환경.

장단점

장점	단점
검증된 구조	East-West 비효율
관리 용이	STP 병목
계층별 역할 명확	확장 시 복잡도 증가
	Oversubscription

STP (Spanning Tree Protocol) 문제

루프 방지를 위해 일부 링크를 비활성화함 → 대역폭 낭비.

flowchart TB
    Agg["Aggregation"]
    Acc1["Access 1"]
    Acc2["Access 2"]
    
    Agg --> Acc1
    Agg --> Acc2
    Acc1 -.->|"STP 차단 - 루프 방지"| Acc2

---

🌿 Spine-Leaf 구조

아키텍처

flowchart TB
    subgraph Spines["Spine Layer (백본)"]
        S1["Spine 1"]
        S2["Spine 2"]
        S3["Spine 3"]
        S4["Spine 4"]
    end
    
    subgraph Leaves["Leaf Layer (ToR)"]
        L1["Leaf 1"]
        L2["Leaf 2"]
        L3["Leaf 3"]
        L4["Leaf 4"]
        L5["Leaf 5"]
    end
    
    S1 --- L1 & L2 & L3 & L4 & L5
    S2 --- L1 & L2 & L3 & L4 & L5
    S3 --- L1 & L2 & L3 & L4 & L5
    S4 --- L1 & L2 & L3 & L4 & L5
    
    L1 --- R1["Rack 1"]
    L2 --- R2["Rack 2"]
    L3 --- R3["Rack 3"]
    L4 --- R4["Rack 4"]
    L5 --- R5["Rack 5"]

핵심: 모든 Leaf가 모든 Spine에 연결.

2계층 역할

계층	역할	특징
Spine	백본, Leaf 간 연결	서버 직접 연결 없음
Leaf	서버/ToR 연결	Top of Rack 스위치

트래픽 패턴

East-West 트래픽:

flowchart LR
    SA["Server A (Leaf 1)"]
    Spine["Spine (1홉)"]
    SB["Server B (Leaf 3)"]
    
    SA <-->|"East-West"| Spine <--> SB

현대 데이터센터: 마이크로서비스, 분산 스토리지, 빅데이터 → 서버 간 통신 폭증.

장단점

장점	단점
East-West 최적화	초기 비용 높음
예측 가능한 지연 (2홉)	케이블링 복잡
STP 불필요 (ECMP)	기존 인프라 재설계
비차단 (Non-blocking)
쉬운 수평 확장

---

🆚 3-Tier vs Spine-Leaf 비교

항목	3-Tier	Spine-Leaf
계층 수	3	2
최적화 대상	North-South	East-West
확장성	수직 확장	수평 확장
홉 수	가변 (1~4홉)	고정 (2홉 이내)
대역폭 활용	STP로 제한	ECMP로 전체 활용
오버서브스크립션	높음	낮음/없음
지연	가변	예측 가능
비용	낮음	높음 (초기)

트래픽 비교

flowchart TB
    subgraph ThreeTier["3-Tier (East-West 비효율)"]
        direction LR
        T_SA["Server A"] --> T_Acc1["Access"] --> T_Agg["Aggregation"] --> T_Acc2["Access"] --> T_SB["Server B"]
    end
    
    subgraph SpineLeaf["Spine-Leaf (East-West 최적화)"]
        direction LR
        S_SA["Server A"] --> S_L1["Leaf 1"] --> S_Spine["Spine (ECMP)"] --> S_L2["Leaf 2"] --> S_SB["Server B"]
    end

---

⚖️ ECMP (Equal-Cost Multi-Path)

개념

동일 비용의 여러 경로로 트래픽 분산함.

flowchart LR
    L1["Leaf 1"]
    S1["Spine 1"]
    S2["Spine 2"]
    S3["Spine 3"]
    L2["Leaf 2"]
    
    L1 --> S1 --> L2
    L1 --> S2 --> L2
    L1 --> S3 --> L2

→ 3개 경로 모두 활성, 트래픽 분산

STP vs ECMP

항목	STP	ECMP
루프 방지	링크 차단	라우팅으로 해결
활성 경로	1개	모두
대역폭	낭비	전체 활용
레이어	L2	L3

---

📊 Oversubscription

개념

업링크 대역폭 대비 다운링크 총합의 비율.

예: Access 스위치
- 서버 포트: 1G x 48 = 48Gbps
- 업링크: 10G x 2 = 20Gbps

Oversubscription = 48:20 = 2.4:1

비교

구조	일반적인 비율
3-Tier	4:1 ~ 20:1
Spine-Leaf	1:1 ~ 3:1

1:1 = Non-blocking (전체 대역폭 보장)

---

🌐 현대 데이터센터 요구사항

East-West 트래픽 증가 원인

기술	특징
마이크로서비스	서비스 간 API 호출 폭증
분산 스토리지	노드 간 복제 (Ceph, HDFS)
빅데이터	클러스터 내 데이터 이동
가상화/컨테이너	VM/컨테이너 마이그레이션
AI/ML	GPU 클러스터 간 통신

Spine-Leaf 적용 환경

환경	적합도
클라우드 데이터센터	◎
대규모 가상화	◎
빅데이터/AI 클러스터	◎
소규모 기업	△
전통적 웹서비스	○

---

🏗️ Spine-Leaf 설계 고려사항

1. Spine/Leaf 수 결정

Leaf 스위치: 서버 수 / Leaf당 포트 수
Spine 스위치: 원하는 대역폭 / 오버서브스크립션

예:
- 서버 1000대, Leaf당 48포트 → Leaf 21대
- Leaf에 Spine 연결용 4포트 → Spine 최대 4대

2. 포트 밀도

Leaf 업링크	Spine 수	총 Leaf 수 (Spine 48포트)
2포트	2	96
4포트	4	192
8포트	8	384

3. 대역폭 계산

Leaf당 서버 대역폭: 25G x 48 = 1.2Tbps
Leaf 업링크: 100G x 4 = 400Gbps

Oversubscription = 1.2T / 400G = 3:1

---

🔌 관련 기술

Underlay vs Overlay

flowchart TB
    subgraph Stack["네트워크 스택"]
        Overlay["Overlay Network (VXLAN, NVGRE, Geneve)"]
        Underlay["Underlay Network (Spine-Leaf 등)"]
        
        Overlay --> Underlay
    end

계층	역할
Underlay	물리적 연결, IP 라우팅
Overlay	가상 네트워크, 테넌트 분리

VXLAN

L2 네트워크를 L3 위에 터널링함.

flowchart LR
    SA["Server A (VXLAN 100)"]
    VTEP1["VTEP Encapsulate"]
    IP["IP Network"]
    VTEP2["VTEP Decapsulate"]
    SB["Server B (VXLAN 100)"]
    
    SA --> VTEP1 --> IP --> VTEP2 --> SB

BGP in Datacenter

Spine-Leaf에서 라우팅 프로토콜로 BGP 사용이 증가하는 추세임.

기존	현대 DC
OSPF	BGP (eBGP)

이유:

• 확장성
• 정책 제어
• ECMP 지원
• 멀티벤더 호환

---

📋 요약

핵심 비교

항목	3-Tier	Spine-Leaf
구조	계층적	평면적
최적화	North-South	East-West
확장	수직	수평
홉 수	가변	고정 (2홉)
기술	STP	ECMP, BGP

선택 가이드

환경	권장
소규모, 전통적	3-Tier
클라우드, 가상화	Spine-Leaf
빅데이터, AI	Spine-Leaf
마이크로서비스	Spine-Leaf

---

🔗 관련 문서

• Spine-Leaf Deep Dive - Clos 네트워크, BGP unnumbered, VXLAN EVPN 심화
• OSI & TCP/IP Model - 네트워크 계층 모델
• Subnet & Routing Basics - IP, 서브넷, 라우팅

---

🔗 참고 자료

• Cisco Spine-Leaf Architecture
• Facebook Datacenter Network
• VXLAN Overview