Skip to main content

AI & Machine Learning

수학 기초부터 LLM 활용까지 — 인프라 엔지니어가 AI를 이해하고 실무에 적용하기 위한 지식 체계

🎯 이 카테고리의 목적​

AI/ML 기술을 "왜 이렇게 동작하는가" 수준에서 이해하고, 실무에 활용할 수 있는 수준까지 정리하는 것이 목표.

방향:

  • 수학 기초를 먼저 다지고, ML → DL → Transformer → LLM으로 자연스럽게 이어감
  • Phase 3 이후는 실무 활용에 집중 — LLM API, RAG, Agent, 파인튜닝
  • AI 인프라를 인프라 엔지니어 관점에서 다룸 — GPU, MLOps, 서빙

누구를 위한 카테고리인가​

  • AI/ML 기초를 수학부터 체계적으로 정리하려는 엔지니어
  • LLM을 실무에 활용하려는 개발자/엔지니어
  • AI 워크로드를 위한 인프라를 설계하려는 인프라/클라우드 엔지니어

📐 구성 철학​

flowchart TD
    subgraph Phase1["Phase 1: 수학 & ML 기초"]
        M0["#0 수학 기초"]
        M1["#1 ML Overview"]
        M2["#2 지도학습"]
        M3["#3 비지도학습"]
    end

    subgraph Phase2["Phase 2: 딥러닝"]
        D1["#4 Neural Network"]
        D2["#5 CNN"]
        D3["#6 RNN & Sequence"]
        D4["#7 Transformer"]
    end

    subgraph Phase3["Phase 3: LLM"]
        L1["#8 LLM Overview"]
        L2["#9 파인튜닝"]
        L3["#10 Embedding & Vector DB"]
    end

    subgraph Phase4["Phase 4: 실무 활용"]
        A1["#11 프롬프트 엔지니어링"]
        A2["#12 RAG"]
        A3["#13 AI Agent"]
        A4["#14 LLM 활용 패턴"]
    end

    subgraph Phase5["Phase 5: 생성형 AI"]
        G1["#15 이미지 생성"]
        G2["#16 멀티모달"]
    end

    subgraph Phase6["Phase 6: AI 인프라"]
        I1["#17 AI 인프라"]
        I2["#18 MLOps"]
    end

    Phase1 --> Phase2 --> Phase3 --> Phase4
    Phase3 --> Phase5
    Phase3 --> Phase6
  • Phase 1~2: 수학 → ML → DL. 이론적 기반
  • Phase 3: LLM 아키텍처, 파인튜닝, 임베딩. LLM을 깊이 이해하는 데 필요한 핵심
  • Phase 4: 실무 활용에 집중. 프롬프트, RAG, Agent — 지금 당장 쓸 수 있는 기술
  • Phase 5: 이미지 생성, 멀티모달 — LLM 너머의 생성형 AI
  • Phase 6: 인프라 엔지니어 관점의 AI 워크로드 지원

📚 시리즈 목차​

Phase 1: 수학 & ML 기초​

#제목상태
0수학 기초✅
1Machine Learning Overview✅
2지도학습 — 회귀 & 분류✅
3비지도학습 & 차원축소✅

Phase 2: 딥러닝​

#제목상태
4Neural Network 기초✅
5CNN — 이미지 인식✅
6RNN & Sequence 모델✅
7Transformer 아키텍처✅

Phase 3: LLM​

#제목상태
8LLM Overview✅
9파인튜닝 — LoRA, RLHF, PEFT✅
10Embedding & Vector DB✅

Phase 4: 실무 활용​

#제목상태
11프롬프트 엔지니어링✅
12RAG — 검색 증강 생성✅
13AI Agent✅
14LLM 활용 패턴✅

Phase 5: 생성형 AI​

#제목상태
15이미지 생성 — Diffusion 모델✅
16멀티모달 AI✅

Phase 6: AI 인프라​

#제목상태
17AI 인프라 Overview✅
18MLOps 기초✅

✅ = 작성 완료 / 📋 = 목차 확정, 미작성

📋 각 글의 상세 목차​

#0 수학 기초​

ML/DL을 이해하기 위한 최소한의 수학. 증명보다 직관과 ML에서의 의미에 집중.

1. 선형대수
   - 벡터, 행렬, 텐서 — 데이터의 표현
   - 행렬 곱셈 — Neural Network의 핵심 연산
   - 고유값/고유벡터 — PCA의 원리
   - 내적(dot product) — 유사도 측정, Attention의 기반

2. 미적분
   - 편미분 — 가중치별 기울기 계산
   - 체인 룰(Chain Rule) — 역전파의 수학적 기반
   - 그래디언트(Gradient) — 손실 함수의 최적화 방향

3. 확률과 통계
   - 확률 분포 (정규, 베르누이, 소프트맥스)
   - 베이즈 정리 — 사후 확률, 나이브 베이즈 분류기
   - 최대우도추정(MLE) — 모델 학습의 기본 원리
   - 정보 이론 기초 — 엔트로피, 크로스 엔트로피 손실 함수의 의미

4. 최적화
   - 경사하강법 — ML 학습의 핵심
   - 볼록 최적화 vs 비볼록 최적화
   - 안장점(Saddle Point), 지역 최소값 문제

#1 Machine Learning Overview​

1. ML 정의와 유형 (지도/비지도/강화/자기지도)
2. ML 워크플로우 (데이터 수집 → 전처리 → 학습 → 평가 → 배포)
3. 편향-분산 트레이드오프
4. 과적합/과소적합, 정규화(L1/L2)
5. 교차 검증, 하이퍼파라미터 튜닝
6. 특성 엔지니어링 기초

#2 지도학습 — 회귀 & 분류​

1. 회귀: 선형회귀, 릿지/라소, 다항 회귀
2. 분류: 로지스틱회귀, SVM, 결정트리
3. 앙상블: Random Forest, Gradient Boosting, XGBoost, LightGBM
4. 평가 메트릭: Accuracy, Precision, Recall, F1, AUC-ROC, RMSE, MAE
5. 실전 선택 기준 — 어떤 모델을 언제 쓰는가

#3 비지도학습 & 차원축소​

1. 클러스터링: K-Means, DBSCAN, Hierarchical
2. 차원축소: PCA, t-SNE, UMAP
3. 이상치 탐지: Isolation Forest, LOF
4. 연관 규칙, 추천 시스템 기초

#4 Neural Network 기초​

1. 퍼셉트론 → 다층 퍼셉트론(MLP)
2. 활성화 함수 (Sigmoid, ReLU, GELU, Swish)
3. 순전파와 역전파 — 수학적 흐름
4. 손실 함수 (MSE, Cross-Entropy)
5. 옵티마이저 (SGD, Momentum, Adam, AdamW)
6. 정규화 (Dropout, Batch Normalization, Layer Normalization)
7. 초기화 전략 (Xavier, He, Kaiming)
8. 학습률 스케줄러 (Step, Cosine, Warmup)

#5 CNN — 이미지 인식​

1. 합성곱 연산, 필터, 특성 맵
2. 풀링 (Max, Average, Global Average)
3. 주요 아키텍처 진화: LeNet → AlexNet → VGG → GoogLeNet → ResNet → EfficientNet
4. Transfer Learning — 사전학습 모델 활용
5. 데이터 증강 (Augmentation)
6. Object Detection 개요 (YOLO, Faster R-CNN)

#6 RNN & Sequence 모델​

1. RNN 구조와 기울기 소실 문제
2. LSTM — 게이트 메커니즘
3. GRU — 단순화된 LSTM
4. Seq2Seq — 인코더-디코더 구조
5. Attention 메커니즘의 등장 — "Attention Is All You Need" 이전 이야기
6. Bidirectional RNN, Stacked RNN

#7 Transformer 아키텍처​

Phase 3(LLM)으로 넘어가기 위한 핵심 편

1. "Attention Is All You Need" 논문 핵심
2. Self-Attention 메커니즘 — Query, Key, Value
3. Multi-Head Attention — 왜 여러 개의 헤드인가
4. 포지셔널 인코딩 — 순서 정보를 어떻게 넣는가
5. Encoder-Decoder 전체 구조
6. Layer Normalization, Residual Connection의 역할
7. Transformer의 확장: Encoder-only(BERT), Decoder-only(GPT), Encoder-Decoder(T5)

#8 LLM Overview​

1. 언어 모델의 진화 (n-gram → RNN → Transformer → GPT)
2. GPT 계열 (GPT-1 → 2 → 3 → 4), Claude, Gemini, Llama 계보
3. BERT vs GPT — Encoder vs Decoder, 양방향 vs 단방향
4. 사전학습(Pre-training) — 다음 토큰 예측, 마스킹
5. Scaling Law — 모델/데이터/컴퓨트의 관계
6. Emergent Abilities — 규모가 커지면 나타나는 능력
7. 토크나이저 (BPE, SentencePiece, tiktoken)
8. 컨텍스트 윈도우, KV Cache, 추론 최적화 기초

#9 파인튜닝 — LoRA, RLHF, PEFT​

1. 파인튜닝이란 — 사전학습 모델을 특정 태스크에 맞추기
2. Full Fine-tuning vs Parameter-Efficient Fine-Tuning (PEFT)
3. LoRA (Low-Rank Adaptation) — 원리, 장점, 실전 적용
4. QLoRA — 양자화 + LoRA
5. Adapter, Prefix Tuning, Prompt Tuning 비교
6. RLHF (Reinforcement Learning from Human Feedback)
   - Reward Model 학습
   - PPO 기반 정책 최적화
   - RLHF의 한계와 대안 (DPO, RLAIF)
7. Instruction Tuning — 지시를 따르는 모델 만들기
8. 파인튜닝 데이터셋 구축 전략

#10 Embedding & Vector DB​

1. 임베딩이란 — 텍스트/이미지를 벡터 공간에 매핑
2. Word Embedding 진화 (Word2Vec → GloVe → FastText → Contextual)
3. Sentence/Document Embedding (Sentence-BERT, E5, OpenAI Embeddings)
4. 임베딩 유사도 (코사인 유사도, 유클리드 거리, 내적)
5. Vector DB 개요
   - 왜 Vector DB가 필요한가 — 고차원 벡터의 ANN(Approximate Nearest Neighbor) 검색
   - 인덱싱 알고리즘 (HNSW, IVF, PQ)
6. Vector DB 비교
   - Chroma — 로컬, 경량, Python 네이티브
   - Pinecone — 관리형 SaaS
   - Weaviate — 오픈소스, 하이브리드 검색
   - Milvus — 대규모, 분산
   - pgvector — PostgreSQL 확장
7. 임베딩 모델 선택 기준 (차원 수, 성능, 비용)

#11 프롬프트 엔지니어링​

1. 프롬프트 엔지니어링이란 — LLM에게 원하는 출력을 얻는 기술
2. 기본 기법
   - Zero-shot, Few-shot
   - Chain of Thought (CoT) — 단계별 추론 유도
   - Self-Consistency — 다수결 기반 신뢰도 향상
3. 고급 기법
   - Tree of Thoughts, Graph of Thoughts
   - ReAct (Reasoning + Acting) — Agent의 기반
   - System Prompt 설계 패턴
4. 구조화된 출력 (JSON Mode, XML 태그, 스키마 정의)
5. 프롬프트 보안 — Injection 방어, 가드레일
6. 평가 — 프롬프트 품질을 어떻게 측정하는가

#12 RAG — 검색 증강 생성​

1. RAG란 — LLM의 한계(환각, 지식 컷오프)를 검색으로 보완
2. RAG 아키텍처
   - 인덱싱: 문서 → 청킹 → 임베딩 → Vector DB 저장
   - 검색: 쿼리 → 임베딩 → 유사 문서 검색
   - 생성: 검색 결과 + 원래 질문 → LLM이 답변 생성
3. 청킹 전략 (고정 크기, 문단, 재귀, 시맨틱)
4. 검색 품질 향상
   - Hybrid Search (키워드 + 벡터)
   - Re-ranking (Cross-Encoder)
   - Query Expansion, HyDE
5. Advanced RAG
   - 부모-자식 청킹, 문서 요약 인덱스
   - Multi-hop RAG, Graph RAG
6. 평가 프레임워크 (RAGAS — Faithfulness, Relevancy, Context)
7. RAG vs Fine-tuning — 언제 뭘 쓰는가

#13 AI Agent​

1. AI Agent란 — LLM이 도구를 사용하여 자율적으로 행동하는 시스템
2. Agent 아키텍처
   - 관찰(Observe) → 추론(Think) → 행동(Act) → 반복
   - ReAct 패턴
   - Plan-and-Execute 패턴
3. Tool Use / Function Calling
   - API 호출, 코드 실행, 웹 검색, 파일 조작
   - OpenAI Function Calling, Claude Tool Use
4. Agent 프레임워크
   - LangChain / LangGraph — 체인/그래프 기반 오케스트레이션
   - CrewAI — 멀티 에이전트 협업
   - AutoGen — 대화 기반 멀티 에이전트
5. MCP (Model Context Protocol)
   - Anthropic MCP — 표준화된 도구 연결 프로토콜
   - MCP Server/Client 구조
   - 실무 활용 사례
6. 메모리 관리 — 단기/장기 메모리, 대화 히스토리 관리
7. Agent 평가와 안전성 — 할루시네이션 방지, 행동 제한

#14 LLM 활용 패턴​

1. API 활용 기초 (OpenAI, Anthropic, Google API)
2. 스트리밍, 배치 처리, 비용 최적화
3. LLM 앱 아키텍처 패턴
   - 단순 Q&A
   - 문서 요약/분석
   - 코드 생성/리뷰
   - 데이터 추출/구조화
4. 가드레일과 모니터링
5. 평가 방법 (LLM-as-Judge, Human Eval, 벤치마크)
6. 모델 선택 기준 (성능, 비용, 지연, 프라이버시)

#15 이미지 생성 — Diffusion 모델​

1. 생성 모델의 진화 (GAN → VAE → Diffusion)
2. Diffusion 모델 원리 — 노이즈 추가 → 복원 과정
3. Stable Diffusion 아키텍처 (U-Net, VAE, Text Encoder)
4. 텍스트 → 이미지 (Text-to-Image) 동작 원리
5. ControlNet, LoRA(이미지용), Inpainting
6. DALL-E, Midjourney, Flux 비교
7. 실무 활용과 저작권 이슈

#16 멀티모달 AI​

1. 멀티모달이란 — 텍스트 + 이미지 + 오디오 + 비디오
2. Vision-Language 모델 (GPT-4V, Claude Vision, Gemini)
3. 이미지 이해 아키텍처 (CLIP, Vision Transformer)
4. 음성 (Whisper, TTS)
5. 비디오 생성 (Sora, Runway)
6. 멀티모달 RAG — 이미지/테이블 포함 문서 검색

#17 AI 인프라 Overview​

1. GPU vs CPU — AI 워크로드에서 GPU가 필수인 이유
2. NVIDIA 생태계 (CUDA, cuDNN, TensorRT)
3. GPU 아키텍처 세대별 비교 (A100, H100, H200, B200)
4. 학습(Training) vs 추론(Inference) 인프라 차이
5. 분산 학습 (Data Parallel, Model Parallel, Pipeline Parallel)
6. 추론 최적화 (양자화, KV Cache, vLLM, TensorRT-LLM)
7. 클라우드 GPU 인스턴스 (AWS p5, Azure ND, GCP A3)
8. 온프레미스 AI 서버 구성 (GPU 서버, 네트워크, 스토리지)
9. GPU 가상화 — vGPU, MIG, PCI Passthrough, SR-IOV

→ Virtualization 시리즈와 연결: GPU Passthrough

#18 MLOps 기초​

1. MLOps란 — ML 모델의 개발/배포/운영 자동화
2. ML 파이프라인 (데이터 수집 → 전처리 → 학습 → 평가 → 배포 → 모니터링)
3. 실험 추적 (MLflow, Weights & Biases)
4. 모델 버전 관리 (MLflow Model Registry, DVC)
5. 모델 서빙 (FastAPI, TorchServe, Triton Inference Server)
6. CI/CD for ML — 모델 학습/배포 자동화
7. 모니터링 — 데이터 드리프트, 모델 성능 저하 감지
8. 컨테이너 기반 ML 환경 (Docker, Kubernetes)

→ Pipeline 시리즈와 연결: CI/CD, Ansible

🔄 다른 카테고리와의 관계​

AI 주제관련 카테고리연결
GPU Passthrough / vGPUVirtualizationVM에서 GPU 할당
컨테이너 기반 학습ContainerDocker로 ML 환경 구성
MLOps 파이프라인PipelineCI/CD, IaC 연동
AI 실습/프로젝트lab/AI실습 기록은 Lab에 분리
클라우드 GPU 인스턴스CloudAWS/Azure GPU 인스턴스

💡 이론은 Root/AI, 실습은 lab/AI로 분리. Root에서는 "이것이 무엇이고 왜 이렇게 동작하는가"를 다루고, Lab에서는 "실제로 해보니 어땠는가"를 기록함.

📝 참고 자료​