One doc tagged with "tokenizer"

대규모 언어 모델(LLM) 개요 — 언어 모델 진화, GPT/Claude/Gemini, Scaling Law, 토크나이저, 추론 최적화