o200k_base1 한글은 토큰을 더 먹을까? ChatGPT 토큰 수를 tiktoken으로 직접 세어 봤어요 (GPT-4o, GPT-5 o200k_base 기준) 같은 뜻의 문장을 한글과 영어로 넣어 보니, 요즘 모델이 쓰는 o200k_base 기준으로 한글이 영어보다 토큰이 1.3배에서 1.9배 많았어요. 대신 예전 GPT-4가 쓰던 cl100k_base보다는 한글 토큰이 최대 37% 줄었습니다.API 요금과 컨텍스트 한도는 글자 수가 아니라 토큰 수로 계산돼요. 그래서 한글 프롬프트가 실제로 몇 토큰인지 궁금해서 OpenAI가 공개한 토크나이저로 직접 세어 봤습니다.테스트 환경: macOS 26.6.2, Node v26.5.0, js-tiktoken 1.0.21 (2026년 10월 18일 실행)실험 전에 세운 가설OpenAI 도움말 문서 "What are tokens and how to count them?"에는 영어 기준으로 1토큰이 대략 4글자라고 나와 있.. 2026. 10. 19. 이전 1 다음
