Markdown RAG 청크·토큰 플래너

Markdown RAG 청크·토큰 플래너 사용 가이드

사내 문서를 AI 검색(RAG)에 넣으려면 문서를 적당한 크기의 조각(청크)으로 나눠야 합니다. 글자 수로만 자르면 문장 중간이 끊기고, 어느 장의 내용인지도 사라집니다. 이 플래너는 제목 구조를 따라 문서를 나누고, 청크마다 '사내 위키 > 휴가 규정' 같은 제목 경로를 붙여 줍니다.

먼저 제목마다 구역을 나누고, 구역 안에서는 빈 줄로 구분된 문단을 약 800자까지 차례로 담습니다. 한 문단이 800자를 넘으면 그 문단만 800자씩, 앞 청크와 100자가 겹치게 자릅니다. 토큰 수는 한글·한자·가나 1자를 1토큰, 나머지 문자는 4자를 1토큰으로 어림합니다.

결과 첫 줄에는 청크 수, 평균 글자 수, 전체 토큰 추정치가 나오고, 아래에 청크 번호, 글자 수, 토큰, 제목 경로, 앞부분 미리보기가 한 줄씩 나옵니다.

사용 방법

1. 1'.md·.txt 파일'에서 청크로 나눌 문서를 고르거나 'Markdown 내용'에 위키 문서를 붙여 넣습니다.
2. 2'실행'을 누르면 청크 계획 요약과 청크별 정보가 나옵니다.
3. 3너무 작거나 큰 청크가 많으면 원문의 제목과 문단 구성을 다듬은 뒤 다시 계획합니다.

# 사내 위키
소개 문단입니다.
## 휴가 규정
연차는 입사 1년 후 15일입니다.

반차는 오전·오후로 나눠 씁니다.
## 출장 규정
출장비는 실비로 정산합니다.

청크 3개 · 목표 약 800자 · 평균 30자 · 총 약 64 토큰
1	17자	~13 토큰	사내 위키	사내 위키 소개 문단입니다.
2	48자	~33 토큰	사내 위키 > 휴가 규정	휴가 규정 연차는 입사 1년 후 15일입니다. 반차는 오전·오후로 나눠 씁니다.
3	24자	~18 토큰	사내 위키 > 출장 규정	출장 규정 출장비는 실비로 정산합니다.

이럴 때 쓰면 좋아요

• 사내 위키를 AI 검색(RAG)에 넣기 전에 청크 크기를 점검할 때
• 챗봇 학습 자료의 토큰 수와 비용을 미리 어림할 때
• 제목 없이 길게 쓴 문단을 찾아 문서를 나눌 위치를 정할 때
• 청크마다 붙일 제목 경로 메타데이터를 확인할 때

문제가 생겼을 때

활용 팁

• 검색 품질은 청크 안에 맥락이 있을 때 좋아집니다. 결과의 제목 경로를 청크 앞에 붙여 저장하면 짧은 청크도 무엇에 관한 내용인지 남습니다.
• 표나 코드 블록 중간에서 잘리지 않도록, 긴 표 앞뒤에는 빈 줄로 문단을 나눠 두세요.

자주 묻는 질문