Normalization

1. 설명


**Normalization(정규화)**은 쿼리와 문서를 일관된 형태로 맞추어 서로 다른 표기·형태가 같은 의미로 매칭되도록 하는 전처리 기법입니다.

대소문자, 공백, 유니코드, 어형 변화(stemming/lemmatization) 등을 통일해 검색 recall을 높이고 불일치로 인한 누락을 줄입니다.

2. 작동 방식


1 대소문자 통일

  • 소문자화(lowercasing): "Python" ↔ "python" 동일 취급
  • 검색·인덱싱 시 동일 규칙 적용

2 공백·특수문자 정리

  • 연속 공백 하나로, 앞뒤 공백 제거
  • 구두점·특수문자 규칙 통일 (제거 또는 치환)

3 유니코드·발음 구별 부호 정규화

  • NFD/NFC 등 정규형 통일 (예: é → e + accent 분리/결합)
  • 전각·반각 문자 통일 (한글·영문 혼용 환경)

4 형태소·어간 통일 (선택)

  • Stemming: running → run, connected → connect
  • Lemmatization: better → good, am/are/is → be
  • 언어별 형태소 분석기 활용 (한국어: 형태소 분석기, 영어: NLTK, spaCy 등)

3. 장점 (Benefits)


  • 표기 변이로 인한 검색 누락 감소 (recall 향상)
  • 다국어·다양한 입력에 대한 일관된 매칭
  • 인덱스 품질 향상으로 BM25·키워드 검색 성능 개선
  • 임베딩 전 적용 시 임베딩 공간 일관성에 도움

4. 예제


**상대적 시간·금액 표현을 정규화된 값(날짜, 숫자)**으로 변환한 예시입니다.

input,output
작년 7월 이후 주문,2024-07-01 이후 주문
삼개월 전 결제 내역,2025-10-22 결제 내역
이천원 이하 상품,2000원 이하 상품
지난달 주문 내역,2025-12-01 이후 주문 내역
오늘 배송 상품,2026-01-22 배송 상품
내일 도착 예정,2026-01-23 도착 예정
일주일 전 구매,2026-01-15 구매
이틀 후 배송,2026-01-24 배송
삼일 전 주문,2026-01-19 주문
사일 후 도착,2026-01-26 도착
오일 전 결제,2026-01-17 결제
일개월 전 구매,2025-12-22 구매
이개월 전 주문,2025-11-22 주문
사개월 전 결제,2025-09-22 결제
오개월 전 구매,2025-08-22 구매
육개월 전 주문,2025-07-22 주문
칠개월 전 결제,2025-06-22 결제
팔개월 전 구매,2025-05-22 구매
구개월 전 주문,2025-04-22 주문
십개월 전 결제,2025-03-22 결제
작년 1월 주문,2025-01-01 이후 주문
작년 2월 구매,2025-02-01 이후 구매
작년 3월 결제,2025-03-01 이후 결제
작년 4월 주문,2025-04-01 이후 주문
작년 5월 구매,2025-05-01 이후 구매
작년 6월 결제,2025-06-01 이후 결제
작년 8월 주문,2025-08-01 이후 주문
작년 9월 구매,2025-09-01 이후 구매
작년 10월 결제,2025-10-01 이후 결제
작년 11월 주문,2025-11-01 이후 주문
작년 12월 구매,2025-12-01 이후 구매
지난주 월요일,2026-01-15
지난주 화요일,2026-01-16
지난주 수요일,2026-01-17
지난주 목요일,2026-01-18
지난주 금요일,2026-01-19
지난주 토요일,2026-01-20
지난주 일요일,2026-01-21
이번주 월요일,2026-01-22
이번주 화요일,2026-01-23
이번주 수요일,2026-01-24
다음주 월요일,2026-01-29
다음주 화요일,2026-01-30
다음주 수요일,2026-01-31
일천원 상품,1000원 상품
이천원 상품,2000원 상품
삼천원 상품,3000원 상품
사천원 상품,4000원 상품
오천원 상품,5000원 상품
육천원 상품,6000원 상품
칠천원 상품,7000원 상품
팔천원 상품,8000원 상품
구천원 상품,9000원 상품
일만원 상품,10000원 상품
이만원 상품,20000원 상품
삼만원 상품,30000원 상품
사만원 상품,40000원 상품
오만원 상품,50000원 상품
십만원 상품,100000원 상품
이십만원 상품,200000원 상품
삼십만원 상품,300000원 상품
사십만원 상품,400000원 상품
오십만원 상품,500000원 상품
일백만원 상품,1000000원 상품
이백만원 상품,2000000원 상품
삼백만원 상품,3000000원 상품
사백만원 상품,4000000원 상품
오백만원 상품,5000000원 상품
일천만원 상품,10000000원 상품
이천만원 상품,20000000원 상품
삼천만원 상품,30000000원 상품
일억원 상품,100000000원 상품
이억원 상품,200000000원 상품
삼억원 상품,300000000원 상품
일천원 이하,1000원 이하
이천원 이하,2000원 이하
삼천원 이하,3000원 이하
사천원 이하,4000원 이하
오천원 이하,5000원 이하
일만원 이하,10000원 이하
이만원 이하,20000원 이하
삼만원 이하,30000원 이하
사만원 이하,40000원 이하
오만원 이하,50000원 이하
십만원 이하,100000원 이하
일천원 이상,1000원 이상
이천원 이상,2000원 이상
삼천원 이상,3000원 이상
사천원 이상,4000원 이상
오천원 이상,5000원 이상
일만원 이상,10000원 이상
이만원 이상,20000원 이상
삼만원 이상,30000원 이상
사만원 이상,40000원 이상
오만원 이상,50000원 이상
십만원 이상,100000원 이상
일백만원 이상,1000000원 이상
이백만원 이상,2000000원 이상
삼백만원 이상,3000000원 이상
사백만원 이상,4000000원 이상
오백만원 이상,5000000원 이상
일천만원 이상,10000000원 이상
이천만원 이상,20000000원 이상
삼천만원 이상,30000000원 이상
일억원 이상,100000000원 이상
이억원 이상,200000000원 이상
삼억원 이상,300000000원 이상
일천원 미만,1000원 미만
이천원 미만,2000원 미만
삼천원 미만,3000원 미만
사천원 미만,4000원 미만
오천원 미만,5000원 미만
일만원 미만,10000원 미만
이만원 미만,20000원 미만
삼만원 미만,30000원 미만
사만원 미만,40000원 미만
오만원 미만,50000원 미만
십만원 미만,100000원 미만
일백만원 미만,1000000원 미만
이백만원 미만,2000000원 미만
삼백만원 미만,3000000원 미만
사백만원 미만,4000000원 미만
오백만원 미만,5000000원 미만
일천만원 미만,10000000원 미만
이천만원 미만,20000000원 미만
삼천만원 미만,30000000원 미만
일억원 미만,100000000원 미만
이억원 미만,200000000원 미만
삼억원 미만,300000000원 미만