ElasticSearch 애널라이저

 

 

 

 

문자열(필드)를  토큰단위로 나누어주는 것을 애널라이저라고 한다. 

POST /products/_create/1
{
  "name": "Apple 2025 맥북 에어 13 M4 10코어"
}

POST /products/_create/2
{
  "name": "Apple 2024 에어팟 4세대"
}

POST /products/_create/3
{
  "name": "Apple 2024 아이패드 mini A17 Pro"
}

 

 

 

애널라이저가 단순히 필드를 토큰 단위로 자르는 것 뿐만 아니라 

**애널라이저(Analyzer)**는 내부적으로 캐릭터 필터(character filter), 토크나이저(tokenizer), **토큰 필터(token filter)**라는 걸 활용해 문자열을 토큰으로 변환시킨다. 이 3가지의 개념에 대해 조금 더 자세히 알아보자.

 

 

캐릭터 필터

 

문자열을 다듬기 전 토큰으로 자르기 전 문자열을 다듬는 역할입니다. 

<h1>아이폰 15 사용 후기</h1>

→

아이폰 15 사용 후기

 

h1 가다듬기 

 

토큰나이저 

 

• standard 토크나이저 (공백 또는 ,, ., !, ?와 같은 문장 부호를 기준으로 자름)→ [The, Brown, Foxes, jumped, over, the, roof]
• The Brown-Foxes jumped over the roof.

 

문자열을 토큰 단위로 자르는 역할을 한다.

 

토큰 필터

 

토큰 필터는 최종적으로 잘린 필터를 가다듬는 역할을 합니다. 

 

 

lower , stemmer, stop 필터 적용