Full Text Search2 : Korean(Nori) Analyzer

FULLTEXT USING VERSION 2 (col) INDEX_OPTIONS'{"analyzer": "korean"}'

예시1: ワサビテスト。(전각) ->　ﾜ, ｻ, ﾋ, ﾃ, ｽ, ﾄ (반각 문자로 변환 후 문자 단위 분리) 조회 : ﾜｻ, ｻﾋ, ﾋﾃｽ, ｽﾄ .. 예시2 : 서울에 있는 강아지들 백마리 -> (서,울,에), (있,는), (강,아,지,들), (백,마,리) 조회 : 서울, 울에, 서울에, 있는, 강아, 아지, 지들, 강아지, 아지들, 백마, ..

예시 : 서울에 있는 강아지들 백마리 -> 서울, 있다, 강아지, 백, 마리 조회 : 서울, 백, 마리, 강아지, 있다, 있음, 있으며, 있죠, ..

CREATE TABLE novel ( title varchar(30), content varchar(200), FULLTEXT USING VERSION 2 (content) INDEX_OPTIONS '{ "analyzer": "korean"}' );

FULLTEXT USING VERSION 2 (title, content) INDEX_OPTIONS

INSERT INTO novel (title, content) VALUES ('토지', '한 가족의 삶과 한국 근대사의 변화를 그린 이야기입니다.'), ('난장이가 쏘아올린 작은 공', '산업화로 인한 소외와 인간성을 다룬 단편입니다.'), ('데미안', '청소년의 성장과 자아 발견을 철학적으로 탐구한 이야기입니다.'), ('우리들의 일그러진 영웅', '권력과 정의를 사회적으로 조명한 이야기입니다.'), ('그 많던 싱아는 누가 다 먹었을까', '한국 전쟁과 성장의 기억을 담은 작품입니다.'), ('동백꽃', '농촌에서의 순박한 사랑 이야기를 담은 작품입니다.'), ('운수 좋은 날', '일제강점기 하층민의 삶을 묘사한 작품입니다.'), ('소나기', '첫사랑의 감정과 순수를 그린 이야기입니다.'), ('빨간 머리 앤', '소녀의 성장과 희망을 그린 이야기입니다.'), ('채식주의자', '내면의 폭력과 억압을 탐구한 이야기입니다.'); OPTIMIZE TABLE novel FLUSH;

구문 : MATCH(TABLE <table_name>) AGAINST(<expression>) 예 : SELECT MATCH(TABLE novel) AGAINST("content:(이야기)") FROM novel;

구문 : BM25(<table_name>, <expression>) 예 : SELECT BM25(novel,"content:(이야기)") FROM novel;

구문 : BM25_GLOBAL(<table_name>, <expression>) 예 : SELECT BM25_GLOBAL(novel,"content:(이야기)") FROM novel;

SELECT round(BM25_GLOBAL(novel,'content:성장'),3) as score, content, title FROM novel order by score desc; +-------+------------------------------------------------------------------------------+------------------------------+ | score | content | title | +-------+------------------------------------------------------------------------------+------------------------------+ | 0.559 | 소녀의 성장과 희망을 그린 이야기입니다. | 빨간 머리 앤 | | 0.526 | 한국 전쟁과 성장의 기억을 담은 작품입니다. | 그 많던 싱아는 누가 다 먹었을까 | | 0.472 | 청소년의 성장과 자아 발견을 철학적으로 탐구한 이야기입니다. | 데미안 | | 0.000 | 일제강점기 하층민의 삶을 묘사한 작품입니다. | 운수 좋은 날 | | 0.000 | 내면의 폭력과 억압을 탐구한 이야기입니다. | 채식주의자 | | 0.000 | 첫사랑의 감정과 순수를 그린 이야기입니다. | 소나기 | | 0.000 | 농촌에서의 순박한 사랑 이야기를 담은 작품입니다. | 동백꽃 | | 0.000 | 한 가족의 삶과 한국 근대사의 변화를 그린 이야기입니다. | 토지 | | 0.000 | 권력과 정의를 사회적으로 조명한 이야기입니다. | 우리들의 일그러진 영웅 | | 0.000 | 산업화로 인한 소외와 인간성을 다룬 단편입니다. | 난장이가 쏘아올린 작은 공 | +-------+------------------------------------------------------------------------------+-------------------------------+

SELECT round(BM25_GLOBAL(novel,'content:성장'),3) as score, content, title FROM novel order by score desc; +-------+------------------------------------------------------------------------------+------------------------------+ | score | content | title | +-------+------------------------------------------------------------------------------+------------------------------+ | 0.559 | 소녀의 성장과 희망을 그린 이야기입니다. | 빨간 머리 앤 | | 0.526 | 한국 전쟁과 성장의 기억을 담은 작품입니다. | 그 많던 싱아는 누가 다 먹었을까 | | 0.472 | 청소년의 성장과 자아 발견을 철학적으로 탐구한 이야기입니다. | 데미안 | | 0.000 | 일제강점기 하층민의 삶을 묘사한 작품입니다. | 운수 좋은 날 | | 0.000 | 내면의 폭력과 억압을 탐구한 이야기입니다. | 채식주의자 | | 0.000 | 첫사랑의 감정과 순수를 그린 이야기입니다. | 소나기 | | 0.000 | 농촌에서의 순박한 사랑 이야기를 담은 작품입니다. | 동백꽃 | | 0.000 | 한 가족의 삶과 한국 근대사의 변화를 그린 이야기입니다. | 토지 | | 0.000 | 권력과 정의를 사회적으로 조명한 이야기입니다. | 우리들의 일그러진 영웅 | | 0.000 | 산업화로 인한 소외와 인간성을 다룬 단편입니다. | 난장이가 쏘아올린 작은 공 | +-------+------------------------------------------------------------------------------+-------------------------------+

SELECT round(BM25_GLOBAL(novel,'content:성장,탐구하다'),3) as score, content, title FROM novel order by score desc; +-------+-------------------------------------------------------------------------------+-----------------------------+ | score | content | title | +-------+-------------------------------------------------------------------------------+-----------------------------+ | 1.083 | 청소년의 성장과 자아 발견을 철학적으로 탐구한 이야기입니다. | 데미안 | | 0.723 | 내면의 폭력과 억압을 탐구한 이야기입니다. | 채식주의자 | | 0.559 | 소녀의 성장과 희망을 그린 이야기입니다. | 빨간 머리 앤 | | 0.526 | 한국 전쟁과 성장의 기억을 담은 작품입니다. | 그 많던 싱아는 누가 다 먹었을까 | | 0.000 | 일제강점기 하층민의 삶을 묘사한 작품입니다. | 운수 좋은 날 | | 0.000 | 첫사랑의 감정과 순수를 그린 이야기입니다. | 소나기 | | 0.000 | 농촌에서의 순박한 사랑 이야기를 담은 작품입니다. | 동백꽃 | | 0.000 | 한 가족의 삶과 한국 근대사의 변화를 그린 이야기입니다. | 토지 | | 0.000 | 권력과 정의를 사회적으로 조명한 이야기입니다. | 우리들의 일그러진 영웅 | | 0.000 | 산업화로 인한 소외와 인간성을 다룬 단편입니다. | 난장이가 쏘아올린 작은 공 | +-------+-------------------------------------------------------------------------------+-----------------------------+

CREATE TABLE t ( content TEXT, FULLTEXT USING VERSION 2 (content) INDEX_OPTIONS '{ "analyzer": "korean"}' );

그녀(NP)가(JKS) 열심히(MAG) 공부(NNG)하(XSV)겠(EP)다(EF)며(EC) 결심(NNG)하(XSV)였(EP)고(EC) 나(NP)도(JX) 노력(NNG)하(XSV)는(ETM) 것(NNB)이(JKC) 필요(NNG)하(XSV)다(EF)고(EC) 느끼(VV)었(EP)다(EF). Stop Tags 제외 -> [그녀, 공부, 결심, 나, 노력, 것, 필요, 느끼다] SELECT BM25_GLOBAL(t,'content:그녀가열심히공부하겠다며결심했고나도노력하는 것이필요하다고느꼈다') FROM t; -- 1.046116590499878 SELECT BM25_GLOBAL(t,'content:그녀,공부,결심,나,노력,것,필요,느끼다') FROM t; -- 1.046116590499878

그녀(NP) 와(JC) 나(NP) 도(JX) 책(NNG) 을(JKO) 읽(VV) 고(EC) 생각(NNG) 의(JKG) 차이(NNG) 가(JKS) 크(VA) 다(EF) 고(JKQ) 말했(VV) 다(EF) Stop Tags 제외 -> [그녀, 나, 책, 읽다, 생각, 차이, 크다, 말하다] SELECT BM25_GLOBAL(t,'content:그녀와나도책을읽고생각의차이가크다고말했다') FROM t; -- 1.046116590499878 SELECT BM25_GLOBAL(t,'content:그녀,나,책,읽다,생각,차이,크다,말하다') FROM t; -- 1.046116590499878

아!(IC) 그(MM) 친구(NNG) 는(JKS) 빨리(MAG) 떠났(VV) 지만(MAJ) 그래서(MAJ) 더(MAG) 아쉽(VA) 다(EF) Stop Tags 제외 -> [친구, 떠나다, 아쉽다] SELECT BM25_GLOBAL(t,'content:아그친구는빨리떠났지만그래서더아쉽다') FROM t; -- 0.3922937214374542 SELECT BM25_GLOBAL(t,'content:친구,떠나다,아쉽다') FROM t; -- 0.3922937214374542

서울(NNP) 에(JKB) 있는(ETM) 개미(NNG) 백(NR) 마리(NNBC) 가(JKS) 하나(NR) 둘(NR) 모여(VV) 서로(MAG) 대화(NNG) 를(JKO) 나누었다(VV) Stop Tags 제외 -> [서울, 있다, 개미, 백, 마리, 하나, 둘, 모이다, 대화, 나누다] SELECT BM25_GLOBAL(t,'content:서울에있는개미백마리가하나둘모여서로대화를 나누었다') FROM t; -- 1.3076457977294922 SELECT BM25_GLOBAL(t,'content:서울,있다,개미,백,마리,하나,둘,모이다,대화, 나누다') FROM t; -- 1.3076457977294922

그녀(NP) 는(JKS) 크다(VA) 고(EF) 했(VV) 지만(MAJ) 나(NP) 는(JKS) 아니다(VCN) 라고(JKQ) 말하(VV) 며(EC), 이(NP) 것(NNB) 이(JKS) 맞다(VCP) 고(EF) 느끼(VV) ㄹ(ETM) 수(NNB) 없(VX) 었다(EF) Stop Tags 제외 -> [그녀, 크다, 했다, 나, 아니다, 말하다, 이것, 맞다, 느끼다, 수, 없다] SELECT BM25_GLOBAL(t,'content:그녀가크다고했지만나는아니다라고말하며이것이 맞다고느낄수없었다') FROM t; -- 1.4384102821350098 SELECT BM25_GLOBAL(t,'content:그녀,크다,했다,나,아니다,말하다,이것,맞다, 느끼다,수,없다') FROM t; -- 1.4384102821350098

★(SY) 회의(NNG) 일정(NNG)은(JX) 18(SN)일(NNB) 2(SN) pm(SL) 에(JKB) 진행되(VV) 며(EC) ,(SC) 장소(NNG)는(JX) 독도(NNP) '('(SC) 獨島(SH) ')'(SC) ...(SE) ,(SC) 참가비(NNG)는(JX) 30(SN) ,(SC) 000(SN) 원(NNB) 을(JKO) 지참하(VV) 아(EF) 주시(VX) 어요(EF)!(SF) Stop Tags 제외 -> [회의, 일정, 18, 일, 2, pm, 진행, 장소, 독도, 獨島, 참가비, 30, 000, 원, 지참, 해주다] SELECT BM25_GLOBAL(t,'content:★회의일정은18일2pm에진행되며,장소는독도獨島...,참가비는30,000원을지참해주세요') FROM t; -- 2.059542179107666 SELECT BM25_GLOBAL(t,'content:회의,일정,18,일,2,pm,진행,장소,독도,獨島,참가비,30,000,원,지참,해주다') FROM t; -- 2.059542179107666

새(XPN) 제품(NNG) 들(XSN) 은(JKS) 신(XPN) 기술(NNG) 답(XSA) 게(EC) 복잡(NNG) 성(XSN) 을(JKO) 요구(vv) 한(vv) 다(EF) Stop Tags 제외 -> [제품, 기술, 복잡, 요구] SELECT BM25_GLOBAL(t,'content:새제품들은신기술답게복잡성을요구한다') FROM t; -- 0.523058295249939 SELECT BM25_GLOBAL(t,'content:제품,기술,복잡,요구하다') FROM t; -- 0.523058295249939

CREATE TABLE t ( content VARCHAR(200), FULLTEXT USING VERSION 2 (content) INDEX_OPTIONS '{ "analyzer": { "custom": { "tokenizer": { "korean": { "userDictionary": ["싱글스토어"], "decompoundMode": none, "outputUnknownUnigrams": true, "discardPunctuation": true } }, "token_filters": ["korean_part_of_speech", "korean_reading_form", "korean_number"] } } }' );

1) userDictionary를 사용하지 않았을 때 CREATE TABLE t ( content VARCHAR(200), FULLTEXT USING VERSION 2 (content) INDEX_OPTIONS '{ "analyzer": { "custom": { "tokenizer": { "korean": { } } } } }'); INSERT INTO t (content) VALUES ('싱글'), ('스토어'), ('싱글스토어'); OPTIMIZE TABLE t FLUSH; SELECT content, BM25_GLOBAL(t,'content:싱글') as score, BM25_GLOBAL(t,'content:스토어') as score2, BM25_GLOBAL(t,'content:싱글스토어') as score3 FROM t; +-----------------+---------------------+---------------------+---------------------+ | content | score | score2 | score3 | +-----------------+---------------------+---------------------+---------------------+ | 싱글 | 0.23797652125358582 | 0 | 0.23797652125358582 | | 스토어 | 0 | 0.23797652125358582 | 0.23797652125358582 | | 싱글스토어 | 0.17735984921455383 | 0.17735984921455383 | 0.35471969842910767 | +-----------------+---------------------+---------------------+---------------------+ -- `싱글스토어` 같은 합성어는 두개의 명사로 이뤄져 (싱글+스토어)로 검색된다. 2) userDictionary를 사용할 때 CREATE TABLE t ( content VARCHAR(200), FULLTEXT USING VERSION 2 (content) INDEX_OPTIONS '{ "analyzer": { "custom": { "tokenizer": { "korean": { "userDictionary": ["싱글스토어"] } } } } }'); INSERT INTO t (content) VALUES ('싱글'), ('스토어'), ('싱글스토어'); OPTIMIZE TABLE t FLUSH; SELECT content, BM25_GLOBAL(t,'content:싱글') as score, BM25_GLOBAL(t,'content:스토어') as score2, BM25_GLOBAL(t,'content:싱글스토어') as score3 FROM t; +-----------------+--------------------+--------------------+--------------------+ | content | score | score2 | score3 | +-----------------+--------------------+--------------------+--------------------+ | 싱글 | 0.4458314776420593 | 0 | 0 | | 스토어 | 0 | 0.4458314776420593 | 0 | | 싱글스토어 | 0 | 0 | 0.4458314776420593 | +-----------------+--------------------+--------------------+--------------------+ -- `싱글스토어` 가 userDictionary에 추가되어 하나의 독립적인 단어로 정의된다.

"custom": {"tokenizer": {"korean": {"decompoundMode": none } } } <예 : 요리경연대회> none : 복합명사로 분리하지 않는다. > [요리경연대회] discard : 복합명사로 분리하고 원본 데이터는 삭제한다. > [요리, 경연, 대회] mixed : 복합명사로 분리하고 원본 데이터는 유지한다. > [요리, 경연, 대회, 요리경연대회]

"custom": {"tokenizer": {"korean": {"outputUnknownUnigrams": true } } } <예 : 갹냔댣> true : 알 수 없는 단어를 개별 글자 단위로 토큰화 > [갹,냔,댣] false: 알 수 없는 단어를 토큰화하지 않음. > [갹냔댣]

"custom": {"tokenizer": {"korean": {"discardPunctuation": false } } } INSERT INTO custom (content) VALUES ('안녕.'),('안녕..'),('안녕...'),('안녕....'),('안녕.!'),('안녕.!!'), ('안녕!'),('안녕!!'); OPTIMIZE TABLE custom FLUSH; <discardPunctuation: true> (Default) SELECT *, BM25_global(custom,"content:('안녕.')") as score FROM custom +------------+-----------------------------+ | content | score | +------------+-----------------------------+ | 안녕.. | 0.025981096550822258 | | 안녕... | 0.025981096550822258 | | 안녕.!! | 0.025981096550822258 | | 안녕! | 0.025981096550822258 | | 안녕.... | 0.025981096550822258 | | 안녕. | 0.025981096550822258 | | 안녕!! | 0.025981096550822258 | | 안녕.! | 0.025981096550822258 | +------------+-----------------------------+ <discardPunctuation: false> SELECT *, BM25_global(custom2,"content:('안녕.')") as score FROM custom2 order by score desc; +------------+------------------------------+ | content | score | +------------+------------------------------+ | 안녕.. | 0.2233678698539734 | | 안녕. | 0.1957390159368515 | | 안녕... | 0.16766490042209625 | | 안녕.! | 0.16766490042209625 | | 안녕.... | 0.16766490042209625 | | 안녕.!! | 0.16766490042209625 | | 안녕! | 0.029243838042020798 | | 안녕!! | 0.02504950389266014 | +------------+------------------------------+

CREATE TABLE custom ( content VARCHAR(200), FULLTEXT USING VERSION 2 (content) INDEX_OPTIONS '{ "analyzer": { "custom": { "tokenizer": { "korean": {} }, "token_filters": ["korean_part_of_speech"] } } }' ); INSERT INTO custom (content) VALUES ('아! 그 친구는 빨리 떠났지만 그래서 더 아쉽다'); OPTIMIZE TABLE custom FLUSH; SELECT BM25_GLOBAL(custom,"content:(아)") as A, BM25_GLOBAL(custom,"content:(빨리)") as B, BM25_GLOBAL(custom,"content:(떠나다)") as C, BM25_GLOBAL(custom,"content:(떠났지만)") as D FROM custom; +---+---+----------------------+------------------------+ | A | B | C | D | +---+---+----------------------+------------------------+ | 0 | 0 | 0.130764573812 | 0.130764573812 | +---+---+----------------------+------------------------+

CREATE TABLE custom2 ( content VARCHAR(200), FULLTEXT USING VERSION 2 (content) INDEX_OPTIONS '{ "analyzer": { "custom": { "tokenizer": { "korean": {} } } } }' ); INSERT INTO custom2 (content) VALUES ('아! 그 친구는 빨리 떠났지만 그래서 더 아쉽다'); OPTIMIZE TABLE custom2 FLUSH; SELECT BM25_GLOBAL(custom2,"content:(아)") as A, BM25_GLOBAL(custom2,"content:(빨리)") as B, BM25_GLOBAL(custom2,"content:(떠나다)") as C, BM25_GLOBAL(custom2,"content:(떠났지만)") as D FROM custom2; +-----------------------+-----------------------+----------------------+----------------------+ | A | B | C | D | +-----------------------+-----------------------+----------------------+----------------------+ | 0.130764573812 | 0.130764573812 | 0.26152914762 | 0.39229372143 | +-----------------------+-----------------------+----------------------+----------------------+

CREATE TABLE custom ( content VARCHAR(200), FULLTEXT USING VERSION 2 (content) INDEX_OPTIONS '{ "analyzer": { "custom": { "tokenizer": { "korean": {} }, "token_filters": ["korean_reading_form"] } } }' ); INSERT INTO custom (content) VALUES('學生'); OPTIMIZE TABLE custom FLUSH; SELECT BM25_GLOBAL(custom,"content:(學生)") as A, BM25_GLOBAL(custom,"content:(학생)") as B FROM custom; +-----------------------+-----------------------+ | A | B | +-----------------------+-----------------------+ | 0.130764573812 | 0.130764573812 | +-----------------------+-----------------------+ DELETE FROM custom; INSERT INTO custom (content) VALUES('학생'); OPTIMIZE TABLE custom FLUSH; SELECT BM25_GLOBAL(custom,"content:(學生)") as A, BM25_GLOBAL(custom,"content:(학생)") as B, BM25_GLOBAL(custom,"content:(學牲)") as C FROM custom; +-----------------------+-----------------------+---+ | A | B | C | +-----------------------+-----------------------+---+ | 0.130764573812 | 0.130764573812 | 0 | +-----------------------+-----------------------+---+

CREATE TABLE custom ( content VARCHAR(200), FULLTEXT USING VERSION 2 (content) INDEX_OPTIONS '{ "analyzer": { "custom": { "tokenizer": { "korean": {} }, "token_filters": ["korean_number"] } } }' ); INSERT INTO custom (content) VALUES('오만사천삼백이십일'); OPTIMIZE TABLE custom FLUSH; SELECT BM25_GLOBAL(custom,"content:(54321)") as A, BM25_GLOBAL(custom,"content:(54,321)") as B, BM25_GLOBAL(custom,"content:(54,321,000)") as C, BM25_GLOBAL(custom,"content:(오만사천삼백이십일)") as D FROM custom; +-------------------------------+--------------------------------+---+-------------------------------+ | A | B | C | D | +-------------------------------+--------------------------------+---+-------------------------------+ | 0.13076457381248474 | 0.13076457381248474 | 0 | 0.13076457381248474 | +-------------------------------+--------------------------------+---+-------------------------------+

DELETE FROM custom; INSERT INTO custom (content) VALUES('54,321원'); --54321원도 같은 결과 OPTIMIZE TABLE custom FLUSH; SELECT '54321' as label, BM25_GLOBAL(custom,"content:(54321)") as score FROM custom UNION ALL SELECT '54321원', BM25_GLOBAL(custom,"content:(54321원)") FROM custom UNION ALL SELECT '54,321', BM25_GLOBAL(custom,"content:(54,321)") FROM custom UNION ALL SELECT '54,321원', BM25_GLOBAL(custom,"content:(54,321원)") FROM custom UNION ALL SELECT '오만사천삼백이십일', BM25_GLOBAL(custom,"content:(오만사천삼백이십일)") FROM custom UNION ALL SELECT '오만사천삼백이십일원', BM25_GLOBAL(custom,"content:(오만사천삼백이십일원)") FROM custom UNION ALL SELECT '321', BM25_GLOBAL(custom,"content:(321)") FROM custom UNION ALL SELECT '321원', BM25_GLOBAL(custom,"content:(321원)") FROM custom UNION ALL SELECT '삼백이십일', BM25_GLOBAL(custom,"content:(삼백이십일)") FROM custom UNION ALL SELECT '삼백이십일원', BM25_GLOBAL(custom,"content:(삼백이십일원)") FROM custom UNION ALL SELECT '54', BM25_GLOBAL(custom,"content:(54)") FROM custom UNION ALL SELECT '54원', BM25_GLOBAL(custom,"content:(54원)") FROM custom UNION ALL SELECT '오십사', BM25_GLOBAL(custom,"content:(오십사)") FROM custom UNION ALL SELECT '오십사원', BM25_GLOBAL(custom,"content:(오십사원)") FROM custom +--------------------------------+---------------------+ | label | score | +--------------------------------+---------------------+ | 54321 | 0.13076457381248474 | | 54321원 | 0.2615291476249695 | | 54,321 | 0.13076457381248474 | | 54,321원 | 0.2615291476249695 | | 오만사천삼백이십일 | 0.13076457381248474 | | 오만사천삼백이십일원 | 0.2615291476249695 | | 321 | 0 | | 321원 | 0.13076457381248474 | | 삼백이십일 | 0 | | 삼백이십일원 | 0.13076457381248474 | | 54 | 0 | | 54원 | 0.13076457381248474 | | 오십사 | 0 | | 오십사원 | 0 | +--------------------------------+---------------------+