-
NER(Named Entity Recognition) 개체명 인식자연어처리NLP 2021. 4. 13. 11:36
NER?
NE(개체명) 을 R(인식) 하는 작업.
문자열 안에서 NE의 위치를 알아내고 사전정의한 카테고리에 따라 알맞게 분류하는 작업
즉, NE를 인물, 장소, 시간 이라 하면 문장 안에서 인물, 장소, 시간을 나타내는 명사를 찾아내는 것이다.
input : 문자열, output : 단어별로 해당되는 태그 -> multi class 분류 작업
NE 태깅 시스템
1. BIESO
- 개체명이 시작할 때 : B
- 토큰이 개체명 중간에 있을 때 : I
- 토큰이 개체명의 마지막에 있을 때 : E
- 하나의 토큰이 하나의 개체명 : S
- 토큰이 개체명이 아님 : O
2. BIO
1번에서 E와I 통합, S와 B통합
NER 접근법
1. 규칙 기반 접근
2. 사전 기반 접근
3. 기계학습 접근
상세 설명과 코드
https://github.com/HaeSeon/nlp-ner
'자연어처리NLP' 카테고리의 다른 글
[NLP]히든 마코프 모델 HMM(Hidden Markov Model) (0) 2021.04.09 [NLP]언어 모델 LM(Language Model) (0) 2021.04.09 [NLP]Seq2Seq(sequence to sequence)시퀀스 투 시퀀스 (0) 2021.04.09 [NLP]트랜스포머(Transfomer):Attention Is All You Need (0) 2021.04.09