한국어 토크나이징에 자주 쓰이는 Mecab 을 사용하기 위해 MecabTokenizer 객체를 생성하려는데
RuntimeError 가 발생했다.
그런데 에러 문구만으로는 원인을 파악하기 쉽지 않아 보였다.
RuntimeError # 에러 문구가 이게 다임^_^
에러 난 line 을 따라가 보니
mecab = MecabTokenizer()
↓
tagger = MeCab.Tagger('-d' + dir)
요 부분에서 에러가 났는데,
mecab 사전을 지정하는 부분이 문제였음!
내 경우는 dir (mecab dic 경로) 을 잘못된 경로로 넣어서 사전 인식이 안 된 것이 문제였다.
MecabTokenizer() 객체 생성 시 아무 설명 없이 런타임에러가 난다면
mecab dictionary 를 잘 불러오고 있는지 확인해볼 것..!
300x250
':: ai > nlp' 카테고리의 다른 글
NLP :: sentencepiece tokenizer 로 문장 토큰화하기 (0) | 2021.12.14 |
---|---|
NLP :: 파이썬(python) 으로 OpenNMT 모델 통해 문장 번역하기(translate) (0) | 2021.12.10 |
NLP :: Transformer 기반 문장 생성(Text Generation)과 decoding 옵션 (5) | 2021.11.17 |