반응형

NLP 2

NLP 공부하기 1 (Beginner)

회사에서 한 프로젝트를 맡게 됐었는데(지금은 무산이 됐지만) 그때 NLP를 이용해서 나름 정제화를 해보자는 목표가 있었다. 그 프로젝트가 무산 된 이유는 첫번째로 팀에 리소스가 부족하기 때문에 장기적인 목표를 계속 끌고 나갈 수가 없었고 두번째는 다른 방식을 통해 그 문제를 풀어나가려고 했다. 이 이유가 가장 큰 포션을 갖었다. 그래도 프로젝트 진행했을 때 나름 재밌게 느껴졌고 나는 NLP중에서 NER만 해봤지만 이것 외에도 다양한 영역을 다룰 수 있을 것 같다. 그래서 이전에는 빠르게 결과를 보여야 했기 때문에 기초 없이 뭔가를 하려는 시도를 많이 했는데 이제 개인으로 공부하는 것이니 기초부터 차근차근 해볼 생각이다. 어느 글에서 NLP beginner는 우선 데이터 전처리를 해봐야한다고 한다. 데이터..

정리하기/NLP 2022.09.04

NLP, custom modeling with Spacy

attribute를 분류하는 로직이 필요해 nlp 적용을 확인하고 있다. 그 중 spacy 패키지를 이용하여 모델을 커스텀 해봤다. 1. spacy 3를 설치 한다. python -m install spacy # 확인 python -m spacy info 2. config 파일을 만든다. spacy 홈페이지에서 config 파일을 다운로드 할 수도 있지만 아래와 같은 명령어로 터미널에서 쉽게 만들 수 있다. python -m spacy init config config.cfg --lang en --pip 3. Training data에 대한 json 파일을 만든다. https://tecoholic.github.io/ner-annotator/ 위의 링크에서 쉽게 만들 수 있다. 그치만 모든 라벨을 클릭해야..

반응형