JINWOOJUNG

본 포스팅은 [딥 러닝을 이용한 자연어 처리 입문]을 기반으로 공부한 내용을 정리하는 포스팅입니다.  https://wikidocs.net/book/21552D, 3D Data(Image, PCD)를 처리하는 과정에서 전처리가 요구되는 것처럼, 자연어 처리에서도 전처리가 필요하다. 자연어 처리에서의 전처리는 목적에 맞게 토큰화(Tokenization)&정제(Cleaning)&정규화(Normalization)을 수행하게 된다. 본 포스팅에서는 Tokenization에 대해서 알아보자. Word Tokenization자연어 처리에서 처리하는 데이터를 코퍼스(Corpus)라 한다. Corpus말뭉치자연어 처리에서 특정 목적에 따라 수집된 텍스트 데이터주어진 코퍼스에서 토큰(Token)이라 불리는 단위로 나누는..

본 포스팅은 [딥 러닝을 이용한 자연어 처리 입문]을 기반으로 공부한 내용을 정리하는 포스팅입니다.  https://wikidocs.net/book/2155 자연어 처리를 위한 텍스트 데이터를 전처리 하기 위해서는 몇몇 자연어 패키지가 요구된다. 이번 포스팅은 NLTK, KoNLPy 패키지를 설치 해 보자. 개발환경은 다음과 같다. 개발환경OS : Ubuntu 20.04GPU : NVIDIA GeForce RTX 4070 NLTKNLTK(Natural Language Tookit)은 자연어 처리를 쉽게 다룰 수 있는 라이브러리이다. Python 기반 라이브러리이기에 Python만 설치되어 있으면 설치하여 바로 사용이 가능하다. pip3 install nltk  NLTK를 통해 데이터 전처리는 NLTK T..