JINWOOJUNG

PapaerVQA: Visual Question Answering IntroductionImage&Video Captioning 분야에서의 Computer Vision&Natural Language Processing&Knowledge Representation을 결합한한 연구는 최근들어 많이 진행되고 있다. 기존 Image Captioning Task의 경우 Image의 완벽한 이해 없이도 간단한 Word Statistics만으로도 SOTA 성능을 보이는 것으로 보아 이미지의 깊은 이해 및 추론 성능이 불필요함을 의미한다. 즉, Image Captioning Task가 생각보다 "AI-complete"하지 않음을 시사한다.Knowledge Representation : 인간의 지식, 정보 등을 기계가 ..

Vision Language Model(VLM)VLM은 Computer Vision과 Natural Language Processing을 결합한 모델로써, 이미지나 비디오와 같은 시각적 데이터와 텍스트 입력을 동시에 이해하고 처리할 수 있다. VLM TasksVisual Question Answering(VQA) & Visual ReasoningVQA는 시각 질의응답을 의미하며, 이미지와 질문을 동시에 입력받아 정답을 출력하는 태스크이다. 아래 그림과 같이, 그림과 질문을 입력으로 받아 단답형 정답을 도출하는 형태이며, 이 태스크의 초기 벤치마크로는 [VQA: Visual Question Answering (Antol et al., 2015)] 논문이 있다. VQA v1(2015) Benchmark는 ..

본 포스팅은 [딥 러닝을 이용한 자연어 처리 입문]을 기반으로 공부한 내용을 정리하는 포스팅입니다. https://wikidocs.net/book/2155정규화 기법 중 동일한 의미지만 표기가 다른 단어를 통합하는 기법인 어간 추출(Stemming)과 표제어 추출(Lemmatization)에 대해서 알아보자. 표제어 추출(Lemmatization)표제어(Lemma)는 한국어로 '표제어','기본 사전형 단어'의 의미를 가진다. 표제어 추출은 단어들로부터 표제어를 찾아가는 과정으로, 단어들이 다른 형태를 가지더라도, 그 뿌리(기본) 단어를 찾아서 단어의 수를 줄이는 과정이다. 표제어 추출을 하는 가장 섬세한 방법은 단어의 형태학적 파싱을 먼저 진행하는 것이다. 형태소는 '의미를 가진 가장 작은 단위'라..

본 포스팅은 [딥 러닝을 이용한 자연어 처리 입문]을 기반으로 공부한 내용을 정리하는 포스팅입니다. https://wikidocs.net/book/2155 Tokenization 전, 후에는 텍스트 데이터를 용도에 맞게 정제(Cleaning) 및 정규화(Normalization)을 수행하게 된다. 정제(Cleaning) : Corpus로 부터 Noise 제거정규화(Normalization) : 표현 방법이 다른 단어들을 통합시켜서 같은 단어로 만듦 Cleaning의 경우 Tokenization에 방해가 되는 요소를 제거하기 위해 Tokenization 전에도 사용되지만, 후에도 존재하는 Noise 제거 목적으로 사용된다. Cleaning불필요한 단어 제거Cleaning 에서의 Noise Data는 자..

본 포스팅은 [딥 러닝을 이용한 자연어 처리 입문]을 기반으로 공부한 내용을 정리하는 포스팅입니다.  https://wikidocs.net/book/21552D, 3D Data(Image, PCD)를 처리하는 과정에서 전처리가 요구되는 것처럼, 자연어 처리에서도 전처리가 필요하다. 자연어 처리에서의 전처리는 목적에 맞게 토큰화(Tokenization)&정제(Cleaning)&정규화(Normalization)을 수행하게 된다. 본 포스팅에서는 Tokenization에 대해서 알아보자. Word Tokenization자연어 처리에서 처리하는 데이터를 코퍼스(Corpus)라 한다. Corpus말뭉치자연어 처리에서 특정 목적에 따라 수집된 텍스트 데이터주어진 코퍼스에서 토큰(Token)이라 불리는 단위로 나누는..

본 포스팅은 [딥 러닝을 이용한 자연어 처리 입문]을 기반으로 공부한 내용을 정리하는 포스팅입니다.  https://wikidocs.net/book/2155 자연어 처리를 위한 텍스트 데이터를 전처리 하기 위해서는 몇몇 자연어 패키지가 요구된다. 이번 포스팅은 NLTK, KoNLPy 패키지를 설치 해 보자. 개발환경은 다음과 같다. 개발환경OS : Ubuntu 20.04GPU : NVIDIA GeForce RTX 4070 NLTKNLTK(Natural Language Tookit)은 자연어 처리를 쉽게 다룰 수 있는 라이브러리이다. Python 기반 라이브러리이기에 Python만 설치되어 있으면 설치하여 바로 사용이 가능하다. pip3 install nltk  NLTK를 통해 데이터 전처리는 NLTK T..