Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 |
Tags
- MySQL
- NLP
- C++
- dfs
- dynamic programming
- 딥러닝
- Reinforcement Learning
- two-stage detector
- One-Stage Detector
- opencv
- 강화학습
- AlexNet
- Python
- LSTM
- 머신러닝
- machine learning
- real-time object detection
- eecs 498
- CNN
- 백준
- ubuntu
- DP
- YoLO
- MinHeap
- image processing
- BFS
- Mask Processing
- 그래프 이론
- r-cnn
- deep learning
Archives
- Today
- Total
목록일괄 소문자 변환 (1)
JINWOOJUNG
[ NLP ] Cleaning & Normalization
본 포스팅은 [딥 러닝을 이용한 자연어 처리 입문]을 기반으로 공부한 내용을 정리하는 포스팅입니다. https://wikidocs.net/book/2155 Tokenization 전, 후에는 텍스트 데이터를 용도에 맞게 정제(Cleaning) 및 정규화(Normalization)을 수행하게 된다. 정제(Cleaning) : Corpus로 부터 Noise 제거정규화(Normalization) : 표현 방법이 다른 단어들을 통합시켜서 같은 단어로 만듦 Cleaning의 경우 Tokenization에 방해가 되는 요소를 제거하기 위해 Tokenization 전에도 사용되지만, 후에도 존재하는 Noise 제거 목적으로 사용된다. Cleaning불필요한 단어 제거Cleaning 에서의 Noise Data는 자..
NLP, LLM, Multi-modal
2025. 4. 14. 13:51