목록토크나이징 (1)

동까의 코딩

Easy! 딥러닝 chapter 1

머신러닝 및 딥러닝 주요 개념 정리이 글에서는 자연어처리의 전처리 기법부터 번역 모델의 성능 평가, 다양한 학습 방식(지도학습, 자기 지도 학습, 비지도 학습, 강화 학습)에 대해 정리합니다.1. 자연어처리 전처리: 토크나이징 (Tokenization)자연어처리(NLP)는 이미지 처리와 달리 텍스트 데이터를 전처리할 때 토크나이징을 사용합니다.토크나이징은 문장을 단어, 부분어(subword) 혹은 문자 단위로 분할하는 과정으로, 언어마다 토큰의 수나 분할 방식이 달라질 수 있습니다.예시:영어: "I am an instructor" → ["I", "am", "an", "instructor"] (4 토큰)한국어: "저는 강사입니다." → ["저는", "강사", "입니다."] (3 토큰)토크나이징은 모델의 입..
ML, DL 2024. 12. 11. 20:56
이전 Prev 1 Next 다음