Easy! 딥러닝 chapter 1

머신러닝 및 딥러닝 주요 개념 정리

이 글에서는 자연어처리의 전처리 기법부터 번역 모델의 성능 평가, 다양한 학습 방식(지도학습, 자기 지도 학습, 비지도 학습, 강화 학습)에 대해 정리합니다.

---

1. 자연어처리 전처리: 토크나이징 (Tokenization)

자연어처리(NLP)는 이미지 처리와 달리 텍스트 데이터를 전처리할 때 토크나이징을 사용합니다.
토크나이징은 문장을 단어, 부분어(subword) 혹은 문자 단위로 분할하는 과정으로, 언어마다 토큰의 수나 분할 방식이 달라질 수 있습니다.

• 예시:
  • 영어: "I am an instructor" → ["I", "am", "an", "instructor"] (4 토큰)
  • 한국어: "저는 강사입니다." → ["저는", "강사", "입니다."] (3 토큰)

토크나이징은 모델의 입력으로 들어가기 전에 단어의 형태를 표준화하고, 언어의 구조적 특성을 반영하는 중요한 전처리 단계입니다.

---

2. 번역 모델 성능 평가 지표

번역(Translation) 모델의 성능을 평가하기 위해 주로 두 가지 지표가 사용됩니다.

• Perplexity (당혹도):
  모델이 주어진 데이터를 얼마나 잘 예측하는지를 나타내는 지표로, 값이 낮을수록 모델의 예측 능력이 우수함을 의미합니다.

• BLEU Score (Bilingual Evaluation Understudy):
  모델이 생성한 번역문과 참조 번역문 사이의 유사도를 평가하는 지표로, 값이 높을수록 번역 품질이 뛰어남을 나타냅니다.

이 두 지표는 각각 모델의 언어 이해력과 번역 결과의 품질을 수치로 표현하여 비교·평가하는 데 활용됩니다.

---

3. 지도학습 (Supervised Learning)

지도학습은 정답 레이블이 있는 데이터를 사용해 모델을 학습시키는 방식입니다.

• 회귀 (Regression):
  연속적인 값을 예측하는 문제 (예: 주택 가격 예측).

• 분류 (Classification):
  이산적인 클래스를 예측하는 문제 (예: 스팸 메일 분류).

• 컴퓨터 비전 분야의 응용:

  1. 위치 추정 (Localization):
     이미지 내 대상의 위치를 박스(bounding box)로 표시.
  2. 객체 탐지 (Object Detection):
     이미지에서 여러 객체를 탐지하고 각각 분류 (예: YOLO).
  3. 분할 (Segmentation):
     이미지의 각 픽셀이 어떤 클래스에 속하는지 경계선을 이용해 분류.
  4. 자세 추정 (Pose Estimation) & 얼굴 랜드마크 탐지 (Facial Landmark Detection):
     인체의 자세나 얼굴의 주요 포인트를 탐지하여 분석.

---

4. 자기 지도 학습 (Self-supervised Learning)

자기 지도 학습은 라벨 없이 대량의 데이터를 활용해 사전학습(pre-training)을 진행한 후, 특정 작업에 맞게 미세조정(fine-tuning)하는 학습 방식입니다.

• 주요 기법:

  • Context Prediction: 문맥을 예측하는 방식 (예: BERT의 마스킹된 언어 모델).
  • Contrastive Learning: 유사한 샘플과 그렇지 않은 샘플을 구분하며 특징을 학습.

• 대표 모델:

  • GPT: Autoregressive 방식의 언어 모델.
  • BERT: 양방향 문맥을 활용한 언어 모델.

이 방식은 대량의 비라벨 데이터에서 유용한 표현을 학습한 후, 소량의 라벨 데이터로 특정 작업에 맞게 모델을 최적화할 수 있다는 장점이 있습니다.

---

5. 비지도 학습 (Unsupervised Learning)

비지도 학습은 레이블이 없는 데이터를 이용해 데이터의 내재된 구조나 특성을 학습하는 방식입니다.

• 주요 기법:
  • 군집화 (Clustering):
    데이터 포인트들을 유사한 그룹으로 분류 (예: K-means, DBSCAN).
  • 차원 축소 (Dimension Reduction):
    데이터의 복잡도를 줄이면서 주요 특징을 추출 (예: PCA, SVD).

비지도 학습은 데이터의 숨겨진 패턴을 발견하는 데 유용하며, 데이터 전처리 및 탐색적 분석 단계에서 자주 활용됩니다.

---

6. 강화 학습 (Reinforcement Learning)

강화 학습은 에이전트가 환경과 상호작용하면서 보상(reward) 신호를 최대화하는 방향으로 학습하는 방식입니다.

• 기본 개념:

  • 에이전트(Agent): 학습하는 주체.
  • 환경(Environment): 에이전트가 상호작용하는 대상.
  • 보상(Reward): 특정 행동에 대한 피드백 신호.

• 주요 알고리즘:

  • Q-Learning:
    상태-행동 가치(Q-value)를 학습하여 최적의 행동을 선택하는 방법.
  • ε-Greedy (Epsilon-Greedy):
    탐험(exploration)과 활용(exploitation)의 균형을 맞추기 위해, 일정 확률(ε)로 무작위 행동을 선택하는 전략.

• 응용 사례:

  • 알파고(AlphaGo): 강화 학습을 비롯한 여러 기법을 결합하여 바둑에서 인간을 능가하는 성능을 보인 대표적인 사례.

---

이와 같이 다양한 머신러닝 및 딥러닝 학습 방식과 전처리, 성능 평가 기법은 각각의 특성과 용도에 맞게 활용되며, 실제 문제 해결에 중요한 역할을 합니다.