동까의 코딩

최적화 및 검증 기법 정리이 글에서는 딥러닝 모델 학습 시 중요한 웨이트 초기화 방법, 경사 하강법 변형, 최적화 알고리즘, 그리고 검증 및 교차 검증 기법에 대해 정리합니다.1. 웨이트 초기화 (Weight Initialization)신경망 학습의 안정성과 속도는 초기 웨이트(가중치) 설정에 크게 의존합니다. 일반적으로 웨이트는 평균이 0인 랜덤 값으로 초기화하며, 분산은 각 초기화 기법에 따라 조절합니다.대표적인 초기화 방식은 다음과 같습니다:Yann LeCun 초기화:주로 sigmoid나 tanh 활성화 함수에 적합하며, 입력 뉴런의 수에 기반하여 분산을 설정합니다.Xavier (Glorot) 초기화:입력과 출력 뉴런의 수를 고려하여 분산을 조절, 양방향 흐름에 적합한 초기화 방법입니다.Kaimin..

인공 신경망 및 경사 하강법의 이해인공 신경망(Artificial Neural Network, ANN)은 인간 뇌의 신경망 구조에서 영감을 받아 만들어진 모델로, 수많은 인공 뉴런(노드)이 엣지(연결선)를 통해 서로 연결되어 정보를 처리합니다. 이 글에서는 인공 신경망의 기본 구조와 작동 원리, 그리고 최적화를 위한 경사 하강법에 대해 설명합니다.1. 인공 신경망의 기본 구성인공 뉴런 (Artificial Neuron)노드(Node):인공 뉴런은 원(circle)으로 표현되며, 각 노드는 입력 신호를 받아 처리합니다.엣지(Edge):노드들을 연결하는 선(line)으로, 신경망 내에서 신호가 전달되는 경로를 나타냅니다.인공 뉴런의 작동 과정입력 수신:여러 입력 노드로부터 신호(자극)를 받습니다.가중합 계산..

머신러닝 및 딥러닝 주요 개념 정리이 글에서는 자연어처리의 전처리 기법부터 번역 모델의 성능 평가, 다양한 학습 방식(지도학습, 자기 지도 학습, 비지도 학습, 강화 학습)에 대해 정리합니다.1. 자연어처리 전처리: 토크나이징 (Tokenization)자연어처리(NLP)는 이미지 처리와 달리 텍스트 데이터를 전처리할 때 토크나이징을 사용합니다.토크나이징은 문장을 단어, 부분어(subword) 혹은 문자 단위로 분할하는 과정으로, 언어마다 토큰의 수나 분할 방식이 달라질 수 있습니다.예시:영어: "I am an instructor" → ["I", "am", "an", "instructor"] (4 토큰)한국어: "저는 강사입니다." → ["저는", "강사", "입니다."] (3 토큰)토크나이징은 모델의 입..