신경망 실습소
Neural Network Lab
딥러닝을 브라우저에서 직접 배우는 실습소 — 활성화 함수 시각화, MLP/RNN/CNN/Transformer 아키텍처, 실제 역전파로 학습하는 2층 신경망, 셀프 어텐션 히트맵까지. 외부 라이브러리 없이 순수 자바스크립트로 계산합니다.
딥러닝을 브라우저에서 직접 돌려보며 익히는 실습소입니다. 활성화 함수부터 실제 역전파 학습, 어텐션까지 — 외부 라이브러리 없이 순수 자바스크립트로 계산합니다.
각 활성화 함수를 수식 그대로 그렸습니다. 곡선 위를 움직이면 입력→출력이 표시되고, 도함수(기울기)도 함께 보여줍니다.
ReLU
그래프 위에 마우스를 올려 값을 확인하세요.
수식
f(x) = max(0, x)
치역
[0, ∞)
도함수
f'(x) = 1 if x>0 else 0
✔ 장점
가장 널리 쓰이는 은닉층 기본값. 계산이 빠르고 양수 영역에서 기울기가 1이라 기울기 소실이 적습니다.
⚠ 문제점 / 주의
입력이 음수면 출력·기울기가 0 → 뉴런이 죽어 다시 학습되지 않는 "죽은 ReLU" 문제가 생길 수 있습니다.