2주차: 구현 기반 - 학습 루프와 텐서 연산

이번 주차

구현 기반 - 학습 루프와 텐서 연산

온라인 (2시수)

텐서 연산·자동미분 기초 및 사전학습 모델 로딩 강의 / 학습활동 - 튜토리얼 코드를 한국어 데이터로 바꿔 실행하고 막힌 지점을 튜터에게 질의

대면 (1시수)

어텐션 커널 최적화(FlashAttention 계열)의 아이디어 개관, 온라인에서 막힌 지점 공동 해결

학습활동

[이론] 자동미분과 역전파가 학습 루프에서 도는 순서를 그림으로 따라가며 확인

[구현] 동작하는 학습 루프 코드를 받아 그대로 실행해 손실이 내려가는 것을 먼저 확인하고, 손실 계산 한 줄만 바꿔 결과가 어떻게 달라지는지 관찰. 이후 모든 주차가 이 코드를 재사용하므로 이 주차는 전원이 끝까지 돌려보는 것을 목표로 함

[실무] AI Hub 「한국어 방언 발화(제주도)」의 방언·표준어 대응쌍으로, 방언 표기가 토크나이저에서 어떻게 쪼개지는지와 표준어 대비 토큰 수 증가를 실측. 같은 뜻을 담는 데 드는 비용이 표기에 따라 달라짐을 확인

실습 노트북

준비 중입니다. 올라오면 이 자리에 Colab 링크가 표시됩니다.