3주차: 효율적 미세조정의 원리와 변형

이번 주차

효율적 미세조정의 원리와 변형

온라인 (2시수)

PEFT 이론 강의(저랭크 근사, LoRA·QLoRA) / 학습활동 - 기법별 파라미터 수·메모리 사용량을 표로 정리하고 선택 근거 작성

대면 (1시수)

WaveFT·DoRA·VB-LoRA 등 변형 기법의 차이 분석

학습활동

[이론] 저랭크 근사가 왜 전체 미세조정을 대체할 수 있는지 작은 수치 예로 확인하고, 각 변형이 무엇을 바꾸는지 대조

[구현] 어댑터가 붙은 미세조정 코드를 받아 실행하고, 학습 파라미터 수가 전체 미세조정 대비 얼마나 줄었는지 출력값으로 확인. 랭크 값 하나를 바꿔 변화를 관찰

[실무] 과제 1 - 한국어 데이터셋에서 PEFT 기법 한 가지를 돌려보고 제공된 비교표에서 자기 결과의 위치를 해석. 도내 소규모 조직이 감당할 메모리·시간 예산을 조건으로 명시하고 그 안에서 선택 근거를 대는 것이 채점 대상 (3단계 부분점수 적용)

실습 노트북

준비 중입니다. 올라오면 이 자리에 Colab 링크가 표시됩니다.