1주차: 차세대 NLP 아키텍처의 이해와 과목 뼈대 공유

이번 주차

차세대 NLP 아키텍처의 이해와 과목 뼈대 공유

온라인 (2시수)

LLM 발전사 및 Transformer의 한계 강의(비동기) / 학습활동 - 설계도 §뼈대의 개념 위계를 보고 자신이 아는 마디와 모르는 마디를 표시하는 사전 진단

대면 (1시수)

Q1 문제 정의. 이 과목이 다루는 현장 문제를 각자 진로 맥락에서 지목. 상태공간모델(Mamba·RWKV) 아키텍처 개관, 실습 환경 설정

학습활동

[이론] 어텐션의 O(n^2) 비용이 어디서 나오는지 작은 행렬 그림으로 확인하고, 상태공간모델이 선형 복잡도를 얻는 구조적 근거 확인

[구현] 동작하는 어텐션 계산 코드를 받아 실행하고, 시퀀스 길이만 바꿔가며 메모리·연산량이 어떻게 늘어나는지 표로 확인

[실무] 제주 관광·서비스 사업자가 다국어 응대를 붙인다고 할 때, 지연과 비용이 시퀀스 길이의 어디에서 발생하는지 지목. 전용 GPU가 없는 도내 소규모 조직 조건을 상정하고, 제공된 비용·지연 표에 실측값을 채워 어느 규모까지 감당 가능한지 판단

실습 노트북

준비 중입니다. 올라오면 이 자리에 Colab 링크가 표시됩니다.