6주차: 멀티모달 표현의 결합

이번 주차

멀티모달 표현의 결합

온라인 (2시수)

멀티모달 모델 아키텍처 강의 / 학습활동 - 텍스트 전용 모델과 멀티모달 모델에 같은 질문을 주고 답변 차이를 분석

대면 (1시수)

경량 멀티모달 모델(SmolVLM2, Qwen 2.5 Omni 등) 동작 분석

학습활동

[이론] 서로 다른 모달리티를 하나의 표현 공간에 정렬하는 원리와, 정렬이 깨질 때 나타나는 오류 양상

[구현] 이미지 인코더와 텍스트 임베딩이 연결된 QA 예제를 받아 실행하고, 입력 이미지를 바꿔 답이 어떻게 달라지는지 확인

[실무] 과제 2 - 제공된 QA 골격에 모달리티 하나를 연결. 해양·환경 관측 기록을 다루는 도내 기업의 조건을 상정해(기업 데이터는 사용하지 않음) 모달리티 추가가 지연·비용에 미치는 영향을 함께 보고 (3단계 부분점수 적용)

실습 노트북

준비 중입니다. 올라오면 이 자리에 Colab 링크가 표시됩니다.