11주차: 과정 감독과 신용 할당 - PRM과 토큰 수준 credit

이번 주차

과정 감독과 신용 할당 - PRM과 토큰 수준 credit

온라인 (2시수)

결과 감독(ORM) vs 과정 감독(PRM) 강의. 과정 감독이 결과 감독을 상회한 근거와 그 성능이 80만 건 사람 단계 라벨 위에서 얻어졌다는 비용 구조. 라벨 비용을 낮추는 두 경로(자동 과정 감독, 암묵 PRM). PRM의 두 사용처 구분 - 학습 신호로 RL에 결합 vs 추론 시 verifier·재순위 / 학습활동 - 20단계 풀이가 틀렸을 때 outcome reward로는 어느 단계가 원인인지 알 수 없음을 예제로 확인

대면 (1시수)

Credit assignment 문제 정의. GRPO의 응답 단위 advantage가 맞은 단계와 틀린 단계에 같은 신용을 주는 구조를 짚고, 토큰 수준 신호의 5요소(방향·크기·위치·신뢰성·학습효과)로 분해

학습활동

[이론] 5요소 중 앞의 넷은 설계 항목이고 다섯째(학습 효과)만 결과 해석 항목임을 구분. 토큰 중요도의 경쟁하는 정의가 존재한다는 사실까지 소개(미래 영향·정답 조건부 우도·결과 민감도). 구현 비교는 대학원 수준

[구현] 단계별 점수가 매겨진 예제를 받아 Best-of-N 재순위에 적용해 보고, 결과 감독만 썼을 때와 비교

[실무] 연구실 진행 트랙 A(회계 PRM)·B(토큰 신용 할당)의 문제 정의 소개. 라벨 확보 비용과 데이터 권리가 왜 기술보다 앞선 병목인지, 그리고 그 비용이 인력 적은 도내 조직에는 무엇을 의미하는지 확인. 미발표 데이터·결과는 다루지 않음

실습 노트북

준비 중입니다. 올라오면 이 자리에 Colab 링크가 표시됩니다.