11주차: 과정 감독과 신용 할당 - PRM과 토큰 수준 credit

이번 주차

과정 감독과 신용 할당: 맞은 답을 고르는 것과 맞는 과정에 신호를 주는 것의 구분

□ 이번 주가 놓이는 자리

9주차: 외부 문서에서 답변 근거 검색
10주차: 응답 보상을 학습에 전달하는 정렬 계보 관찰
11주차: 최종 답 하나의 점수로 놓치는 중간 과정과 신용 할당 검토
12주차: 출력된 설명이 내부 계산의 증거인지, 책임 있는 운영 조건 검토
이번 주 실습: 제공된 단계 점수를 Best-of-N 재순위에 적용하는 관찰 활동
학생의 verifier 구현이나 대규모 모델 학습 없음

제주 배경에서 단계 카드 경로의 마지막 결과를 보는 자와 중간 단계를 보는 돋보기, 사람의 단계 라벨링을 대비한 개념 일러스트. 실제 PRM 출력·학습 성능의 시각화 아님

□ 이번 주 질문

최종 답이 맞으면 중간 설명도 타당한가?
ORM과 PRM의 차이는 감독의 위치인가, 모델 크기인가?
사람 단계 라벨의 비용을 줄이면 신호의 신뢰성이 자동으로 유지되는가?
추론 중 후보 선택과 정책의 RL 학습은 어떻게 다른가?
응답 단위 advantage로 어느 토큰이 원인인지 알 수 있는가?
앞의 네 설계 항목과 마지막 학습 효과를 왜 구분해야 하는가?

□ 읽기 안내 - 본문의 어디와 이어지나

읽기	본문 연결	먼저 볼 질문
Let’s Verify Step by Step 2.1·2.4	감독 비교의 범위와 라벨 비용	generator를 학습했는가, 라벨의 단위는 무엇인가?
같은 원전 Appendix F.2	Best-of-N 집계	minimum과 product는 어떤 차이를 만드는가?
Math-Shepherd 3	자동 과정 감독	후속 풀이를 평가하는 데 정답이 왜 필요한가?
PRIME 3	암묵 과정 신호	outcome 라벨만 쓰는데 PRM은 어떻게 남는가?
DeepSeekMath 4.1.2	대면 credit assignment	응답 보상과 단계 신호의 위치는 어떻게 다른가?

필수: Let’s Verify Step by Step 2.1, 2.4~2.6, 4.1, Appendix F.2
자동 과정 감독: Math-Shepherd 3~4
암묵 과정 감독: Process Reinforcement through Implicit Rewards 3
10주차 연결: DeepSeekMath 4.1.2의 outcome/process supervision 구분
논문은 원전 확인용. 특정 상용 서비스나 구독 불필요
수학 실험 결과를 제주 관광 응대의 검증 성능으로 대체하지 않기

□ 예제와 실측 범위

실제 수집: 제주 공개 문서의 제목·고정판·행정시 근거
교수 작성: 후보 문장·단계 검토·응답 점수·단계 점수
실제 계산: 주어진 점수의 집계·순위·길이 효과
미측정: 모델 출력, PRM 교정 성능, parameter update, 학습 효과

□ 그림 관찰 질문

같은 풀이를 읽어도 결과 라벨 하나와 단계 라벨 세 개가 주는 정보가 같은가?

같은 세 단계 풀이에서 ORM은 응답의 결과 라벨을 받고 PRM은 각 단계의 라벨을 받는 감독 위치 비교. 모델의 입력 범위가 아니라 라벨 위치의 구분

그림 해석: 점수가 붙는 위치가 다르기 때문에 알 수 있는 오류 위치도 다름. 감독 위치를 늘리는 것이 라벨의 정확성을 대신하지는 않음

온라인 (2시수)

강의: 결과 감독과 과정 감독

□ 왜 마지막 답만 보면 부족한가

문서에서 제주시·서귀포시를 읽고 답을 적는 두 사람이 있다고 상정
첫 사람은 문서의 “행정시” 범주를 확인, 두 번째는 “이름이 다르면 모두 행정시”라는 잘못된 규칙으로 결론
둘의 최종 문자열이 같으면 exact match는 둘 다 통과
그러나 두 번째 규칙은 읍·면·관광지에도 같은 결론을 내리는 오류 가능
다음 질문에도 쓸 수 있는 타당한 규칙을 구분하려면 답과 별개로 과정을 확인할 필요
이 구분이 5주차의 “채점하는 자가 무엇을 놓치는가”에서 이번 주의 감독 위치로 이어지는 연결

□ outcome supervision

풀이가 끝난 뒤 최종 결과에 대한 피드백 제공
예: 답이 정답과 일치하면 1, 다르면 0
감독 대상: 결과의 성패, 중간 단계 오류 위치는 직접 제공하지 않는 구조
ORM(outcome reward model): 결과 라벨을 이용해 응답을 평가하도록 학습한 모델
ORM의 입력에 전체 풀이가 포함될 수 있음. “마지막 문장만 읽는 모델”이라는 뜻 아님

□ process supervision

중간 단계마다 정확성·타당성에 대한 피드백 제공
PRM(process reward model): 접두 문맥과 현재 단계에 대한 점수 예측
다음 단계의 타당성을 앞선 문맥과 연결하여 평가하는 구조
단계 라벨을 토큰 위치에 대응시키는 설계와 모든 토큰의 인과 기여 추정은 별개
사람이 읽을 수 있는 단계 구분도 데이터 전처리와 평가의 설계 항목

비교	ORM	PRM
감독 위치	완성 응답의 결과	중간 단계별 과정
라벨 예	최종 답 정답 여부	각 단계의 타당·오류·모호
얻는 정보	결과 성패	오류 후보 위치
남은 문제	어느 단계가 원인인지 미지정	단계 라벨 비용과 평가 오판
공통 한계	평가 신호와 실제 품질 불일치 가능	평가 신호와 실제 품질 불일치 가능

□ 20단계 풀이가 틀렸을 때

최종 결과 0 하나로는 1단계 오류, 19단계 오류, 여러 오류를 구별 불가
앞 19단계가 타당하고 마지막 전사만 틀릴 가능성
처음부터 근거가 틀렸지만 마지막 답만 우연히 맞을 가능성
과정 라벨은 더 자세한 피드백을 주지만 라벨이 정확한지 별도 검토 필요
“단계 수가 많다”와 “감독 신호가 믿을 만하다”는 다른 질문

근거: PRM이 ORM을 상회한 실험의 범위

□ 원전의 비교 읽기

Let’s Verify Step by Step 2.1: 고정된 generator의 여러 풀이 중 reward model로 선택
비교 대상: reward model의 감독 방식과 Best-of-N 선택 성능
해당 연구에서 generator를 RL로 개선한 실험은 아님
수학 MATH 과제에서 과정 감독의 우위를 관찰한 근거
모든 언어 과제·조직·모델 규모에서 우위를 보장하는 법칙 아님

□ 비교 조건의 확인

대규모 비교: 두 감독의 데이터 구성이 직접 동일하지 않다는 원전의 제한
소규모 비교: 큰 모델을 감독자로 사용하여 통제된 비교와 ablation 구성
사람 라벨 실험과 합성 감독 실험을 하나의 데이터 출처로 합치지 않기
최고 점수만 인용하기보다 후보 수, 평가 대상, 라벨 출처 확인
이 수업에서는 원전의 benchmark 숫자를 실습 성능으로 재현했다고 주장하지 않음

□ 라벨이 주는 정보의 작은 비교

교육용 3단계	결과 라벨	단계 라벨 예시	결과만으로 가능한 판단
타당 -> 타당 -> 맞는 답	1	+, +, +	최종 답 일치 확인
타당 -> 오류 -> 우연히 맞는 답	1	+, -, +	위 행과 구별 불가
타당 -> 타당 -> 전사 오류	0	+, +, -	앞 두 단계 타당성 확인 불가
범주 오류 -> 오류 -> 틀린 답	0	-, -, -	오류 시작 위치 확인 불가

+와 -는 교수 작성 라벨, 실제 PRM prediction 아님
마지막 +가 중간 오류를 소급하여 지우지 않음. 한 단계의 결과와 풀이 전체의 타당성 구분
단계 라벨을 더 줘도 평가자가 범주 오류를 놓치면 정보가 틀릴 수 있음
실습의 A/B/C/D에서 이 차이를 점수·최종 답·과정 검토로 나누어 기록

라벨 비용: PRM800K는 문제 80만 개가 아님

□ 사람 과정 라벨

원전에서 공개한 PRM800K: 약 80만 건의 사람 단계별 피드백 라벨
단위: 문제 수나 완성 풀이 수가 아닌 단계 라벨 수
긍정·부정·중립 라벨로 타당성·오류·모호성을 구분
한 문제의 여러 풀이, 한 풀이의 여러 단계에 라벨이 필요할 수 있음
출처: Let’s Verify Step by Step 2.4

□ 실제 비용 구조

단계 구분: 어디에서 하나의 판단 단위를 끝낼지 정의
주석: 단계마다 문맥과 근거를 읽고 판단
모호한 라벨: 평가자 간 이견 검토와 판정 기준 정리
품질 관리: 오류 점검, 중복, 평가용 분리, 기준 변경 관리
데이터 권리: 풀이·원문·정답·주석을 학습과 공개에 사용할 권리 확인
80만 건만으로 작업 시간이나 지출 금액 추정 불가
단가·소요 시간·검수 비율을 확인하지 않은 금액 계산 금지

□ 그림 관찰 질문

사람 단계 주석을 줄인 두 경로에서 정답·생성·품질 관리까지 없어지는가?

사람 단계 라벨, 자동 후속 풀이, outcome 라벨 기반 암묵 신호의 세 경로. 사람 비용이 줄어도 생성·검증·권리·품질 관리 비용은 남음

그림 해석: 세 경로 모두 검증 기준이 필요. 직접 주석 비용을 자동 생성·검수 비용으로 바꾸는 것과 전체 비용 제거의 구분

자동 과정 감독: Math-Shepherd

□ 사람 주석의 대체 경로

Math-Shepherd 3: 중간 접두에서 여러 후속 풀이 생성
각 후속 풀이의 최종 답을 제공된 정답과 비교
정답으로 이어질 수 있는 정도를 단계 평가 신호로 구성
사람의 모든 단계 직접 주석을 줄이는 접근
정답, 후속 생성 계산, 최종 답 검사 기준은 여전히 필요

□ 자동 신호의 한계

후속 풀이를 잘 생성하는 모델과 어려움을 겪는 모델의 점수 차이 가능
정답에 도달 가능한 정도와 현재 문장의 논리적 타당성이 완전히 같지는 않음
앞선 오류를 후속 단계에서 복구하여 맞는 답에 도달할 가능성
검사하기 쉬운 수학 답과 해석·권리가 관련된 지역 정책 판단의 차이
“사람 주석 없음”을 “정답 없이 무료로 검증”으로 번역하지 않기

□ 작은 관찰 trace: 접두 하나에서 다섯 번 완주

아래 결과는 교수 제공 산술 예시, 실제 후속 생성이나 Math-Shepherd 출력 아님
제주 행정시 질문의 두 접두 상정: P는 문서의 행정시 범주까지 확인, Q는 지역 명칭만 읽은 상태
두 접두에서 각각 다섯 번 완주한 뒤 최종 답을 같은 공개 근거와 대조한다고 상정
1은 최종 답 일치, 0은 불일치. 이 숫자는 현재 접두 문장의 논리적 타당성 직접 라벨이 아님

접두	다섯 완주의 최종 답 대조	맞은 수 / 완주 수	soft estimation	hard estimation
P	1, 0, 1, 1, 0	3 / 5	0.6	1
Q	0, 1, 0, 0, 0	1 / 5	0.2	1

Math-Shepherd 3.3.2, 식 (3)~(4): soft는 정답 완주의 빈도, hard는 하나라도 정답으로 이어졌는지의 판단
같은 후속 결과를 이용해도 soft는 P와 Q를 구분, hard는 둘 다 1. 단계 신호의 정의가 같지 않은 사례
P에서 다시 다섯 번 생성하여 2개만 맞으면 soft는 0.4로 변화. 한 완주의 차이가 1/5=0.2이므로 작은 표본의 변동에 민감
최종 답 검사기가 Q의 오답 하나를 정답으로 오인하면 Q의 soft도 0.2에서 0.4로 상승. 신뢰성 문제는 집계만으로 사라지지 않는 구조
후속 풀이가 앞의 잘못된 판단을 고쳐 최종 답을 맞힐 수도 있음. 정답으로 이어질 가능성과 현재 단계의 정확성이 완전히 같은 것은 아님
이 trace는 자동 라벨 구성의 직관. 본 노트북의 교수 제공 점수가 이 방식으로 수집된 값이라는 뜻 아님

암묵 PRM: PRIME

□ outcome 라벨에서 더 세밀한 신호

PRIME 3: 정책 rollout과 outcome 라벨로 implicit PRM의 온라인 갱신
명시적 사람 단계 라벨을 매번 수집하는 부담 완화
언어모델 형태의 reward model과 상대 likelihood 기반 과정 신호 사용
사람의 단계 정답 라벨을 직접 관찰했다는 뜻 아님
별도 사전 보상모델 학습 단계를 생략하는 것과 보상모델 자체가 없는 것의 구분

□ 여전히 남는 전제

outcome을 판단할 자료 또는 검증 기준 필요
정책 변화에 맞춘 보상모델 갱신과 신호 안정성 검토 필요
암묵 점수가 높다는 이유만으로 토큰의 인과 기여 확정 불가
reward hacking: 정의한 점수를 높이는 행동이 실제 목적에서 벗어날 가능성
이 노트북에서는 implicit PRM이나 RL을 구현·학습하지 않음

□ 작은 관찰 trace: 토큰 비율에서 응답 점수로

아래 확률은 교수 제공 설명값, 실제 모델 likelihood나 제주 문장의 tokenizer 결과 아님
같은 질문 x와 같은 앞 토큰 y_<t를 조건으로 두 causal LM이 현재 예제 토큰 y_t에 준 확률 비교
원전의 기호: pi_phi는 implicit PRM인 언어모델, pi_ref는 기준 언어모델, beta는 점수 배율
PRIME 3.1, 식 (3): 토큰 신호는 두 모델의 확률비에 로그를 취한 값

r_phi(y_t) = beta x ln[pi_phi(y_t | x, y_<t) / pi_ref(y_t | x, y_<t)]
r_phi(y) = sum_t r_phi(y_t)
         = beta x ln[pi_phi(y | x) / pi_ref(y | x)]

ln은 자연로그. 응답 확률이 조건부 토큰 확률의 곱이므로 로그를 취하면 토큰별 합으로 분해
설명용 beta=0.1 사용, 원전 실험의 beta 설정을 재현하는 값 아님

예제 위치	pi_phi	pi_ref	비율	ln(비율)	토큰 신호 r_phi
1	0.40	0.20	2	0.693147	0.069315
2	0.10	0.20	0.5	-0.693147	-0.069315
3	0.30	0.10	3	1.098612	0.109861

토큰 합: 0.069315 - 0.069315 + 0.109861 = 약 0.109861
응답 확률 검산: pi_phi(y)=0.40 x 0.10 x 0.30=0.012, pi_ref(y)=0.20 x 0.20 x 0.10=0.004
응답 점수 검산: 0.1 x ln(0.012/0.004)=0.1 x ln(3)=약 0.109861. 토큰 합과 일치
원전의 outcome 라벨 학습에서는 sigmoid(r_phi(y))와 결과 라벨을 cross-entropy로 비교. 이 예제의 sigmoid는 약 0.527438
결과 라벨 1을 주었다고 이 0.527438이 즉시 1이 되는 것이 아님. 실제 갱신은 목적함수·파라미터·gradient에 따른 별도 계산
위치 2의 음수는 기준 모델보다 해당 토큰의 likelihood가 낮다는 뜻. 그 토큰이 오류의 원인이거나 억제하면 답이 개선된다는 인과 검증 아님
응답 점수를 토큰 합으로 분해하는 구조와, 그 신호에 baseline·return을 적용해 정책 advantage를 만드는 다음 단계도 구분
이 설명은 기호와 숫자 추적에 한정. 본 실습은 implicit PRM 학습·토큰 likelihood 측정·정책 갱신을 수행하지 않음

라벨 확보 경로	줄이는 부담	남는 부담
사람 단계 주석	자동화로 대체되지 않은 직접 판단	인력, 이견 조정, 권리
자동 과정 감독	모든 단계의 사람 직접 주석	후속 생성, 정답 검사, 자동 라벨 품질
암묵 과정 신호	명시적 단계 라벨 수집	outcome 신호, 모델 갱신, 안정성과 오판

PRM의 두 사용처

□ 추론 시 verifier·재순위

정책에서 같은 질문의 후보 N개 생성
PRM으로 각 후보의 단계 점수 계산
점수를 집계하여 한 후보 선택
생성 정책의 파라미터를 바꾸지 않고 적용 가능
후보 생성과 점수 평가의 추가 추론 비용 필요

□ 학습 신호로 RL에 결합

정책이 생성한 과정에 단계 신호 제공
advantage와 목적함수의 설계에 반영
파라미터 업데이트로 이후 생성 분포 변화
라벨 신뢰성, 갱신 안정성, 보상 악용, 비교 기준 필요
추론 재순위 성공이 곧 RL 학습 효과를 증명하지 않는 구분

□ 그림 관찰 질문

같은 PRM 점수를 받아도 파라미터가 바뀌는 화살표는 어느 경로에만 존재하는가?

추론 재순위는 후보 생성·단계 평가·선택에서 종료, RL 경로는 과정 신호·advantage·파라미터 업데이트로 연결. 이 실습은 재순위 숫자 관찰만 수행

그림 해석: 추론 재순위는 이번 후보 집합의 선택 변경, 학습은 이후 생성 분포의 변경. 두 실험의 평가 지표와 필요한 계산도 다름

Best-of-N: 제공된 예제 비교

□ 제주 공개 문서와 교육 예시

질문: “제주특별자치도의 두 행정시는?”
공개 근거: 위키백과 제주특별자치도 고정판 42464087
노트북에서 고정판을 runtime 수집하고 제목·판 번호·확인 문단 출력
근거에 제시된 두 행정시: 제주시와 서귀포시
과거 고정판의 정적 사실 관찰, 최신 행정 변경이나 관광지 운영정보 확인 도구 아님
원문 전체를 저장소나 결과 JSON에 저장하지 않는 방식

□ 네 후보의 성격

후보 문장: 교수 작성 교육 예시, 모델 생성 결과 아님
응답 점수와 단계 점수: 교수 제공 상정값, 학습된 ORM·PRM 출력 아님
정답 대조: 공개 문서의 두 행정시와 최종 답 비교
과정 검토: 교수가 작성한 단계 타당성 설명, 점수와 별도 필드
점수, 정답 대조, 과정 검토를 같은 측정값으로 합치지 않기

후보	과정 특징	최종 답 대조	제공 응답 점수	제공 단계 점수
A	2단계의 “이름이 다르면 모두 행정시” 추론 오류	일치	0.95	0.90, 0.10, 0.90
B	공개 문서의 행정시 범주로 명칭 확인	일치	0.85	0.80, 0.80, 0.80
C	앞 두 단계 타당, 마지막 명칭 전사 오류	불일치	0.20	0.95, 0.95, 0.05
D	앞 두 단계 타당, 같은 도시 두 번 적는 결론 오류	불일치	0.60	0.99, 0.99, 0.50

□ 수식 읽기 - 후보 평가와 선택을 분리

i: 후보 번호, t: 후보 안의 단계 번호, L_i: 후보 i의 단계 수
o_i: 교수 제공 응답 점수, p_(i,t): 교수 제공 단계 점수
s_mean(i) = (p_(i,1) + ... + p_(i,L_i)) / L_i
s_min(i) = min_t p_(i,t)
s_product(i) = p_(i,1) x ... x p_(i,L_i)
i_star = argmax_(i=1,...,N) s(i)

s는 선택한 집계 점수, i_star는 그 점수가 최대인 후보 번호
마지막 줄은 점수를 계산하는 방법이 아니라 계산된 점수로 고르는 규칙
o_i와 p_(i,t)는 다른 평가 자료. o_i를 단계 점수의 마지막 값으로 바꾸어 읽지 않기
argmax는 후보 중 상대 1등. 후보가 모두 틀려도 하나가 1등이 되는 구조

□ 숫자 대입으로 순위 추적

후보	평균 계산	최솟값	곱 계산
A	(0.90 + 0.10 + 0.90) / 3 = 0.633333	0.10	0.90 x 0.10 x 0.90 = 0.081
B	(0.80 + 0.80 + 0.80) / 3 = 0.80	0.80	0.80 x 0.80 x 0.80 = 0.512
C	(0.95 + 0.95 + 0.05) / 3 = 0.65	0.05	0.95 x 0.95 x 0.05 = 0.045125
D	(0.99 + 0.99 + 0.50) / 3 = 0.826667	0.50	0.99 x 0.99 x 0.50 = 0.49005

평균에서 D는 B보다 0.026667 높음. 높은 앞 두 점수가 0.50의 마지막 점수를 보상
최솟값에서 B의 0.80은 D의 0.50보다 높음. 가장 낮은 단계를 선택의 병목으로 사용
곱에서도 B의 0.512는 D의 0.49005보다 높음. 앞 점수 두 개가 높아도 결론 점수와 함께 곱하면 순위 역전
세 숫자는 같은 후보를 다른 방식으로 읽는 결과. 후보의 문장·정답 자체를 바꾼 실험 아님
응답 점수에서는 A가 B보다 높지만 A의 잘못된 범주 추론은 그대로 남음

□ 기본 N=4의 선택

응답 점수 최대: A, 0.95
단계 평균 최대: D, 약 0.826667
단계 최솟값 최대: B, 0.80
단계 곱 최대: B, 0.512
A의 최종 답은 맞아도 과정의 오류가 사라지는 것은 아님
D의 높은 평균은 낮은 마지막 단계 점수가 앞의 높은 점수에 가려진 사례
이 네 예시로 실제 ORM보다 실제 PRM이 우수하다는 통계적 주장 불가

□ 집계의 선택과 한계

평균: 다른 높은 점수로 한 단계 오류가 가려질 가능성
최솟값: 가장 낮은 단계 하나에 민감. 그 단계 평가가 잘못되면 전체를 낮추는 위험
곱: 각 단계가 1보다 작으면 단계 수가 늘수록 작아지는 길이 편향
원전 Appendix F.2: minimum·product와 중립 라벨 처리 비교
이 실습의 평균은 집계 한계를 관찰하기 위한 추가 기준
단계 점수의 곱을 독립성·교정 검토 없이 “전체 정답 확률”로 해석하지 않기

□ 길이를 늘리면 곱은 어떻게 바뀌는가

같은 단계 점수 0.8, 3단계: 0.8^3 = 0.512
같은 단계 점수 0.8, 6단계: 0.8^6 = 0.262144
두 경우의 평균 = 0.8, 최솟값 = 0.8

단계의 점수 수준은 동일하지만 곱은 약 절반으로 감소
더 자세한 풀이를 낮게 평가할 수 있는 길이 효과. 반대로 불필요한 단계를 늘리는 후보를 제약하는 효과도 가능
어느 효과가 바람직한지는 과제와 step segmentation에 의존
모든 단계가 독립적이고 교정된 확률이라는 전제가 없는 제공값에서 곱을 확률로 보고하지 않기
노트북 5절의 길이 출력에서 계산은 재현, 실제 PRM의 길이 편향 크기는 미측정

□ 후보 수 N의 의미

N=2: A와 B만 비교
N=3: C까지 포함
N=4: D까지 포함하여 평균 선택 변화 확인
실제 Best-of-N은 후보 생성 조건과 N에 따른 시간·계산량도 비교 대상
이 예제는 정해진 후보의 접두 집합 비교, 무작위 생성 실험 아님
후보 증가가 검증기의 오판을 늘릴 수 있으므로 항상 더 좋은 답 보장 불가

인터랙티브: 단계 점수와 최종 답 분리

Best-of-N 관찰기: 교수 제공 점수의 집계와 선택 비교

후보 수 N 선택 기준 단계 점수

교수 작성 후보와 제공 점수. ground truth와 점수 분리
후보	응답 점수	단계 점수	선택 점수	최종 답 대조	과정 검토

높은 점수는 정답의 증명 아님. 후보들은 동일한 공개 행정정보 질문에 대해 교수가 작성한 예시, 모델 출력이나 실제 PRM 평가 아님.

□ 관찰 순서

N=4, 응답 점수에서 A의 선택과 과정 오류 확인
단계 평균으로 전환하여 D의 최종 답 불일치 확인
최솟값·곱으로 전환하여 B와 선택 점수 비교
N=2와 N=4의 단계 평균 선택 변화 비교
오판 예시로 전환하여 D의 ground truth는 그대로인데 순위가 바뀌는지 확인
단계 점수 신뢰성과 집계 선택이 서로 다른 문제임을 한 문장으로 기록

코드 작성·수정 요구 없음
동점 처리: 후보 A, B, C, D 순서에서 먼저 나온 후보 선택
오판 preset: D의 세 단계 점수를 모두 0.99로 변경
이때 최솟값·곱도 D 선택. 잘못된 신호를 좋은 집계가 항상 복구하지 못하는 예시

학습활동

□ 실행 순서와 동일 조건

공개 고정판을 수집하고 제목·판·행정시 문단 대조
교수 작성 후보의 최종 답과 과정 검토를 따로 읽기
후보 수와 집계 방식 하나만 바꾸어 선택 결과 비교
동일 후보에서 D의 점수만 바꾸어 오판 신호의 영향 관찰
곱의 길이 효과와 20단계 응답 broadcast 관찰
JSON과 제공 기록표에 따라 근거·점수·판정·한계를 정리

유지할 조건: 공개 문서 판, 질문, 후보 문장, 기본 제공 점수
변경할 조건: 후보 수 N, 집계, 오판 preset, 길이 예시
여러 조건을 한꺼번에 바꾸면 어떤 변화가 순위를 바꾸었는지 구분하기 어려움
최소 산출물: week-11-observations.json과 관찰 기록표

□ 제공 기록표와 판정 기준

실험	관찰 기록	해석이 충족하는 기준
응답 vs 단계 점수	A/B의 선택·과정 검토	최종 답 일치와 과정 타당성 분리
평균 vs min/product	D/B의 숫자 대입	같은 후보에서 집계만 변경한 설명
오판 preset	변경한 점수와 D의 불일치	ground truth를 점수에 맞추어 바꾸지 않음
3단계 vs 6단계 곱	0.512와 0.262144	계산상 길이 효과와 실측 성능 분리
신용 5요소	네 설계 질문과 효과 미측정	학습하지 않은 효과를 개선으로 보고하지 않음

“PRM이 좋아졌다” 대신 “제공값의 min/product는 B를 선택했다”처럼 관측 단위를 명시

대면 (1시수)

Credit assignment: 어느 행동에 신용을 줄 것인가

□ 10주차의 응답 단위 advantage 복습

outcome GRPO의 같은 응답 안에서는 응답 advantage가 각 토큰에 반복
맞은 단계와 틀린 단계에도 동일한 방향의 상대 신호가 전달될 수 있음
토큰별 확률비·gradient·clipping은 다를 수 있으므로 update가 완전히 같다는 뜻 아님
최종 reward만 보고 어느 단계가 오류의 원인인지 직접 알 수 없는 구조
DAPO의 loss 집계 변경과 원인 토큰의 신용 추정도 별개

토큰 수준 신호의 5요소

□ 그림 관찰 질문

신호를 어느 위치에 얼마나 보낼지 정한 뒤, 학습 없이 “효과”도 확인할 수 있는가?

설계 항목인 방향·크기·위치·신뢰성 네 요소와, 학습 후 결과 해석 항목인 학습 효과를 분리한 도식

요소	확인 질문	성격
방향	강화인가 억제인가, 응답 신호 방향을 유지하는가?	설계 항목
크기	신호 크기·정규화·clipping을 어떻게 정하는가?	설계 항목
위치	어느 단계·토큰에 배분하고 나머지는 어떻게 처리하는가?	설계 항목
신뢰성	점수 출처·불확실성·오판을 어떻게 다루는가?	설계 항목
학습 효과	학습 후 무엇이 개선·악화되었는가?	결과 해석 항목

그림 해석: 앞의 넷은 실험 전에 선택할 설계, 마지막은 실험 후 평가할 결과. 동일한 표에 있어도 시간과 근거가 다름

□ 앞의 넷과 마지막을 분리

신호 설계가 정교하다는 이유만으로 실제 학습 효과 확정 불가
효과 확인에는 동일 조건 baseline, 평가 자료, 반복·변동 검토 필요
정답률 개선과 일반 능력·안전성 유지도 각각 확인 대상
이번 관찰에는 parameter update가 없으므로 학습 효과는 미측정
재순위에서 B가 선택된 것을 토큰 신용 학습의 개선이라고 바꿔 부르지 않기

□ 20단계 신용 예시의 숫자 읽기

교육용 응답 상대 신호 A=-1을 위치 1~20에 반복하면 모두 -1
별도 단계 라벨이 7번째 오류를 알려 주어도 A만으로 그 위치를 복원하는 계산은 없음
“위치 7에 억제 신호를 더 준다”는 선택은 방향·크기·위치의 추가 설계
7번째 라벨이 틀릴 때 이를 얼마나 믿을지는 신뢰성 설계
이 설계로 정답률이 오르는지는 실제 학습과 비교 평가 후에만 확인 가능한 학습 효과
노트북의 -1은 교수 제공 상대 신호. 최종 실패 보상 0 자체가 항상 advantage -1이라는 주장 아님

토큰 중요도의 경쟁하는 정의

□ 측정 대상부터 확인

미래 영향: 이 토큰 이후의 정책·trajectory 변화 관찰
정답 조건부 우도: 정답을 조건으로 한 토큰의 likelihood 호환성 비교
결과 민감도: 토큰을 바꾸었을 때 최종 결과 분포 변화 관찰
서로 다른 측정 대상을 같은 “중요도” 숫자로 단순 비교 불가
likelihood가 높다는 사실과 인과적으로 답을 결정했다는 주장의 분리
이 주차에서는 개념 구분만 수행. 세 정의의 구현 비교는 대학원 수준

□ 대면 활동: 20단계 오류 카드

교수가 제공한 20개 위치 중 7번째에 근거 범주 오류가 있다는 예시
최종 결과 0만 관찰했을 때 알 수 있는 것과 모르는 것 구분
위치 7을 알려주는 단계 라벨과 실제 인과 검증의 차이 설명
네 설계 항목을 한 줄씩 기록, 마지막 학습 효과는 미측정 표시
구현이 아니라 제공된 예제를 이용한 문제 정의 활동

실무: 라벨 확보와 데이터 권리가 먼저인 이유

□ 연구실 트랙의 문제 정의

트랙 A: 회계 풀이를 단계별로 구조화하고 각 단계의 correctness 평가가 가능한가?
트랙 B: 토큰별 신용을 어떤 정의와 신호로 배분할 것인가?
두 트랙을 결합하기 전에 각각의 효과와 실패 조건을 비교할 필요
이 수업에서는 문제 정의만 소개. 미발표 데이터·결과·학생 개인정보 사용 없음
공개 관광 행정정보 예시는 회계 데이터나 실제 도내 기업 데이터 아님

□ 인력이 적은 도내 조직의 판단

상정 조직: 소수 담당자가 공개 정보를 이용해 관광 안내를 운영하는 상황
반복 라벨링과 이견 검수에 필요한 인력을 먼저 추정
공개 원문도 재사용 조건·출처·변경 시점 확인 필요
내부 업무문서를 이용한다면 접근권·학습권·외부 공개권을 각각 확인
자동 라벨로 바꿀 때 후속 생성 비용과 오판 검수 비용을 함께 비교
권리나 품질 검토가 준비되지 않으면 학습을 시작하는 것 자체가 병목 회피가 아님

□ 제공된 검토표

항목	팀 기록 예시	확인할 근거
평가 단위	문장의 주장 단위 1개	단계 구분 규칙
라벨 기준	근거에 직접 명시 / 범주 오류 / 확인 불가	공개 출처와 평가 지침
모호성 처리	확인 불가를 오답과 구분	평가자 이견 기록
사용처	우선 추론 후보 재순위	학습 업데이트와의 구분
라벨 비용	미측정, 작은 표본의 소요 시간부터 기록	실제 측정 자료
데이터 권리	원문·주석의 이용 조건 각각 확인	출처와 허용 범위
효과	현재 미측정	비교 조건과 평가 계획

학습활동

[이론] 결과 감독·과정 감독의 위치와 사람 단계 라벨 비용 설명
- 자동 감독·암묵 감독의 남는 전제와 PRM의 두 사용처 구분
- 방향·크기·위치·신뢰성은 설계, 학습 효과는 결과 해석임을 명시
[구현] 제공된 노트북을 수정 없이 실행하고 Best-of-N 숫자 비교
- 응답 점수·단계 평균·최솟값·곱과 오판 preset의 선택 결과 기록
- verifier·advantage 직접 구현, 실제 RL 학습 없음
[실무] 검토표에 라벨 기준·비용·권리·사용처를 작성
- 도내 조직은 상정 조건, 공개 자료와 교수 예시를 분리
- 미발표 성과나 확인하지 않은 단가·기업 데이터를 채우지 않기

자주 하는 오해 Q&A

Q1. ORM은 풀이 내용을 전혀 읽지 않는가?

결과 라벨로 감독받는다는 뜻. 모델 입력에는 전체 풀이가 들어갈 수 있음
읽는 범위와 라벨을 주는 위치의 구분
A의 전체 문장을 읽어도 최종 답 일치 라벨 1만 받으면 범주 추론의 오류 위치는 명시되지 않는 구조
실습에서는 입력 텍스트가 아니라 제공된 감독 점수의 단위를 비교

Q2. 최종 답이 맞는 A는 과정도 맞는 것 아닌가?

잘못된 범주 추론으로도 우연히 맞는 명칭을 적을 수 있음
최종 답 일치와 중간 과정의 타당성은 별도 판정
같은 범주 오류를 다른 문항에 적용하면 읍·면도 행정시로 분류할 수 있으므로 전이 가능한 규칙이 아님
A의 과정 검토를 부정하면서 최종 답 대조는 긍정하는 기록이 모순이 아닌 이유

Q3. PRM800K는 80만 개 문제나 모델인가?

사람의 단계별 피드백 라벨 약 80만 건
한 문제와 한 풀이에서 여러 라벨이 생길 수 있는 단위
이 단위를 문제 수로 바꾸면 데이터 다양성과 라벨링 부담을 잘못 추정
실제 비용은 라벨 수뿐 아니라 단계 읽기·이견 검수·권리 확인 시간에도 의존

Q4. 자동 과정 감독에는 정답도 사람도 계산도 필요 없는가?

Math-Shepherd는 후속 생성과 최종 답 검사에서 정답 활용
직접 단계 주석을 줄여도 생성·검사·품질 관리 부담은 남음
접두 이후 생성이 정답에 도달하지 못하면 올바른 접두도 낮게 평가할 수 있는 한계
관광 안내처럼 최신 사실·안전 판단이 섞인 과제에는 수학의 자동 정답 검사를 그대로 적용하기 어려움

Q5. PRIME은 보상모델을 없앤 기법인가?

명시적 과정 라벨을 줄이는 암묵 신호와 온라인 PRM 갱신의 접근
reward model은 존재. 별도 사전 학습 단계의 생략과 모델 제거 구분
outcome 신호에서 과정 신호를 얻는 변환과 사람이 모든 단계에 정답 라벨을 주는 방식은 다름
낮아진 라벨 수집 부담만 보고 online 갱신·오판·보상 악용 검토를 생략하지 않기

Q6. 최솟값이나 곱을 쓰면 잘못된 점수도 복구되는가?

D의 점수를 모두 0.99로 오판하면 두 집계도 잘못된 D 선택
점수 신뢰성과 집계 기준은 별도 문제
오판 D의 min은 0.99, 곱은 0.970299. 계산은 정확해도 선택한 답은 틀릴 수 있음
집계 구현의 버그 여부와 평가 신호의 품질을 따로 확인할 필요

Q7. 재순위에서 B를 고르면 PRM으로 RL을 학습한 것인가?

후보 선택만 수행, 정책 파라미터 업데이트 없음
추론 재순위 결과와 학습 효과를 구분
같은 질문을 다시 생성할 때 정책의 확률분포는 그대로. 후보를 고르는 외부 규칙만 작동
RL 효과를 주장하려면 업데이트한 정책과 baseline의 동일 평가 자료 비교 필요

Q8. 토큰 중요도와 정답 조건부 likelihood는 같은 인과 설명인가?

likelihood는 특정 조건의 확률 호환성, 인과 기여와 동일하지 않음
중요도의 정의와 평가 대상을 먼저 확인할 필요
정답을 조건으로 한 높은 점수는 정답을 이미 아는 조건의 호환성. 실제 생성 시 그 답을 찾아냈다는 직접 증거가 아님
결과 민감도를 보더라도 섭동 방법·대조 조건·평가 대상에 따라 해석 범위가 달라짐

스스로 점검

ORM과 PRM의 감독 위치를 설명 가능한가?
틀린 과정과 맞는 최종 답이 공존하는 예를 설명 가능한가?
PRM800K의 80만이라는 수의 단위를 설명 가능한가?
자동 과정 감독과 암묵 과정 신호가 각각 요구하는 전제를 설명 가능한가?
기본 N=4에서 네 선택 기준이 누구를 고르는지 설명 가능한가?
단계 곱의 길이 편향과 전체 정답 확률 해석의 한계를 설명 가능한가?
credit 5요소 중 학습 효과만 결과 해석인 이유를 설명 가능한가?
점수 오판과 집계 변경을 서로 다른 문제로 설명 가능한가?
도내 조직의 라벨 비용과 데이터 권리를 기술 선택 전에 검토할 수 있는가?

정답 보기

문항	핵심 답
1	ORM은 완성 결과 라벨, PRM은 중간 단계 라벨. 입력 길이의 구분 아님
2	A의 범주 추론은 틀리지만 최종 답 제주시·서귀포시는 일치
3	문제 수가 아닌 사람 단계별 피드백 라벨 약 80만 건
4	자동은 후속 생성·정답 검사, 암묵은 outcome 신호·모델 갱신 필요
5	응답 A, 평균 D, 최솟값 B, 곱 B
6	1 미만 점수의 곱은 긴 풀이에서 작아짐. 교정·의존성 검토 없이 정답 확률 아님
7	앞의 넷은 신호 설계, 효과는 학습 후 baseline과 비교해야 관찰 가능한 결과
8	같은 ground truth에도 잘못된 점수를 주면 min·product 모두 오선택 가능
9	검수 인력·소요 시간·허용 권리 확인. 미확보 비용은 미측정 기록

5번 검산: D의 평균은 2.48/3, B의 곱은 0.8^3. 단순 암기보다 같은 값의 다른 집계를 확인
8번 검산: D 점수를 모두 0.99로 바꾸면 min=0.99, product=0.970299. D의 최종 답은 여전히 중복된 제주시
점수 최대를 선택하는 규칙은 정답 최대를 선택하는 oracle 규칙이 아님

이번 주 용어 정리

용어	한 줄 뜻
outcome supervision	완성된 결과를 대상으로 피드백을 제공하는 감독
process supervision	중간 단계마다 피드백을 제공하는 감독
ORM	결과 라벨로 학습한 보상모델
PRM	과정 라벨 또는 과정 신호로 단계 점수를 제공하는 보상모델
PRM800K	약 80만 사람 단계 라벨을 포함하는 공개 과정 감독 자료
verifier	후보의 타당성·정답 여부를 평가하는 장치
Best-of-N	N개 후보를 평가하여 높은 점수의 후보를 고르는 방법
reranking	이미 생성된 후보들의 평가 순서 재조정
implicit process reward	명시적 단계 라벨 없이 모델·outcome 신호에서 구성한 과정 보상
reward hacking	실제 목적 대신 평가 점수의 허점을 이용하는 행동
ground truth	정의한 문제의 판정 근거, 모델의 예측 점수와 구분
credit assignment	결과의 신용을 어느 행동·단계·토큰에 배분할지 정하는 문제
likelihood	특정 문맥에서 모델이 토큰·응답에 부여하는 확률

□ 다음 주 연결

이번 주: 최종 답 정확성과 중간 과정 타당성의 분리
다음 주: 과정 설명의 정확성과 내부 계산에 대한 faithfulness도 분리
질문: 설명이 그럴듯해도 안전·자격·권리가 걸린 판단을 자동으로 내보내도 되는가?
책임 있는 운영에서 판단 보류·사람 확인·개인정보 보호 조건 검토

문서 출처

개념·실험 범위: Lightman et al., Let’s Verify Step by Step, 2023, 2.1·2.4·4.1·Appendix F.2
자동 과정 감독: Wang et al., Math-Shepherd, 2024판, 3~4
암묵 과정 감독: Cui et al., PRIME, 2025판, 3
제주 정보: 한국어 위키백과 제주특별자치도 고정판, 원문·저자·이용 조건은 해당 문서 이력 확인
확인일: 2026-10-11. 미발표 연구와 도내 기업 제공 자료는 포함하지 않는 범위

실습 노트북

노트북 목록, week-11.ipynb
목표: 제공된 단계 점수의 재순위와 정답 대조·과정 검토 분리
관찰 절: 1절 출처 수집, 2절 후보, 3절 집계, 4절 오판, 5절 길이·신용, 6절 저장
환경: Python 3, CPU, 표준 라이브러리. GPU·가중치·추가 패키지 설치 불필요
인터넷: 공개 원문의 runtime 수집에 필요. 실패 시 명시적 오류와 재실행 안내, 허구 fallback 없음
관찰 전용: 수업계획서와 이슈 #4의 제공된 단계 점수 활동에 따라 TODO 없음
측정 조건: 동일 고정판·질문·후보·점수에서 집계와 N만 비교
원문: 제목·판·수집 시각·hash와 일부 문단 출력, 전체 원문 저장 없음
산출물: 출처 메타데이터·상정 점수·계산 결과를 포함한 week-11-observations.json과 기록표
보고 한계: 실제 reward model 출력·정책 학습·학습 효과는 미측정