13주차: 최신 연구 동향 - 주장, 근거, 작은 재현

이번 주차

□ 주제

• 최신 논문을 주장·근거·한계로 읽고, 제공된 작은 방법 실험으로 적용 조건 확인
• 새 기법의 이름보다 어떤 조건에서 무엇이 달라졌는지 구분하는 연구 읽기

□ 이번 주가 놓이는 자리

• 9주차: 외부 근거 검색, 10주차: 학습 신호, 11주차: 과정 평가, 12주차: 설명과 책임의 경계
• 13주차: 이 개념들을 최신 논문의 실험 조건과 연결, 구현 가능한 범위 판단
• 14주차: 실제 프로젝트 실패 기록과 운영 전환, 15주차: 최종 발표와 데모
• 이번 주 결과물: 논문 한 장, 작은 재현 관찰 기록, 비용·지연 비교표

□ 이번 주 질문

• 논문에서 성능이 좋아졌다는 결론이 어느 모델·과제·평가 기준에 묶여 있는지
• 같은 모델의 답을 검토하고 수정하면 항상 좋아지는지
• 에이전트 수와 모델 가중치 수, 실제 동시 실행 수가 같은지
• 작은 CPU 실험과 원 논문의 전체 성능 재현을 어떻게 구분하는지
• 전용 GPU가 없는 조직에서 비용·대기시간·실패 책임을 함께 비교하는 방법

□ 읽기 안내와 본문 연결

• 논문 확인 기준일: 2026-10-11. 최신 사례 한 편과 방법의 기반 논문 한 편을 연결하는 구성
• 아래 논문의 실제 원문 절 번호 사용. 교재에 없는 장 번호를 만들어 읽기 범위로 제시하지 않는 원칙

자료·읽을 지점	먼저 찾을 질문	본문 연결
Yuan 외, Rethinking Multi-Agent Collaboration: When More Is Less, 2026, §3·§5·Table 1	어떤 의존 구조에서 협업이 도움인지, 분해 비용과 전체 토큰이 같은지	최신 동향·구성 비용
Madaan 외, Self-Refine, 2023, §2·Algorithm 1	초안·피드백·수정이 공유하는 모델과 달라지는 프롬프트	제공 실험의 세 단계
같은 논문 §4·§6	피드백 품질과 작은 모델이 결과를 어떻게 제한하는지	오답 전이·작은 재현의 한계
Qwen3 Technical Report, 2025, abstract·모델 소개	모델군 보고를 하나의 Base 모델 실행에 옮길 수 있는지	실험 조건·일반화 경계
Qwen3-0.6B-Base 모델 카드	Base 모델이 지시 학습 모델과 같은지	출력 형식 실패의 해석

□ 이번 실험의 범위

• 공개 자료: 위키백과 제주특별자치도 고정판 42464087의 행정시 설명, runtime 수집
• 논문 방법의 작은 재현: 실제 공개 모델의 생성→피드백→수정 한 회 실행
• 학습·논문 전체 벤치마크·SAIGE 구현 재현 없음
• 최신 논문은 읽기와 구성 판단의 근거. 작은 실험이 최신 논문의 성능 수치를 검증했다고 주장하지 않는 구분
• 도내 조직은 GPU 없는 운영 조건으로만 상정. 기업 데이터·실제 조직 측정 없음

온라인 (2시수)

강의: 최신 논문의 결론을 적용 조건으로 바꾸기

□ 왜 제목과 요약만 읽으면 부족한가

• “에이전트를 늘렸더니 성능 향상”이라는 문장만 남으면 모델·문맥·호출 예산도 함께 바뀌었는지 확인 불가
• 같은 과제라도 평가가 정답 일치인지, 테스트 통과인지, 사람 선호인지에 따라 높은 점수의 의미 차이
• 읽기 순서: 질문 → 주장 → 비교 대상 → 실제 조작 변수 → 측정 → 적용 불가 조건
• 프로젝트에 옮길 문장: “이 조건에서 이 기준선보다 이 측정이 달라졌으며, 우리 조건에서는 이 부분을 다시 확인할 필요”

□ 최신 사례: 협업의 단위보다 의존 관계

• Yuan 외의 2026년 preprint: 작업 의존 그래프·문맥 분리·조율 비용을 함께 분석
• 근거: 원문 §3의 이상화된 분석, §5의 서로 다른 장기 작업 평가
• 고정된 많은 역할보다 작업 간 정보 의존성을 고려한 분할을 검토하는 연구 방향
• 논문이라는 이유만으로 검증 완료된 운영 표준으로 취급하지 않는 원칙
• 사전 공개 논문, 특정 모델·도구·과제 조건의 결과. 우리 제주 사실 질문 성능으로 대체 불가

□ 서로 다른 두 비용

• 이론상의 문맥 비용: 이미 완성된 작업 궤적과 의존 관계를 알고, 필요한 부분만 분리했을 때의 누적 문맥 부담
• 실제 운영 비용: 분할 예측·역할 지시·요약 전달·재시도·동기화까지 포함한 전체 호출 부담
• 문맥 분리가 불필요한 정보를 줄이더라도 조율 호출이 늘면 전체 입력·출력 토큰 증가 가능
• 따라서 논문의 이상화된 부등식만으로 실제 서비스 비용 감소를 주장할 수 없는 구조
• 근거 위치: 최신 논문 §3.1.3과 §3.2. 이번 노트북은 그 이론·시스템의 구현 재현 아님

□ 정보를 나누기 전에 묻는 질문

• 제주 문서의 두 행정시를 찾고 답하는 과제: 근거 확인과 답 작성이 같은 짧은 문맥에 묶인 경우

• 독립된 두 문서를 각각 읽고 비교하는 과제: 개별 읽기를 나눌 여지가 있는 경우

• 앞 작업의 중간 결과를 매번 전달해야 하는 과제: 분리로 인해 기다림·요약 누락·재확인 증가 가능

• 독립성은 역할 이름에서 생기는 성질이 아니라 입력·출력 의존성의 성질

• 협업 구성 판단은 “몇 명”보다 “어떤 정보를 언제 전달해야 하는가”부터 시작

• 관찰 질문: 한 장 읽기의 빈칸 중 논문 요약문만으로 채우지 못하는 칸 찾기

• 그림 해석: 결론 문장과 실험표를 다른 칸에 배치, 저자가 쓰지 않은 적용 주장도 별도 표시

강의: 제공된 Self-Refine 실험의 원리

□ 왜 답을 다시 생성하기 전에 피드백을 만드는가

• 첫 답에서 누락한 조건을 명시하면 수정 단계가 무엇을 바꿀지 더 분명해질 가능성
• 그러나 검토자도 같은 모델이면 처음의 오해를 반복할 가능성
• 피드백은 정답 라벨이 아니라 또 하나의 생성 결과. “검토했다” 자체를 성공 근거로 삼지 않는 원칙
• 원 논문의 방법: 같은 모델이 초안을 만들고 피드백을 생성한 뒤 이를 이용해 수정
• 근거: Self-Refine §2. 이번 실습은 해당 세 단계 구조를 한 회 제공

□ 세 단계의 정의와 기호

• x: 공개 문맥과 질문, M: 고정된 모델 가중치
• p_gen, p_fb, p_refine: 교수 제공 생성·피드백·수정 지시
• y0 = M(p_gen + x): 초안
• fb = M(p_fb + x + y0): 근거와 초안을 함께 본 검토
• y1 = M(p_refine + x + y0 + fb): 검토를 참고한 수정
• +: 입력 문장의 연결, 숫자 덧셈이나 가중치 학습 연산이 아님
• 실제 노트북에서는 원 논문 few-shot 예제를 옮기지 않고 짧은 한국어 지시 사용. 프롬프트 동일 재현 아님

□ 제주 공개 사실에 연결

• 고정판 행정시 문단을 runtime 수집, 제목·판 번호·행정시 명칭 존재 확인

• 질문 세 개: 두 행정시 이름, 행정시 수, 제주시 외 행정시 이름

• 정답은 공개 근거와 대조한 교수 제공 기준, 모델 피드백에서 정답을 만들어 내지 않는 구조

• 초안 출력은 검토 프롬프트로 전달, 피드백 출력은 수정 프롬프트로 전달

• 직접 생성과 수정 구성의 비교에서 동일 초안을 공유, 시작점 차이를 줄이는 설계

• 모델이 지시를 지키지 않거나 출력이 잘려도 그 응답과 실패를 그대로 기록

• 관찰 질문: 피드백 단계가 참조하는 정답과 학생에게 보여 주는 공개 근거가 같은 정보인지 확인

• 그림 해석: 세 상자는 서로 다른 가중치의 독립 모델이 아님. 같은 가중치의 역할 분리
• 12주차와 연결: 설명·검토 문장이 그럴듯하더라도 사실성과 내부 충실성이 자동으로 확인되지 않는 구조

□ 작은 계산 예제: 호출 예산

• 질문 수 n=3, direct는 질문당 1호출, 한 회 refine은 질문당 초안·피드백·수정 3호출
• 각각 운영할 때 direct 3×1=3호출, refine 3×3=9호출
• 실습은 초안을 공유하므로 실제 비교용 생성은 9호출. direct 3호출과 refine 9호출을 합쳐 실제 12호출이라고 보고하지 않는 구분
• 예열 1호출은 모델 준비와 비교 측정 분리를 위해 별도 실행, 비교 표에서 제외
• 호출마다 최대 24 생성 토큰이므로 세 단계의 생성 상한은 질문당 72토큰
• EOS 조기 종료에 따라 실제 생성 토큰은 상한보다 작을 수 있음. 토큰 수는 실측 로그에서 읽기

□ 실제 시간이 정확히 3배가 아닌 이유

• 피드백 입력에는 초안이, 수정 입력에는 초안과 피드백이 추가되므로 프리필 부담 변화
• 출력 길이와 EOS 위치, CPU 부하, 라이브러리·메모리 상태의 영향
• 노트북 generate_sec: 토큰화 이후 generate 구간의 wall time, 프리필과 디코딩 포함
• 순수 디코딩·사용자 요청 전체 지연·설치 시간을 측정했다고 표기하지 않는 원칙
• 모델 로딩 시간은 별도 기록, 같은 가중치를 공유하는 비교에서 매 호출에 반복 합산하지 않음

□ 결과 읽기: 교정만 세면 놓치는 것

초안 판정	수정 판정	이름	확인할 출력
일치	일치	유지 정답	근거 없는 추가 주장 여부
불일치	일치	교정	어떤 피드백이 어떤 변경으로 이어졌는지
일치	불일치	퇴행	검토가 맞는 답을 망가뜨렸는지
불일치	불일치	유지 실패	피드백 오류·반영 실패·형식 오류의 구분

• 위 판정은 지정한 첫 줄 형식 일치. 모든 의미적 정답과 사실 정확도를 평가한 점수가 아님
• 도시 두 이름은 지정 구분자 제거 후 정확한 두 이름 순서만 인정, 수는 2로 표기
• “제주시와 서귀포시가 아니다”처럼 정답 단어를 포함한 부정문을 단순 포함 검색으로 정답 처리하지 않는 이유
• 의미가 맞지만 형식이 다르면 자동 판정은 실패, 출력과 수동 판정을 별도로 보존
• 결과 확인 뒤 채점 규칙을 특정 구성에 유리하게 바꾸지 않는 비교 규율

강의: GPU 없는 운영 조건에서 비교하기

□ 경량 배포와 역할 분리는 다른 선택

• 모델 경량화: 가중치·활성 메모리·연산량을 줄이는 접근
• 역할 분리: 프롬프트와 정보 전달을 나누는 접근, 가중치 크기 감소를 보장하지 않음
• 이번 실험: 작은 Base 모델 하나를 CPU에서 공유, 역할 호출은 순차 실행
• 모델 3개를 동시에 메모리에 올린 실험, 독립 전문가 집단, 분산 시스템 실험 아님
• 일반 조직의 RAM·응답 대기 허용치·오류 확인 인력 조건을 먼저 적고 구성 판단

□ 가중치와 전체 메모리 구분

• 파라미터 수 P, 파라미터당 바이트 b일 때 가중치 바이트 P×b

• 작성 산술 예: P=600,000,000, float32 b=4이면 2,400,000,000바이트, 약 2.24 GiB

• 이 숫자는 반올림한 교육 계산, 실제 모델 파라미터 수는 노트북 parameter_count에서 확인

• 전체 메모리는 가중치 외에 KV 캐시·중간 텐서·토크나이저·프로세스도 포함

• 따라서 2.24 GiB RAM만 있으면 실행된다는 판단 불가

• 저정밀 가중치의 절감 비율만으로 CPU 지연·품질까지 예측 불가. 별도 실험 없으므로 이번 비교에서 양자화 성과 미측정

• 관찰 질문: 비용 표에서 현금 비용과 입력 토큰 비용을 같은 칸에 넣어도 되는지 확인

• 그림 해석: 토큰·호출·시간은 실제 비교 지표, 현금·전력·최대 RSS를 대신 측정하지 않음

구성 예산 관찰기: 교수 작성 상정값, 실제 측정 아님

기본 질문 3개, 수정 1회: 초안 3 + 검토 3 + 수정 3 = 9호출.

같은 모델 가중치 1개를 공유하는 순차 구성. 성공률·시간·현금 비용은 이 계산으로 예측 불가. 실습은 수정 1회만 실행.

• 상호작용 해석: 호출 수 3배라도 입력·출력 토큰·시간이 정확히 3배라는 결론 불가
• 이 구성표는 상정 예산 계산. 실제 실행 결과는 노트북 비교 표와 합치지 않는 구분

□ 실제 CPU 실행 결과와 채점 기준의 한계

• 2026-10-11 작성 환경: Python 3.12.13, PyTorch 2.14.1, Transformers 5.19.0, arm64 CPU 2스레드, fp32, greedy decoding, 최대 새 토큰 24
• Qwen3-0.6B-Base 판 da87bfb608c14b7cf20ba1ce41287e8de496c0cd, 제주 공개 문서 고정판 42464087. 같은 모델과 같은 초안을 공유한 세 질문 비교

구성	계산상 호출 수	입력 토큰 합	생성 토큰 합	생성 구간 시간	첫 줄 형식 일치
직접 생성	3	681	50	1.97초	1/3
한 회 피드백·수정	9	2233	194	7.59초	0/3

• 직접 생성의 세 초안은 수정 구성에서도 사용. 실제 비교 호출은 9회, 예열은 별도 1회이며 두 행을 더해 12회 실행했다고 보고하지 않음
• 시간은 model.generate 구간의 한 번 측정값. 모델 로딩·토큰화·문서 수집은 제외. 같은 환경에서도 시간이 달라지므로 지연 비율의 일반화 금지
• 입력은 약 3.28배, 출력은 3.88배, 생성 시간은 약 3.85배. 호출 3배라는 숫자만으로 입출력 부담과 시간까지 3배라고 예측할 수 없는 사례

질문 ID	초안 첫 줄	수정 첫 줄	형식 점수	해석
cities	제주특별자치도의 두 행정시 이름은 제주시와 서귀포시이다.	제주특별자치도의 두 행정시 이름은 제주시와 서귀포시이다.	0 → 0	두 이름은 사실과 일치하나, 질문을 반복한 완전한 문장이므로 지정한 이름 목록 형식에는 불일치
count	2	제주특별자치도의 행정시 수는 2개인 제주시와 서귀포시가	1 → 0	숫자 2는 남아 있으나 설명 문장으로 바뀌고 끝도 잘림. 형식 점수의 퇴행이며 수의 오답으로 판정하지 않음
other	제주특별자치도에서 제주시 외의 행정시 이름은 제주특별자치도 제	제주특별자치도에서 제주시 외의 행정시 이름은 제주특별자치도 제	0 → 0	24새 토큰 제한에서 답이 완성되지 않고 기대 이름을 제시하지 못함

• cities는 사실이 맞는 설명 문장도 형식 점수에서 탈락하는 반례. count는 수를 바르게 말해도 지정된 짧은 형식을 잃는 반례. 형식 일치 수를 사실 정확도나 근거 충실성으로 바꾸어 보고하지 않는 원칙
• 노트북의 전이 집계는 형식 판정 기준으로 유지 정답 0, 교정 0, 퇴행 1, 유지 실패 2. 이 이름은 해당 점수의 전이이며 의미 정확성의 전수 판정이 아님
• 이 세 질문과 작은 Base 모델의 한 회 결과는 Self-Refine 원 논문의 벤치마크 점수나 SAIGE의 유효성을 재현·반증한 결과가 아님. 옮긴 방법, 모델, 채점, 출력 제한의 차이를 먼저 기록
• week-13-observations.json에 초안·피드백·수정 전체, 실제 토큰 수·시간·조건 저장. 현금 비용·최대 RSS·에너지는 미측정인 null 유지

학습활동

□ 논문 한 편의 주장·근거·한계 한 장 작성

한 장의 칸	채울 내용	확인 위치
서지	제목·저자·연도·판·원문 링크	원문 첫 페이지·판 번호
문제	해결하려는 실패와 사용 조건	introduction
주장	비교 대상·변수·측정을 포함한 한 문장	abstract와 results를 대조
방법	입력·출력·정보 전달·반복 중단	method·Algorithm
근거	핵심 표·기준선·평가 지표·실험 조건	experiment·appendix
한계	저자 명시 한계와 우리 조건 차이 각각 표시	limitations·자체 적용 검토
작은 재현	재현한 부분·바꾼 조건·출력·불일치 이유	노트북 실행 기록
적용 판단	GPU·비용·지연·오류 책임 조건	제공 비교표

• AI 보조 검색은 찾기 단서로만 사용, 실제 원문 확인 전 인용 근거로 채우지 않는 원칙
• 주장과 논문에 없는 확장 해석을 서로 다른 줄로 표시
• 제공 실험과 무관한 논문을 선택한 조는 방법 연결의 차이를 명시, 추가 구현 요구 없음

대면 (1시수)

□ 학생 논문 발표 및 토론

• 조별 한 장을 화면에 제시, 주장·근거·한계를 순서대로 발표
• 청중은 원문 위치가 있는 근거 한 가지와 적용 조건 한 가지 질문
• 발표자는 결과 표의 분모·기준선·비교 예산을 확인하고 답변
• 원문에서 확인하지 못한 질문은 “미확인” 표시 후 확인 위치 기록
• 모델 출력이 논문 성능과 어긋났다면 작은 모델·한국어 사실 질문·짧은 생성·프롬프트·평가 차이 중 근거가 있는 원인만 제시
• 논문 저자가 주장하지 않은 “항상 좋아짐”, “모든 조직에서 실행 가능” 표현을 상호 점검

학습활동

[이론] 주장과 확장 해석 구분

• 최신 논문 §3의 비용 정의와 §5의 실제 전체 토큰 측정을 다른 열로 기록
• 단일 모델 성능과 협업 구성 효과를 분리, 원문 비교 조건에서 달라진 것 확인
• 저자 명시 한계와 우리 과제의 추가 한계를 구분하여 한 장 완성

[구현] 제공된 작은 재현 실행과 해석

• 코드 수정 없이 전체 셀 실행, TODO·verifier 구현 없음
• 공개 문서 revision과 모델 revision 확인, 조건·각 단계 출력·비교 합계 저장
• 초안과 수정의 자동 형식 점수 및 수동 검토 차이 기록
• 실제 생성 결과가 기대와 달라도 가짜 예시로 덮지 않고 실패를 관찰 결과로 유지

[실무] 제공된 구성 비교표 채우기

판단 항목	경량 모델 직접 생성	같은 경량 모델 역할 분리·순차 수정	값의 근거
전용 GPU	불필요	불필요	노트북 device=cpu
가중치 인스턴스	1	1 공유	동일 model 객체
질문당 호출	1	3	제공 흐름
모델 로드 시간	기록값	공유, 중복 합산 없음	conditions.load_sec
가중치 바이트	기록값	공유 기록값	conditions.weight_bytes
전체 최대 RSS	미측정	미측정	가중치와 구분
입력·출력 토큰 합	direct 기록값	refine 기록값	comparison
생성 구간 시간 합	direct 기록값	refine 기록값	comparison.generate_sec
첫 줄 형식 일치	기록값 / 3	기록값 / 3	지정 채점 규칙
현금 비용·전력	미측정	미측정	추정 단가 없음
실패 시 확인	근거·초안	근거·초안·피드백·수정	단계 출력
적용 판단	허용 지연·사람 검토 조건 기재	추가 대기가 교정 효과를 정당화하는지 기재	조별 상정 운영 조건

• 비교는 실제 제주 기업 운영 조사나 검증이 아닌 상정 조건 판단

• CPU 실행 가능과 실시간 서비스 가능은 다른 판정. 노트북 완주만으로 운영 SLA 충족 주장 금지

• 관찰 질문: 그림에서 논문 성능까지 확인하려면 빠진 근거가 무엇인지 찾기

• 그림 해석: 작은 실험의 실패가 원 논문의 전체 결론을 반증하지도, 한 번의 성공이 운영 성능을 보장하지도 않는 범위

자주 하는 오해 Q&A

Q1. 최신 논문이므로 이전 방법보다 무조건 좋은가?

• 출판 시점과 비교 우위의 차이
• 비교 과제·예산·평가 기준에서의 근거 확인 필요, preprint의 결론도 조건부 검토 대상
• 이번 최신 논문은 협업을 무조건 늘리기보다 의존 관계와 비용을 함께 확인하는 읽기 사례

Q2. 역할 세 개면 서로 독립적으로 확인한 것인가?

• 같은 가중치와 같은 공개 문맥, 앞 출력의 전달 구조
• 오류가 공유되거나 피드백이 틀릴 가능성. 독립 검증 보장 없음
• 실제 근거 대조와 단계별 출력으로 어떤 일이 일어났는지 확인

Q3. 작은 CPU 실행으로 논문 재현 완료라고 보고해도 되는가?

• 한 회 생성·피드백·수정 구조의 실행 재현으로 범위 명시
• 모델·프롬프트·과제·평가·반복이 달라 원 논문 headline 수치 재현 아님
• 불일치는 실패 원인 분류의 시작점, 논문이 틀렸다는 단독 근거 아님

Q4. 피드백을 받은 답은 처음보다 나빠질 수 없는가?

• 잘못된 검토나 지시 반영 오류로 퇴행 가능
• 교정 수만 세지 않고 유지 정답·교정·퇴행·유지 실패 네 전이를 함께 기록
• 3개 질문의 결과는 일반 우위를 확정하기에 부족

Q5. 현금 비용이 없으니 CPU 구성은 무료인가?

• 장비·전력·운영·대기·검토 인력 비용 존재 가능
• 이번 노트북은 해당 금액을 측정하지 않았으므로 0원이 아니라 미측정
• 토큰과 시간은 구성 비교의 대리 지표, 현금 비용으로 자동 환산하지 않는 원칙

스스로 점검

1. 질문 3개에서 direct와 한 회 refine 각각 운영할 때의 호출 수, 공유 초안 실습의 실제 비교 호출 수 계산
2. 작성 교육 예에서 direct 생성 시간이 2초, 피드백 3초, 수정 4초일 때 구성 지연과 비율 계산
3. 초안·수정 판정 쌍이 (참, 참), (거짓, 참), (참, 거짓)일 때 네 전이 표 작성
4. 6억 파라미터 float32 모델의 가중치 바이트와 그것만으로 전체 RAM을 결정할 수 없는 이유 설명
5. 동일 모델의 세 역할이 독립된 전문가의 합의가 아닌 이유, 실험으로 측정하지 않은 비용 3가지 제시
6. 논문 한 장에서 모델·평가·기준선이 빠지면 성능 주장의 무엇을 확인할 수 없는지 설명

점검 정답과 검산

1. direct 3×1=3, refine 3×3=9, 공유초안 실습은 실제 9호출. 별도 예열 1호출은 비교 제외
2. 작성 예의 direct 2초, refine 2+3+4=9초, 비율 9/2=4.5. 호출 수 3배와 시간 비율 차이. 실제 노트북 측정 수치 아님
3. 유지 정답 1, 교정 1, 퇴행 1, 유지 실패 0. 수정 일치 2/3만 보고하면 맞는 답 한 개를 망가뜨린 사실을 놓치는 구조
4. 600,000,000×4=2,400,000,000바이트, 약 2.24 GiB. KV 캐시·중간 텐서·토크나이저·프로세스 추가 필요
5. 같은 가중치·이전 응답 공유, 오류 상관 가능. 현금 비용·전력·최대 RSS 미측정
6. 무엇과 비교해 어떤 조건에서 개선했는지 확인 불가. 주장 한 줄과 실험표·방법 조건을 연결할 필요

이번 주 용어 정리

용어	이번 주의 의미	구분할 대상
주장(claim)	저자가 조건과 함께 제시한 결론	우리 조건으로 확장한 해석
근거(evidence)	결론을 뒷받침하는 방법·측정·대조	요약문 자체
기준선(baseline)	같은 비교에서 출발점이 되는 구성	예산이 다른 결과
방법 구조 재현	논문의 계산·정보 흐름 일부를 제공 코드로 실행	전체 성능 재현
자기 피드백	같은 모델이 초안을 검토하는 생성 단계	외부 정답·독립 검증
퇴행(regression)	처음 일치한 답이 수정 후 불일치	개선 수만 세는 평가
역할 분리	프롬프트·정보 전달을 단계별 구분	모델 가중치 복제
의존 관계	다음 작업이 앞 정보에 의존하는 구조	역할 수
경량 배포	제한된 장비에서 모델 실행 부담을 조정	운영 SLA 보장
대리 지표(proxy)	토큰·호출 등 직접 목적을 대신 보는 수치	현금 비용·전체 품질

문서 출처

• Yuan 외, Rethinking Multi-Agent Collaboration: When More Is Less, 2026, v1: §3·§5. 최신 동향의 조건부 읽기, SAIGE 재현 없음
• Madaan 외, Self-Refine: Iterative Refinement with Self-Feedback, 2023, v2: §2·Algorithm 1·§4·§6. 제공 실험의 세 단계 연결
• Qwen3 Technical Report, 2025: 모델군 연구 보고, 이번 Base 모델 사실 질문의 성능 보장 없음
• Qwen3-0.6B-Base 모델 카드: 공개 모델 식별·사용 조건 확인. 실행 revision은 노트북에 고정
• 제주특별자치도 고정판 42464087, 문서 이력: 원 기여자와 CC BY-SA 4.0 이용 조건 확인. runtime 수집, 원문 전체 저장 없음
• 위 계산 예와 구성 예산 관찰기는 교수 작성 산술. 노트북의 실제 모델 출력·토큰·시간과 별도 표시

실습 노트북

• 13주차 실습: 제공된 Self-Refine 한 회 CPU 재현
• 수정 없이 전체 실행, 공개 문서 수집과 모델 다운로드에 인터넷 필요
• CPU float32·두 스레드·greedy·최대 24 생성 토큰, 한 회 세 단계·세 사실 질문
• 산출물: week-13-observations.json, 논문 한 장과 제공 비교표에 근거를 채운 관찰 기록
• 별도 제출 공지가 있을 때 해당 기록 사용, 학생 폴더에는 학번만 기재

• 실습 노트북 목록