12주차: 책임 있는 AI - 설명, 판단 보류, 프라이버시

이번 주차

□ 주제

• 책임 있는 AI: 설명을 검증하고, 자동 출력의 경계를 정하고, 공개할 통계의 기여를 제한하는 설계
• 더 설득력 있는 문장을 만드는 능력과 책임질 수 있는 결정을 만드는 능력의 차이

□ 이번 주가 놓이는 자리

• 11주차: 결과 점수와 과정 점수, 신용 할당의 한계 비교
• 12주차: 점수가 높은 설명을 누구의 어떤 판단에 사용할지 검토
• 13주차: 최신 논문 동향에서 주장, 실험 조건, 적용 범위 구분
• 이번 주 결과물: 서술-결과 불일치 표, 노이즈 비교표, 프로젝트 위험 체크리스트, 설계도 §선

□ 이번 주 질문

• 정답인 답변과 올바른 설명, 내부 계산에 충실한 설명의 차이
• “차근차근 설명했다”를 검증 근거로 삼을 수 있는 범위
• 안전, 자격, 권리가 걸린 판단을 사람이 확인하는 조건
• 개인정보를 수집하지 않는 선택과 통계 공개에 노이즈를 더하는 선택의 차이
• 위험 분류가 모델 이름보다 사용 목적에 달린 이유

□ 읽기 안내와 본문 연결

• Turpin 외, Language Models Don’t Always Say What They Think: 설명에 드러나지 않는 입력 편향의 영향
• Dwork와 Roth, The Algorithmic Foundations of Differential Privacy: 2.3, 3.3, 3.5절
• EU AI Act Article 6, Annex III: 사용 목적과 고위험 분류 조건
• European Commission, AI Omnibus 시행 안내: 적용 일정 변경
• 법률 정보 확인 기준일: 2026-10-11. 실제 운영 전 최신 통합 법령과 관할 검토 필요

읽을 자료와 지점	먼저 찾을 질문	본문 연결
Turpin 외 abstract·편향 개입 예시	설명에 나타나지 않은 요인의 영향 확인 방법	설명 세 질문·프록시 한계
Dwork와 Roth 2.3절	인접 데이터의 무엇을 숨기는지	참여 기여와 공개 결과
같은 책 3.3절	민감도가 노이즈 scale을 정하는 이유	Laplace 수식·숫자 대입
같은 책 3.5절	공개를 반복할 때 보장이 누적되는 방식	합성 예산
Article 6와 Annex III 교육 항목	실제 사용 목적·영향·예외 조건	위험 체크리스트
Article 113과 시행 안내	제안과 현행 적용 날짜의 구분	법률 일정 검토

□ 예제와 측정 범위

• 공개 문서: 제주 행정시 이름, 고정 판 번호 42464087 사용

• 설명과 답: 교수 작성 네 예시, 모델 생성 실측 없음

• 프라이버시: 작성 선호 레코드 20개, 실제 관광·학생 데이터 없음

• 노트북의 오차: 교육 seed로 생성한 수치 실험. 실제 보호된 통계 공개 아님

• 관찰 질문: 답이 맞다는 확인으로 내부 계산까지 확인할 수 있는지 먼저 예측

• 그림 해석: 세 상자의 평가 대상이 다르므로 한 점수로 합치기 전에 무엇을 실제로 측정했는지 표시할 필요

온라인 (2시수)

강의: 설명과 내부 계산의 구분

□ 왜 설명의 길이보다 평가 대상을 먼저 정하는가

• 제주 공개 정보에 대해 “세 행정시이므로 세 곳”이라고 일관되게 설명한 답은 읽기 쉽지만 사실 오류 존재
• 반대로 “세 행정시”라고 설명한 뒤 “두 곳”이라고 답한 경우 마지막 답만 보면 오류를 놓치는 상황
• 운영에서 필요한 검토: 답을 사용할 수 있는지, 근거 문장을 믿을 수 있는지, 그 설명이 실제 원인을 보여 주는지라는 서로 다른 질문
• 순서: 외부 출처로 사실 확인, 서술과 답 연결 확인, 내부 원인에 대해서는 추가 실험 근거가 없으면 판단 보류

□ 추론 정확도(reasoning correctness)

• 출력된 설명의 사실, 계산, 논리 연결이 맞는지 검토
• 중간 단계에 근거 없는 가정이 끼어 있지 않은지 확인
• 평가 대상: 사람이 읽을 수 있는 출력 텍스트
• 내부 계산의 모든 단계가 외부 텍스트에 실렸다는 가정 불필요

□ 답 정확도(answer correctness)

• 마지막 답이 외부의 확인 가능한 정답과 맞는지 검토
• 공개 사실 질문: 출처, 판 번호, 확인 시점의 일치 필요
• 정책 질문: 평가 기준과 이해관계자의 합의가 선행되어야 하는 경우 존재
• 맞는 결론에 도달했어도 설명에 잘못된 근거가 포함될 수 있는 구조

□ 충실성(faithfulness)

• 출력 설명이 실제로 답변을 만들어 낸 계산이나 영향 요인을 반영하는 정도
• 문장이 매끄럽다는 사실과 다른 평가 대상
• 정답과 설명이 모두 맞아 보이더라도 충실성 확인 불가
• 출력 텍스트는 또 하나의 생성물. 내부 계산의 완전한 기록이라는 보장 없음

□ 세 질문을 한 점수로 합칠 때의 손실

• 설명이 길면 신뢰 점수를 올리는 방식: 불필요한 설득력 보상 가능
• 정답만 보면 설명 속 오류를 놓치는 방식
• 서술 일치만 보면 정답 여부와 내부 영향 요인을 놓치는 방식
• 이번 주의 선택: 서로 다른 열에 기록하고, 측정하지 않은 항목은 미측정 표시

작성 교육 예시	설명의 사실성	마지막 답	내부 충실성
제주시와 서귀포시라고 설명하고 두 도시라고 답변	이 예시 범위에서 맞음	맞음	미측정
세 도시라고 설명하지만 두 도시라고 답변	틀림	맞음	미측정
두 도시라고 설명하지만 세 도시라고 답변	맞음	틀림	미측정
세 도시라고 설명하고 세 도시라고 답변	틀림	틀림	미측정

• 공개 사실 문맥: 위키백과 「제주특별자치도」의 제주시·서귀포시 행정구역 설명
• 위 표의 응답은 교수 작성 예시. 실제 모델 실행 결과 아님
• 사실 질문에서의 설명 정확성도 전체 추론 능력을 평가하는 지표는 아님

논문이 보여 주는 것과 이번 실습의 범위

□ 입력 편향과 설명

• Turpin 외의 실험: 선택지 순서 등 입력 편향이 답변에 영향을 주어도 설명에 그 영향이 나타나지 않는 경우 보고
• 관찰 대상: 특정 모델, 프롬프트, 과제 조건에서의 반응
• 모든 설명이 항상 거짓이라는 일반화 금지
• 설명이 답을 만든 원인을 빠짐없이 공개한다는 전제의 재검토 필요
• 근거: 논문 원문, 이번 실습에서 논문의 모델 실험 재현 없음

□ 이번 실습의 작은 프록시

• 프록시(proxy): 직접 측정하기 어려운 대상과 관련된 좁은 관찰 신호

• 관찰: “설명에서 주장한 행정시 수”와 “최종 답에서 주장한 수”의 불일치

• 불일치가 있으면 서술과 답의 연결을 재검토할 이유 발생

• 불일치가 없다고 내부 계산에 충실하다는 결론 불가

• 설명과 답이 같은 오류를 공유하면 프록시를 통과하는 한계

• 서술-결과 불일치율은 내부 계산의 faithfulness 측정값이 아님

• 관찰 질문: 불일치가 없는 D가 왜 정답 검사를 통과하지 못하는지 예상

• 그림 해석: 비교기는 숫자 사이 관계만 확인, 내부 계산으로 향하는 관찰 경로 없음

학습활동: 제공된 서술-결과 비교표 실행

□ 실행 순서

1. 제공된 공개 문서의 출처와 판 번호 출력 확인
2. 네 개의 작성 예시에 대해 설명 숫자와 답 숫자 비교
3. 정답 여부와 불일치를 다른 열로 출력
4. 내부 충실성 열은 모두 미측정으로 유지
5. 불일치 없는 오답 사례와 불일치 있는 정답 사례 비교

□ 판정 표 읽기

• 예시 A: 설명 2, 답 2. 불일치 없음, 답 정확
• 예시 B: 설명 3, 답 2. 불일치 있음, 답 정확
• 예시 C: 설명 2, 답 3. 불일치 있음, 답 부정확
• 예시 D: 설명 3, 답 3. 불일치 없음, 답 부정확
• 네 작성 예시의 불일치 2건은 데이터 구성 결과. 실제 모델의 성능 추정치 아님
• 규칙 기반 숫자 비교는 문장의 의미 전체나 인과 구조를 검증하지 않는 한계

○ 예시 B를 코드 한 줄씩 추적

reference_count = 2         공개 사실에 대응시킨 교육 기준
reason_count = 3            작성 설명에서 주장한 수
answer_count = 2            작성 마지막 답에서 주장한 수
reason_count == 2 -> False  설명의 숫자 주장 부정확
answer_count == 2 -> True   마지막 답 정확
reason_count != answer_count -> True

• 불일치 검사는 설명의 숫자 3과 답의 숫자 2 사이 연결만 확인
• 마지막 답이 2라는 사실로 설명의 3이 올바르게 바뀌는 것은 아님
• 내부 충실성 열은 코드에 숨은 정답이 아니라 관찰 불가능 항목. 계산하지 않고 미측정으로 표시

○ 예시 D를 반례로 추적

reason_count = 3, answer_count = 3
3 != 3 -> False             불일치 없음
3 == reference_count(2) -> False

• 같은 오류를 반복하면 서술 일치 점수가 좋아지는 반례
• “불일치가 없으므로 좋은 설명”이라는 보고를 “이 규칙으로 불일치를 찾지 못했으나 정답 기준에는 실패”로 수정할 이유
• 자연어에서 숫자를 추출하는 정확도도 별도 문제. 이번 코드는 의미 분석 없이 제공 숫자를 비교하는 골격

설명과 결과 관찰기

작성 예시를 선택하고 서술 일치와 정답 일치를 따로 확인

내부 충실성 미측정. 노이즈 난수 표본을 내보내는 서비스가 아니라 민감도 1, 기준 epsilon 1에서의 이상적 매개변수 계산.

EU AI Act: 위험을 사용 목적에서 읽기

□ 법률과 수업 체크리스트의 관계

• EU AI Act: Regulation (EU) 2024/1689, AI 사용에 대한 EU 규율
• EU 시장, 사용, 출력의 EU 내 이용 등 적용 범위는 Article 2 별도 검토 필요
• 제주 프로젝트가 자동으로 EU 규제 대상이라는 단정 금지
• 수업 체크리스트: 책임과 위험을 연습하는 도구. 법률 적합성 인증 아님
• 실제 배포 결정: 관할, 용도, 운영 주체, 적용 시점, 관련 법령을 함께 검토

□ 위험 수준을 읽는 기본 지도

검토 범주	먼저 확인할 질문	교육용 행동
금지 관행	Article 5에 해당하는 사용인지	실행하지 않고 해당 조건부터 검토
고위험	Article 6와 Annex I/III 용도인지	데이터·위험·감독·문서화 조건 검토
특정 투명성 의무	생성·상호작용 등 Article 50 대상인지	이용자가 생성·가공 상태를 알 수 있게 설계
그 외 사용	다른 의무·관할·용도 변경이 있는지	최소 위험이라는 표현으로 모든 책임을 지우지 않기

• Commission의 위험 수준 소개는 이해용 지도. 여러 의무가 함께 적용되는지 별도 조문 확인 필요
• 출처: Commission AI Act 개요, Article 50
• 체크리스트에 “등급”만 쓰면 정보 소실. 해당 용도, 의무 후보, 미확인 조건까지 기록할 이유

□ 분류 전 확인할 사용 목적

• intended purpose: 어떤 사람이 어떤 상황에서 결과를 사용하도록 설계했는지
• 같은 요약 모델이라도 공개 관광 문서 안내와 입학 지원자 평가의 위험 차이
• 이름이 “보조”여도 실제 결과가 중요한 결정을 좌우하면 영향 검토 필요
• 모델 종류, 파라미터 수, 설명 길이만으로 위험 등급 결정 불가

□ 고위험 검토의 두 경로

• Article 6(1): Annex I 제품 또는 안전 구성요소이며 제3자 적합성 평가 조건에 해당하는지 검토
• Article 6(2): Annex III의 열거된 사용 사례인지 검토
• Annex III 교육 항목: 입학·접근·배정, 학습 성과 평가, 교육 수준 평가, 시험 중 금지 행동 감시 등 특정 용도
• 교육기관에서 쓰는 모든 문서 요약 도구가 자동으로 고위험이라는 뜻 아님
• 출처: Article 6, Annex III

□ Article 6(3) 예외를 읽는 주의점

• Annex III 사례라도 중대한 건강·안전·기본권 위험이 없고 결정 결과에 실질적 영향을 주지 않는 경우 등의 요건 검토
• 제한된 절차 작업, 완료된 사람 작업 개선, 적절한 사람 검토가 있는 패턴 탐지, 평가 준비 작업의 조건 확인
• “사람 버튼이 하나 있음”만으로 예외 확정 불가
• Annex III 시스템이 자연인을 프로파일링하면 이 예외를 적용할 수 없는 조건
• 프로파일링 자체가 이 조항에서 일괄 금지된다는 의미는 아님
• 제공자의 예외 판단 문서화 의무도 별도 확인 필요. 근거: Article 6(3)-(4)

□ 현재 일정과 제안 구분

• 일반 적용 기준일: 2026-08-02, 예외·경과 조항 별도 존재
• 2026-07-27 시행된 AI Omnibus에 따라 Annex III 고위험 규칙 적용: 2027-12-02
• Annex I 제품 관련 Article 6(1) 고위험 규칙 적용: 2028-08-02
• 정확한 지점: Article 113(c)의 Chapter III Sections 1·2·3, Article 6(5) 제외. 모든 조항의 시행을 함께 미루는 날짜가 아님
• 2025-11-19의 제안, 2026-05-07의 정치적 합의, 이후 시행을 같은 상태로 표기하지 않기
• 출처: Commission 시행 안내, Article 113
• 일정 유예가 위험 관리나 사람 검토를 미룰 교육적 근거는 아님

대면 (1시수)

Q5 판단 보류: 무엇을 넘기지 않을 것인가

□ 안전·자격·권리가 걸린 출력

• 안전: 오늘 출입해도 되는지, 경보와 통제 정보를 무시해도 되는지
• 자격: 입학, 장학, 지원 대상인지 최종 확정
• 권리: 사람의 기회와 처우를 제한하는 판단
• 출력 경계: 관련 공식 정보와 확인 절차의 안내까지 허용
• 결정 경계: 사람 확인 없이 단정하여 외부 전달하지 않는 설계

□ 검토자가 실제로 할 수 있어야 하는 것

• 출처와 조회 시점 확인
• 모델 설명에 동의하지 않을 권한
• 다른 근거 추가, 오류 수정, 결과 보류·중단 가능
• 이의 제기 경로와 책임자 확인
• 단순 클릭 승인만 반복하는 경우의 자동화 편향 점검
• 고위험 감독 설계의 원문 연결: Article 14(4), 이해·해석·무시·되돌림·중단 권한 검토

차등 프라이버시: 노이즈 크기와 정확도

□ 실습 데이터의 경계

• 공개 제주 문서에서 확인한 행정시 이름을 통계 범주 이름으로 활용
• 20개의 선호 레코드는 교수 작성 상정 자료. 관광객, 주민, 학생의 실제 응답 아님
• 이름, 학번, 연락처, 위치 이력 수집 없음
• 실제 개인자료가 없어도 공개 통계 메커니즘의 가정을 연습할 수 있는 구성
• 제주 관광객 조사 결과나 실제 정책 수용률이라는 해석 금지

□ 인접 데이터와 기여 제한

• 인접 관계: 참여 레코드 하나를 추가하거나 제거한 두 데이터셋(add/remove)
• 질의: 제주시 범주를 선택한 레코드 수 하나만 공개
• 참여자 한 명의 기여: 0 또는 1, 중복 기여가 없다는 상정
• 전역 민감도 Δf: 인접 데이터셋에서 이 count가 변하는 최대값 1
• 여러 방문 기록을 한 사람의 레코드로 바꾸면 기여 제한과 민감도 재설계 필요
• 이번 예시는 사용자 단위 중복 식별이나 실제 데이터 파이프라인 구현 없음

□ 노이즈가 필요한 이유: 정확한 count의 차이

• 작성 데이터 D에서 제주시 count가 12, 한 레코드를 추가한 D’에서 count가 13인 상황
• 두 count를 정확히 공개하면 한 레코드의 차이가 그대로 드러나는 구조
• 이름 제거만으로는 이 차이 문제를 해결할 수 없는 경우 존재
• DP의 질문: 한 사람이 포함되거나 빠져도 어떤 결과가 나올 가능성이 얼마나 달라지는가
• 보호 대상은 데이터 전체의 비밀 유지가 아니라 정의한 인접 관계에서의 참여 기여 차이

□ DP의 확률 조건을 읽는 방법

Pr[M(D) in S] <= exp(epsilon) × Pr[M(D') in S]
D, D': 인접 데이터셋
M: 무작위 공개 메커니즘
S: 관찰할 수 있는 출력 결과의 집합
epsilon: 두 데이터에서 결과 확률이 달라질 수 있는 상한 매개변수

• 이 부등식은 모든 인접 쌍과 결과 집합에 대한 조건. 특정 출력 하나에 대한 “안전” 점수 아님
• epsilon 1에서 확률비 상한 exp(1), epsilon 0.5에서 exp(0.5). 후자가 두 분포 차이를 더 제한
• 데이터가 달라도 항상 같은 출력이라는 조건은 아님. 무작위 결과의 분포 비교
• 어떤 개인의 모든 사실을 숨기거나 공개 통계의 유용한 패턴을 없앤다는 뜻은 아님

□ Laplace 메커니즘

• 출력: count + Laplace(0, b)
• 이상적인 연속분포에서 scale b = Δf / epsilon이면 epsilon-DP
• 작은 epsilon: 더 강한 프라이버시 제약, 큰 노이즈 scale
• 큰 epsilon: 더 느슨한 프라이버시 제약, 작은 노이즈 scale
• 근거: Dwork와 Roth 3.3절

○ 왜 scale에 민감도가 들어가는가

Laplace density at t: p(t) = exp(-abs(t) / b) / (2b)
M(D) = f(D) + noise
출력 y의 두 density 비율 <= exp(abs(f(D) - f(D')) / b)
abs(f(D) - f(D')) <= Δf
따라서 density 비율 <= exp(Δf / b)
b = Δf / epsilon -> exp(epsilon)

• b: 분포가 퍼지는 크기, f(D): 공개할 count, Δf: 인접 쌍의 최대 count 차이
• 앞의 1/(2b)는 같은 b를 사용하는 두 분포의 비율에서 상쇄
• 절댓값의 삼각부등식으로 count 차이가 확률비 상한을 정하는 구조
• 한 사람의 기여를 10회까지 허용하면 Δf를 1로 놓을 근거가 사라지는 이유
• 이번 예시는 공개 질의 count 하나. 두 범주의 벡터나 평균으로 바꾸면 민감도를 다시 계산할 필요

○ 손으로 scale 1과 3 비교

설정	Δf	기준 epsilon	multiplier	b	유효 epsilon	이론 E(abs(noise))
기준	1	1	1	1	1	1
노이즈 증가	1	1	3	3	1/3	3
노이즈 감소	1	1	0.5	0.5	2	0.5

• multiplier 3: 노이즈 평균 절댓값 세 배, 확률비 허용 상한은 더 작은 유효 epsilon에 대응
• 미리 예상할 것: clipping 전 평균 절대 오차 증가, 유효 epsilon 감소
• 표의 평균 절댓값은 이론값. seed 표본 평균과 같은 숫자라고 쓰지 않기

○ 한 표본을 확대하는 교육용 계산

참 count = 12, 표준 Laplace 표본 z = -0.8 (설명용 선택 값)
b = 1: noise = -0.8, 공개 예시 = 11.2, 절대 오차 = 0.8
b = 3: noise = -2.4, 공개 예시 = 9.6, 절대 오차 = 2.4

• z=-0.8은 설명용 값. 노트북에서 실제 추출한 표본이라는 주장 없음
• 같은 z를 쓰면 절대 오차가 scale 비율에 따라 변화
• 서로 다른 독립 표본을 한 번씩 뽑을 때에는 큰 scale의 한 출력이 우연히 더 정확할 수 있는 차이
• 전체 분포의 평균적 관계와 출력 한 번의 오차 순서를 구분할 필요

□ 이번 주 한 지점 변경

• 기준 epsilon: 1, 민감도: 1

• 유일한 TODO: NOISE_MULTIPLIER = 1.0의 숫자를 2.0으로 변경

• scale = multiplier × Δf / 기준 epsilon

• 이상적인 메커니즘의 유효 epsilon = 기준 epsilon / multiplier

• multiplier를 2로 바꾸면 scale 2, 유효 epsilon 0.5

• multiplier를 0.5로 줄이면 유효 epsilon 2. “epsilon 1 보장 유지”라는 표현 금지

• 노트북은 양의 유한한 multiplier만 허용. 함수 작성이나 빈 코드 채우기 없음

• 관찰 질문: multiplier를 세 배로 늘리면 scale과 유효 epsilon이 각각 어느 방향으로 변하는지 예상

• 그림 해석: 노이즈 증가가 정확도를 희생하는 대신 두 인접 데이터의 출력 분포를 더 비슷하게 만드는 매개변수 관계

□ 재현성과 실제 보장의 분리

• 교육용 고정 seed: 같은 예제의 오차 변화를 비교하는 장치
• 공개된 고정 seed로 실제 민감한 통계를 배포하면 노이즈를 예측·제거할 수 있는 문제
• 노트북 출력은 DP 보장된 실제 공개 서비스가 아님
• 실운영은 비공개 난수, 안전한 수치 구현, 기여 제한, 접근 통제, 공개 예산 관리가 필요
• 일반적인 부동소수점 난수 예제를 법률상 익명화 인증으로 취급하지 않기

□ 반복 공개와 사후 처리

• 같은 민감한 데이터에 독립적인 epsilon-DP 질의를 k회 공개하면 기본 순차 합성 상한 k × epsilon
• 여러 노이즈 출력의 평균을 공개하는 것도 추가 예산을 고려해야 하는 공개
• 이번 2,000회 반복: 상정 데이터에서 오차 분포를 관찰하기 위한 계산. 실제 개인 통계 공개 예산 아님
• 음수 count를 0으로 바꾸는 등 DP 출력만 사용하는 clipping은 사후 처리
• 알려진 공개 상한이 있으면 그 범위로 자르는 것도 가능
• 비공개 원자료에서 얻은 상한을 별도로 공개하면 그 공개도 검토 필요
• 근거: Dwork와 Roth 2.3·3.5절

□ 정확도 표 해석

• 이번 count의 참값: 상정 레코드 중 제주시 범주의 수
• 출력 표: 기준 scale과 변경 scale, 유효 epsilon, 평균 절대 오차, 음수 출력 비율
• 같은 표준 Laplace 표본을 양의 scale로 늘려 비교하는 공통 난수 실험
• clipping 전 평균 절대 오차는 scale에 비례하는 구성
• 실제 매번의 노이즈 답변이 정확도 순서를 보장하는 것은 아님
• 기댓값과 한 번의 관찰, 교육 표본과 운영 평가의 구분 필요

학습활동

[이론] 설명을 믿는 근거 분리

• B의 마지막 답만 채점한 결과와 D의 서술 일치만 채점한 결과 비교
• “정답”, “설명의 사실성”, “내부 충실성”을 섞은 보고 문장을 세 문장으로 수정
• 확인할 수 없는 항목에는 미측정 표시. 낮은 점수와 미측정의 구분

[구현] 제공된 비교 골격 실행

• 서술-결과 표의 네 행을 변경 없이 실행하고 B·D의 반례 해석
• 노이즈 숫자 한 지점 변경, scale·epsilon·오차의 방향 예측 후 출력 대조
• DP 실서비스나 모델 내부 분석을 구현하는 과제 없음

[실무] 제공된 프로젝트 위험 체크리스트

□ 아래 표를 복사해 팀 프로젝트의 빈 칸 수정

• 프로젝트 예시: 공개 제주 문서 근거 안내 도우미
• 실제 운영이나 법률 분류를 확정한 예시가 아니라 수업용 초기 검토
• 빈 칸을 새로 설계하는 대신 오른쪽 예시를 팀 조건으로 교체

검토 항목	팀 기입칸	작성 예시
사용 목적과 사용자	[팀 용도]	공개 문서의 행정정보를 찾는 이용자 지원
입력 자료와 기준 시점	[자료와 판]	제주 공개 문서, 판 번호와 조회일 기록
결과를 사용하는 결정	[후속 결정]	자료 탐색. 자격·입학·안전 최종 판정에 사용 금지
적용 관할·EU 관련성	[확인/미확인]	EU 시장·출력 이용 관련성 미확인, 운영 전 검토
금지 관행 가능성	[검토 근거]	조작·차별·금지 감시 등 Article 5 별도 검토
Annex I/III 용도 해당성	[항목/미해당 근거]	문서 탐색만 상정. 학습 평가 용도로 변경 시 재검토
결정에 실질적 영향	[영향과 근거]	공식 권리 판정을 대체하지 않도록 출력 범위 제한
자연인 프로파일링	[있음/없음/미확인]	개인별 성향 평가와 점수화 없음
Article 6(3) 예외 주장	[주장/보류]	검토 불충분, 예외 확정 보류
사람 검토·중단 권한	[역할과 절차]	담당 검토자가 출처 확인, 수정, 중단 가능
투명성·이의 제기	[안내와 경로]	생성 안내와 담당자 확인 경로 표시
수집 최소화·보관	[항목과 기간]	개인 정보 입력 요구 없음, 공개 자료만 활용
잠정 결론·미확인	[수업상 결론]	고위험 최종 법률 판단 미실시, 용도 변경 재검토

• 결과: 한 줄 등급만 쓰기보다 목적, 근거 조항, 미확인 조건을 함께 남기는 방식
• Article 5 원문: 금지 관행
• “체크리스트 완료”와 “법률 적합성 확인”의 구분 필요

설계도 §선: 정답이 구성 대상인 지역 정책

□ 정책 수용성과 사실 확인의 차이

• 행정시 이름: 출처로 확인 가능한 사실 질문
• 지역 정책의 환경 영향과 수용성: 목표, 비용, 분배, 이해관계가 함께 들어가는 판단
• 공개 문서 요약으로 주민 동의나 정책 정당성을 자동 추론할 수 없는 한계
• 편리한 관광, 환경 보전, 생활권 영향의 가중치 자체가 논의 대상
• 실제 주민 의견이나 도내 기업 자료를 확보했다는 가정 금지

□ 제공된 §선 예시 문장

• 허용: “시스템은 제주 공개 문서의 출처와 기준 시점을 표시하며 정책 선택지와 확인할 쟁점을 정리한다.”
• 보류: “시스템은 환경 수용성, 주민 동의, 안전, 자격, 권리에 관한 최종 판정을 자동 확정하지 않는다.”
• 확인: “영향을 받는 당사자와 담당자가 근거, 빠진 관점, 이의 제기를 검토한 뒤 판단한다.”
• 수정: “출처 누락, 최신성 미확인, 근거 충돌이 있으면 결과를 보류하고 담당 검토자에게 전달한다.”
• 프라이버시: “개인자료 수집을 최소화하고 집계 공개가 필요하면 기여 제한과 공개 예산을 먼저 정한다.”

□ 팀 버전 템플릿

설계도 §선 항목	교체할 문장 골격
허용 출력	시스템은 [공개 자료]에서 [허용된 정보]를 정리하고 [출처 표시] 제공
넘기지 않을 판단	[안전/자격/권리/정책 가치]의 [최종 판단]은 자동 확정하지 않음
보류 조건	[근거 없음/시점 미확인/충돌]에서 [안내 문구]와 함께 판단 보류
확인 주체와 권한	[담당 역할]이 [근거 확인] 후 [수정·거부·중단] 수행
이의 제기	이용자는 [창구]로 [정정/재검토] 요청 가능
데이터 경계	[수집하지 않을 항목], [보관 조건], [집계 공개 계획] 명시
재검토 계기	[용도 변경/새 자료/새 법령/오류] 발생 시 위험 검토 갱신

□ 대면 활동 순서

1. 프록시 예시 B와 D를 선택해 “통과”의 다른 의미 설명
2. 노이즈 multiplier 변경 전후 표와 유효 epsilon 비교
3. 팀 위험 체크리스트의 목적·영향·프로파일링·미확인 조건 작성
4. §선의 허용·보류·확인 문장을 팀 프로젝트로 교체
5. 다른 팀이 “사람이 실제로 중단 가능한가”를 한 번 점검

자주 하는 오해 Q&A

Q1. 정답과 설명이 맞으면 내부 충실성도 높은가?

• 두 출력의 정확성만 확인한 상태. 내부 충실성은 별도 근거가 필요한 미측정 항목
• 예시 A는 공개 사실과 일치하는 작성 문장이지만 이 텍스트를 만든 내부 계산의 기록은 없음
• “충실성이 낮다”와 “충실성을 측정하지 않았다”도 다른 결론

Q2. 설명 숫자와 답 숫자가 같으면 프록시 통과인가?

• 이 좁은 불일치 규칙에서는 통과. 둘 다 틀린 예시 D도 통과하므로 정답·충실성 보장 불가
• D에서 3 != 3은 거짓, 3 == 2도 거짓. 서로 다른 비교의 결과
• 보고에는 검사 규칙과 못 보는 항목을 함께 명시

Q3. 설명을 지우거나 바꾸는 실험만 하면 원인을 알 수 있는가?

• 개입 설계, 교란, 모델 상태, 과제 범위를 함께 검토할 필요. 이번 실습은 그런 인과 실험 아님
• 생성된 설명을 바꾸면 다음 출력에 영향을 줄 수 있지만, 최초의 내부 계산을 그대로 관찰했다는 뜻은 아님
• 논문 읽기에서 개입한 변수와 관찰한 결과를 분리할 이유

Q4. epsilon을 키우면 더 보호되는가?

• 이 메커니즘에서는 반대. 같은 민감도에서 epsilon 증가 시 scale 감소, 프라이버시 제약 완화
• Δf=1에서 epsilon 1이면 b=1, epsilon 2이면 b=0.5
• 노이즈 숫자를 줄여 정확도를 높일 때 보호 매개변수도 함께 바뀐다는 해석

Q5. seed를 숨기면 이 노트북을 실제 서비스로 써도 되는가?

• seed 하나만으로 운영 보장 불충분. 안전한 난수·수치 구현, 기여 제한, 예산, 접근 통제의 별도 설계 필요
• 실제 한 사람이 10개 레코드를 남겼는데 1개로 가정하면 민감도 계산부터 오류
• 여러 답변을 계속 공개하면 단일 질의 epsilon만 보고할 수 없는 문제

Q6. 사람이 승인하므로 고위험이 아닌가?

• 사용 목적과 결정 영향, 예외의 구체적 조건 검토 필요. 승인 버튼만으로 분류 확정 불가
• 검토자가 원자료를 볼 수 없고 거부·중단 권한도 없다면 실질적 감독의 근거 부족
• 고위험 여부와 감독을 잘 설계했는지는 별도 판단

Q7. 관광 정책의 좋은 답을 정답 문자열로만 평가하면 되는가?

• 사실 확인과 가치 판단의 구분 필요. 영향을 받는 당사자의 관점과 합의 절차도 평가 대상
• 공개 문서에 정책의 장점이 있다는 사실이 주민 모두의 동의라는 근거가 되지는 않는 구조
• §선에 누구의 어떤 판단을 보류하는지 남기는 이유

스스로 점검

1. 추론 정확도, 답 정확도, faithfulness의 평가 대상 구분
2. 설명 3, 답 2인 예시와 설명 3, 답 3인 예시의 불일치·답 정확성 판정
3. add/remove count에서 기여 제한 1일 때 민감도 설명
4. 기준 epsilon 1, multiplier 2일 때 scale과 유효 epsilon 계산
5. 공개 seed와 반복 공개가 실제 프라이버시 보장에 주는 문제 설명
6. 교육기관의 문서 요약과 입학 평가를 같은 위험 등급으로 확정할 수 없는 이유 기술
7. 팀 §선에서 사람이 확인 없이 외부로 내보내지 않을 출력 하나 지정

정답 보기

• 1: 출력 설명의 사실·논리, 마지막 답의 정답 일치, 내부 영향 요인과 설명의 관계라는 별도 대상
• 2: 첫 예시는 불일치 있음·답 정확, 둘째는 불일치 없음·답 부정확. 충실성은 둘 다 미측정
• 3: 레코드 하나 추가·제거로 count 변화 최대 1, 중복 기여가 허용되면 가정 재검토
• 4: b = 2 × 1 / 1 = 2, 유효 epsilon = 1 / 2 = 0.5. 같은 표준 표본에서 clipping 전 오차도 두 배. 교육 seed 실험에 실운영 보장 주장 금지
• 5: 공개 seed는 노이즈 예측 가능성, 반복 공개는 합성에 따른 예산 누적
• 6: 용도·영향·Annex III 해당성과 예외 조건의 차이. 기관 이름만으로 분류 불가
• 7: 안전·자격·권리 최종 판정 등 팀 목적에 맞는 구체적 출력, 확인 주체·중단 권한과 함께 명시

이번 주 용어 정리

용어	이번 주 의미
CoT	출력으로 생성되는 단계별 설명 텍스트
reasoning correctness	설명의 사실·계산·논리 정확성
answer correctness	마지막 답의 외부 정답 일치
faithfulness	설명이 실제 계산과 영향 요인을 반영하는 정도
proxy	제한된 대상을 관찰하는 간접 신호
intended purpose	설계된 사용 목적과 조건
human oversight	결과를 이해·수정·거부·중단할 사람의 실질적 감독
adjacency	보호할 기여 차이를 정하는 인접 데이터 관계
sensitivity	인접 데이터에서 질의 결과의 최대 변화
epsilon	공개 메커니즘의 프라이버시 제약 매개변수
Laplace scale	노이즈 분포의 크기, Δf/epsilon
composition	여러 공개의 프라이버시 손실을 함께 계산하는 규칙
post-processing	DP 출력만을 사용하는 후속 처리

□ 다음 주 연결

• 13주차: 최신 논문 동향과 최종 프로젝트 연결
• 논문의 성능 주장과 실제 배포 판단 사이의 빠진 검증 확인
• 설명 능력 주장에는 정확성, 답 정확성, 충실성 중 무엇을 측정했는지 표시
• 정책·프라이버시 주장은 데이터, 가정, 사용 목적, 관할을 함께 확인
• 이번 체크리스트와 §선을 다음 주 논문 적용 범위 검토에 활용

문서 출처

• 제주 문맥: 고정 판 42464087, 원문과 저자 목록, CC BY-SA 4.0. 원문 저장 없음
• 법률 정본 식별자: EUR-Lex 2026-07-27 통합본. 공식 Service Desk의 같은 통합본 조문으로 교육 조건 대조
• 모델 출력이나 비공개 주민 자료, 실제 정책 판단 결과 없음. 작성 예시·상정 통계·이론적 보장의 구분

실습 노트북

• 12주차 노트북 바로 열기
• 원본 노트북
• CPU 실행, 표준 라이브러리만 사용, GPU와 모델 다운로드 불필요
• 변경 없이 전체 실행 후 유일한 숫자 변경, 다시 전체 실행
• 문서 조회 실패 시 사실 확인을 성공으로 표시하지 않고 미확인 상태 출력
• 작성 예시와 상정 count 실습은 그대로 실행 가능한 구성