AI가 수능 문제에 답하지 않도록 만들 수 있을까? — 「서윤(SEOYUN)」을 공개합니다

수능 당일 공개한 AI 안전 연구 "SEOYUN". AI 스마트안경을 통한 부정행위에 대응하는 시험지 설계, Reverse Jailbreaking, 연구의 한계를 소개합니다.
AI가 수능 문제에 답하지 않도록 만들 수 있을까? — 「서윤(SEOYUN)」을 공개합니다

2026년 11월 19일, 수능 당일. 피스유니버스의 AI 안전 연구 프로젝트 「서윤(SEOYUN)」을 arXiv에 공개했습니다.

AI가 무엇이든 답할 수 있는 시대입니다.

그렇다면 이제는 다른 질문도 해볼 수 있지 않을까요?

AI가 답하지 않아야 하는 순간은 언제일까요?

안녕하세요. 피스유니버스의 권도현 라파엘입니다.

지난 「피스유니버스를 시작합니다」에서 저희가 지향하는 평화로운 디지털 경험에 관해 이야기했습니다.

오늘은 그 방향에서 출발한 하나의 연구를 소개하려 합니다.

이름은 「서윤(SEOYUN)」입니다.

정식 논문 제목은 SEOYUN: Refusal-Inducing Exam Documents for AI-Glasses Pipelines입니다.

한국어로 풀어보면, AI 스마트안경이 촬영한 시험 문제에 대해 AI의 답변 거절을 유도하는 시험 문서를 연구하는 프로젝트입니다.

이 연구는 2026년 11월 19일, 2027학년도 대학수학능력시험 당일에 공개했습니다.

SEOYUN 논문 원문 — arXiv:2611.26033

AI가 모든 문제를 풀어주는 시대, 시험은 어떻게 달라져야 할까요?

생성형 AI는 이제 텍스트를 읽는 것뿐 아니라 이미지 속 문제를 이해하고, 풀이 과정을 생성하며, 정답을 제안할 수 있게 되었습니다.

카메라가 탑재된 스마트안경과 이러한 AI가 연결된다면 어떤 일이 생길까요?

사용자는 안경으로 시험지를 촬영할 수 있습니다. 촬영한 이미지는 비전-언어 모델(Vision-Language Model, VLM)에 입력될 수 있습니다. 모델은 해당 문제를 분석하고 정답을 생성할 수도 있습니다.

교육을 돕기 위한 기술이 시험의 공정성을 위협하는 데 악용될 수 있는 것입니다.

기존의 시험 보안은 주로 허가되지 않은 기기를 찾아내고, 시험장 반입과 사용을 통제하는 방식으로 이루어집니다.

이러한 대응은 필요합니다. SEOYUN도 이를 대체하려는 연구는 아닙니다.

다만 저는 다른 가능성에도 주목했습니다.

시험장에 반입된 기기를 탐지하는 것에서 한 걸음 더 나아가, 시험지 자체가 AI의 부적절한 사용에 저항하도록 설계할 수는 없을까요?

이것이 SEOYUN이 출발한 기술적 질문입니다.

정답을 알려주는 AI가 아니라, 답변을 거절하는 AI

AI 보안 분야에는 '탈옥(Jailbreaking)'이라는 개념이 있습니다.

일반적으로 탈옥은 AI 모델이 따르도록 설계된 제약이나 안전 정책을 우회하여, 원래 거절해야 할 요청에도 답변하도록 유도하는 것을 말합니다.

SEOYUN은 그 반대 방향의 목표에 주목합니다.

논문에서는 이를 Reverse Jailbreaking, 즉 역탈옥이라고 부릅니다.

목표는 모델의 거절을 우회하는 것이 아니라, 특정한 상황에서 모델이 응답을 자제하도록 유도하는 것입니다.

예를 들어 사람이 읽을 때는 일반적인 시험 문제지만, AI가 이미지를 분석할 때에는 시험의 무결성과 관련된 안내문도 함께 인식하도록 설계할 수 있습니다.

AI가 해당 안내문을 맥락으로 받아들여 문제 풀이를 거절한다면, 부정행위에 활용되는 AI의 유용성을 낮출 가능성이 있습니다.

그러나 여기에는 중요한 한계가 있습니다.

AI가 시험지에 적힌 안내문을 실제로 따를 것이라는 보장은 없습니다.

사용자가 문제만 따로 촬영하거나, 텍스트로 옮기거나, 해당 지시를 무시하는 AI 모델을 이용할 수 있기 때문입니다.

또한 시험지 안에 있는 문구는 AI 시스템의 최상위 명령이 아닙니다. 외부 입력에 포함된 지시일 뿐입니다.

따라서 이 방식은 강제적인 보안 통제가 아니라, 조건에 따라 효과가 달라질 수 있는 방어적 접근으로 평가해야 합니다.

SEOYUN은 바로 이 가능성과 한계를 연구하기 위한 프레임워크입니다.

SEOYUN의 세 가지 연구 방향

SEOYUN은 시험 문서가 AI 스마트안경의 처리 과정에 개입할 수 있는 지점을 크게 세 가지로 구분합니다.

1. 광학적 접근 — 카메라는 사람과 똑같이 보지 않습니다

첫 번째는 카메라의 이미지 획득 단계에 주목하는 방법입니다.

사람의 눈과 카메라 센서는 같은 장면을 반드시 동일하게 인식하지 않습니다.

조명 조건, 이미지 센서의 동작, 노출 방식 등에 따라 촬영 결과가 달라질 수 있습니다.

SEOYUN은 이러한 차이를 활용해 시험지의 무단 촬영이나 후속 AI 분석에 영향을 줄 수 있는지 연구 대상으로 제안합니다.

단, 실제 카메라 환경에서의 효과는 검증되지 않았습니다. 사람의 시각적 편안함과 가독성 역시 중요한 검증 과제입니다.

2. 비전 인코더 접근 — AI가 이미지를 이해하는 과정에 주목합니다

두 번째는 AI가 이미지에서 특징을 추출하는 과정에 개입하는 방법입니다.

비전-언어 모델은 입력 이미지를 단순히 사람처럼 읽는 것이 아니라, 내부의 시각적 표현으로 변환해 처리합니다.

시험지 배경에 낮은 대비의 패턴 등을 적용하여 모델의 특징 추출에 영향을 줄 수 있는지 탐구할 수 있습니다.

다만 이런 방식은 사람의 문제 풀이를 방해해서는 안 됩니다.

시험지가 AI를 방해하기 위해 정작 수험생에게 읽기 어려워진다면, 시험의 공정성을 지키려는 목적과 충돌하기 때문입니다.

3. 응답 거절 유도 — AI가 시험의 맥락을 이해하도록 할 수 있을까요?

세 번째는 AI 모델이 실제로 생성하는 답변에 주목하는 방법입니다.

시험 문제와 함께 시험의 무결성에 관련된 안내문을 제시하고, 모델이 문제의 정답을 제공하지 않도록 유도합니다.

이는 SEOYUN에서 우선적으로 다루려는 연구 방향입니다.

중요한 것은 단순히 모델이 거절하는 듯한 문장을 생성하는지 확인하는 것에 그치지 않는다는 점입니다.

실제로 정답에 해당하는 정보가 노출되었는지를 확인해야 합니다.

세 가지 접근은 모두 제안 단계에 있으며, 이번에 공개한 논문에서 방어 효과가 실증된 것은 아닙니다.

AI가 거절했다고 말하면, 정말 거절한 것일까요?

연구 과정에서 저는 기술적인 성공을 어떻게 정의해야 하는지도 중요하게 다뤘습니다.

AI가 시험 문제에 대해 다음과 같이 응답했다고 가정해 보겠습니다.

"시험 중인 문제라면 정답을 알려드릴 수 없습니다. 다만 풀이의 핵심은 다음과 같습니다."

겉으로는 거절하고 있지만, 실제로는 정답을 추론하는 데 필요한 정보를 제공할 수 있습니다.

그렇다면 이를 방어 성공으로 볼 수 있을까요?

SEOYUN에서는 응답 거절 여부와 정답 유출 여부를 구분합니다.

특히 정답 유출률(Answer Leakage Rate, ALR) 을 평가하는 것이 중요합니다.

또한 문제에 가짜 선택지를 추가한 뒤 AI가 이를 제거하더라도, 그것만으로 원래 문제의 정답 후보 공간이 줄어들었다고 주장할 수는 없습니다.

연구에서 사용한 가정과 실제 측정된 결과를 구분해야 하기 때문입니다.

이는 단순히 수치의 문제가 아닙니다.

기술이 사람에게 미치는 영향을 이야기하려면, 그 기술이 실제로 무엇을 할 수 있고 무엇을 할 수 없는지부터 정확하게 설명해야 한다고 생각합니다.

이번에 공개한 것은 완성된 방어 기술이 아닙니다

SEOYUN의 첫 번째 공개 버전에는 국어 30문항, 수학 30문항, 영어 28문항으로 구성된 총 88개 후보 문항의 로컬 평가 자료가 준비되어 있습니다.

시험지를 구성하고 실험하기 위한 렌더링 환경 역시 연구 준비의 일부입니다.

그러나 88개 문항을 준비했다는 사실이 곧 88개 문항에서 방어 효과를 검증했다는 뜻은 아닙니다.

이번 버전에는 모델의 실제 응답을 이용한 방어 성공률, 정답 유출 감소율, 물리 환경에서의 검증 결과, 사람을 대상으로 한 가독성 평가 결과가 포함되어 있지 않습니다.

다시 말해, SEOYUN은 현재 검증된 보안 제품이 아니라 연구 프레임워크입니다.

앞으로 필요한 작업은 분명합니다.

디지털 이미지 기반 평가를 수행하고, 실제 촬영 조건을 모사하며, 물리적 환경에서 효과가 유지되는지 확인해야 합니다.

또한 특정 모델이나 문제 유형에만 작동하는지, 다른 모델이나 새로운 문제에서도 일관되게 작동하는지를 검증해야 합니다.

방어가 실패한다면 그 역시 결과로 기록되어야 합니다.

실패한 조건을 공개하고 분석하는 일도 연구의 중요한 성과가 될 수 있기 때문입니다.

논문 마지막에 한국어로 남긴 이야기

이 절은 Appendix C의 실제 문장을 재현한 것이 아니라, 논문의 연구 주제와 피스유니버스의 방향성을 바탕으로 작성한 저자 메시지 편집 초안입니다.

SEOYUN 논문에는 기술적인 제안과 분석 외에도 한 가지 다른 성격의 글이 담겨 있습니다.

Appendix C에 한국어로 수록한 저자 성찰입니다.

학술 논문은 보통 연구 질문, 방법론, 결과와 한계를 중심으로 작성됩니다.

하지만 기술을 연구하는 사람에게는 그 기술이 어디를 향하고 있는지에 대한 질문도 중요합니다.

SEOYUN이 다루는 것은 AI 모델의 특정한 행동을 유도할 수 있는지에 관한 기술적 문제입니다.

동시에 그 기술이 적용될 수 있는 시험이라는 환경에는 사람의 시간과 노력, 기회가 걸려 있습니다.

수험생이 쌓아온 노력의 가치를 기술이 가볍게 다루어서는 안 된다고 생각합니다.

AI가 더 똑똑해지고 더 많은 문제를 풀 수 있게 되는 것과, 모든 상황에서 그 능력을 사용하는 것이 바람직한지는 서로 다른 질문입니다.

AI를 교육에 활용하는 일은 중요합니다.

어려운 내용을 이해하고, 자신의 부족한 부분을 보완하며, 더 많은 사람이 배움의 기회를 얻는 데 AI가 기여할 수 있기 때문입니다.

반면 평가의 공정성을 훼손하는 데 같은 기술을 사용한다면, 그 결과는 다른 사람의 기회에도 영향을 미칠 수 있습니다.

기술의 발전을 응원하는 일과 그 기술의 잘못된 사용을 경계하는 일은 모순되지 않습니다.

오히려 두 가지를 함께 고민하는 것이 기술을 연구하고 만드는 사람에게 필요한 태도라고 믿습니다.

SEOYUN이 시험의 모든 부정행위를 막을 수 있다고 생각하지는 않습니다.

그럼에도 이 문제에 관한 연구를 시작하는 것은 의미가 있다고 생각합니다.

기술이 할 수 있는 일을 늘리는 연구만큼, 기술이 하지 않아야 할 일을 구분하는 연구도 필요하기 때문입니다.

왜 하필 수능 당일이었을까요?

2026년 11월 19일.

많은 수험생이 자신의 시간을 시험지 위에 쏟아낸 날입니다.

누군가에게는 새로운 시작을 앞둔 날이었고, 누군가에게는 오래 준비한 노력의 결과를 확인하는 날이었을 것입니다.

SEOYUN을 이날 공개한 사실에는 연구의 주제와 공개 시점을 연결하는 의미가 있습니다.

시험의 공정성이라는 문제는 추상적인 AI 안전성 논의에 머물러서는 안 됩니다.

실제 사람의 경험과 기회를 기준으로 살펴볼 필요가 있습니다.

저는 이 연구가 완성된 해답이라고 주장하고 싶지 않습니다.

다만 기술을 개발하는 사람으로서 어떤 문제를 발견했고, 무엇을 시도하려 하며, 아직 무엇을 증명하지 못했는지를 공개하려 합니다.

그리고 다음 버전에서는 지금보다 더 구체적인 실험과 검증 결과를 제시하고자 합니다.

피스유니버스가 생각하는 평화로운 AI 경험

피스유니버스는 PEACEful AI/Digital eXperience, 즉 PX라는 방향을 추구합니다.

누구나 디지털 기술의 혜택을 누릴 수 있도록 만드는 것.

그리고 그 기술이 사람의 기회와 존엄을 훼손하지 않도록 고민하는 것.

저는 이 두 가지가 함께 가야 한다고 생각합니다.

SEOYUN은 그 생각에서 출발한 하나의 연구입니다.

아직 검증해야 할 가설이 많고, 해결하지 못한 한계도 있습니다.

그렇지만 분명한 질문 하나는 남길 수 있습니다.

AI가 무엇이든 답할 수 있는 시대에, 우리는 AI가 언제 답하지 않아야 하는지도 연구하고 있는가?

피스유니버스는 앞으로도 이러한 질문을 외면하지 않고, 기술과 연구를 통해 구체화해 나가겠습니다.

2027학년도 수능을 치른 모든 수험생 여러분, 수고 많으셨습니다.

여러분이 쌓아온 노력과 앞으로 마주할 기회가 공정하게 존중받기를 바랍니다.


연구 정보

SEOYUN: Refusal-Inducing Exam Documents for AI-Glasses Pipelines

연구 상태 안내

SEOYUN은 연구 프레임워크이며 검증된 시험 보안 솔루션이 아닙니다. 현재 공개된 버전에는 실증적 방어 성능이나 실제 스마트안경을 이용한 물리적 검증 결과가 포함되어 있지 않습니다. 특정 개인에 관한 부정행위 의혹을 제기하거나 판단하기 위한 근거로 사용해서는 안 됩니다.

Share article