1부 “시험만 바꾸면” 편에서 서·논술형 도입 시도가 불러낸 파장의 배후에 존재하는 근본적인 문제들을 짚어 보았습니다.
1부 다시 읽기: https://polyview.online/ko/essay-exam-1/
1부에서 제기한 질문에 대한 답을 찾기도 전에, 한국은 이미 구체적인 제도 개편 논의의 장으로 접어들고 있습니다. 일본 등 해외의 실패 사례를 AI 채점이라는 신기술로 돌파하겠다는 찬성파의 주장처럼 과연 AI는 학생들을 평가할 준비가 되어 있을까요? 근본적으로 AI가 인간의 창의력을 측정한다는 것이 가능한 것일까요?
무엇을 어떻게 신뢰할까
두 진영의 주장 자체는 어쩌면 모두 나름의 일리가 있는지도 모릅니다. 그런데 정작 지난 8월 29~30일 화성에서 밤을 새워 열린 국교위 국민참여위원회 숙의토론회에서 가장 먼저 불거진 것은 창의력이냐 판단력이냐 하는 기준점에 관한 정의(定義)를 어떻게 내릴까 하는 문제가 아니었습니다. 소그룹 24개 조 가운데 19개 조가 채점의 공정성과 명확한 기준을 서·논술형 전환의 필수 조건으로 꼽았다고 합니다. 이는 어떤 시험 형태가 더 나은 인재를 길러내느냐는 문제를 제기한 측이 던진 질문 자체보다, 바뀔 시험 시스템을 우리가 실제로 신뢰할 수 있을까에 관한 의문이 더 크게 터져 나온 셈입니다.
참가자들이 지적하는 신뢰 문제는 최소한 다음과 같은 세 방향에 걸쳐 있습니다. 채점자가 평가 시스템 자체를 신뢰할 수 있는가, 수험생과 그 가족이 채점자와 시스템을 신뢰할 수 있는가, 그리고 우리 사회가 이 바뀐 시스템을 이루는 전체 관계를 신뢰할 수 있겠는가 등입니다. 토론회에서는 AI가 1차로 채점을 하더라도 그 결과를 곧이곧대로 받아들이기는 어렵다는 우려가 나왔고, 또한 교사들이 채점하는 경우 학부모의 이의 제기가 쏟아질 것이라는 우려 역시 함께 제기됐다고 전해집니다. 그렇다면 결국 제자리걸음이 아닌가요?
전체 시스템에 대한 사회적 신뢰는 한 두 명의 리더가 믿음이 있다고 주장한다고 자동으로 따라오지 않습니다. 유사한 품질의 답안에 대한 채점이 특정한 범위에 수렴하고 있다는 오랜 시간의 경험이 쌓여야만 비로소 사회 구성원 사이에서 형성되는 시간을 대가로 요구하는 가치 자산에 가깝습니다.
단순히 시간만 흐른다고 저절로 쌓이지도 않습니다. 오랜 시간 시스템을 운영할 경험, 그것을 유지할 자원, 그리고 시스템을 지속할 수 있는 체계가 먼저 자리잡고 있어야 되는 것이 아닐까요?
변화의 크기
간단한 산수를 통해 변화의 크기를 어림해 보겠습니다. 2026학년도 수능 응시생이 55만 명을 웃돌았다면, 최소한 50만 명이 국어·수학·탐구 세 과목에서 서·논술형 시험을 치른다고 가정해 볼 수 있습니다. 그렇다면 서논술 시험이 도입되었을 때, 실제로 채점해야 할 답안지는 약 150만 장에 달하게 됩니다. 채점의 품질과 균질성을 지키기 위해 교사 한 명이 100장 정도를 맡는다고 하면(해외 사례와 비교하면 이것 조차 무리한 양이지만), 산술적으로 최소한 1만 5천 명, 즉 과목당 5천 명 이상의 채점 인력이 필요하다는 계산이 나옵니다.
그런데 이것으로 충분할까요? 채점자의 기준은 절대 하나로 일치할 수 없습니다. 그렇다면 유사한 내용의 답안에 대해 서로 다른 점수를 받는 사태가 벌어질 수 있고, 그런 문제를 보정하기 위해서는 다시 각 채점자가 매긴 답안 가운데 일부를 무작위로 뽑아 다른 채점자들과 기준을 맞춰 보는 상위 단계의 채점자가 추가로 필요할 것입니다. 이런 조정 과정에서 만약 어떤 채점자의 기준이 평균에서 크게 벗어난 것으로 드러난다면 특정 채점자가 매긴 점수 전체를 무효로 하고 대체 채점자를 다시 투입해야 할 것입니다. 채점 기간에 이렇게 많은 채점 인력을 물리적으로 외부와 격리하는 것 역시 상상을 초월할 엄청난 자원이 투자되어야 합니다.
이 채점자들은 아무나 될 수 있을까요? 당연히 이들에게는 이런 임무를 수행할 능력이 있다는 자격 증명이 필요할 것이며, 이 자격 증명은 현재 전혀 그 기준조차 마련되지 않은 항목입니다.
이런 간단한 산수 이전에 우리는 교과마다 어떤 수준의 채점 역량을 갖춘 교사가 얼마나 필요하며, 그 수준에 이른 인력을 몇 년 안에 몇 명이나 확보할 수 있는지에 대한 연구가 충분히 이루어져야 할 것이며, 이와 같은 최소한의 자원에 대한 준비도 없는 상황에서 그냥 말로만 “채점 인력을 뽑겠다”라고 주장한다고 교육 행정에서 새로운 시스템에 대비하고 있다고 인정할 수는 없습니다.
계속해 볼까요? 과연 수천 명에 이르는 이 인력을 어떻게 모집해서 편차 없이 균형 잡힌 채점을 하도록 훈련할 수 있을까요? 잘해야 본전이고 조금만 잘못하면 한 학생의 인생을 책임져야 할지도 모르는 이 막중한 자리에 그것도 년 말의 몇 주를 철저히 분리된 공간에 감금되어야 할 이런 임무를 맡으려는 사람이 애당초 있을지도 의문입니다.
지금도 수능 채점에 주어진 시간은 단 몇 주에 지나지 않습니다. 시스템이 서·논술형으로 바뀐다고 이 기간이 더 길어질 수 있을까요? 그렇지 못하다면 결국 우려처럼 이 짧은 기간 안에 수십만 장의 글을 읽고, 조정하고, 필요하면 재채점까지 마쳐야 하는데, 새로 도입하려는 제도의 취지가 좋고 나쁨을 따지기에 앞서, 이런 엄청난 변화를 현재의 공교육 체계가 감당할 수 있다고 자신한다는 게 믿기 어렵습니다.
바뀔 시스템을 뒷받침할 자원의 문제는 결코 단순히 숫자를 채우는 문제가 아닙니다. 충분한 자질을 갖춘 인력을 확보할 수 있는가에 관한 문제입니다. 그리고 그런 자질이 갖춰졌다는 확신은, 할 수 있다고 말하는 몇몇 고위 공무원의 장담만으로 결코 담보할 수 없습니다. 대통령 업무보고 자리에서 나온 주관적 확신에 근거한 발언 한마디로, 150만 장의 답안이 자동으로 공정하게 처리될 것으로 믿을 만큼 우리의 대학 입시 문제가 간단하지 않다는 것은 독자 여러분이 더 잘 알고 있으리라 생각합니다.
아직 우리는 사회 전체가 감당해야 할 추가적인 비용 문제는 꺼내지도 못했습니다. 채점 인력을 양성하고 충분한 처우를 해주고, 채점 시스템을 개발하고 검증하는 비용 등 엄청난 사회적 비용이 소요될 것입니다. 그렇다면 이 비용을 누가, 어떻게 나눠 질 것인가에 대한 논의도 없이 제도의 취지만 좋다고 밀어붙인다면 준비 부족으로 인해 또 다른 불신(정책에 관한)이 생겨나지 않을까요?
결국 가장 시급한 질문은 서·논술형이 객관식보다 더 나은 방식인가를 판정하기 이전에, 우리 사회가, 신뢰의 축적이라는 면에서 또한 뒷받침할 자원과 자질이라는 면에서 새로운 방식을 감당할 수 있는지가 아닐까요?
AI는 과연 만능일까
이런 모든 예상 가능한 문제에 대한 답으로 정부가 제시한 해결책이 바로 AI입니다. 교육부는 2029년까지 AI 평가 지원 시스템을 구축하고, 서·논술형 채점과 문항 검토에 활용할 학습 데이터 110만 건을 마련하겠다고 밝히고 있습니다. AI가 답안을 먼저 채점해 점수 안을 만들면, 교사가 이를 살펴본 뒤 최종 점수로 확정 짓는 구조입니다. 한 공학 교수는 현장 토론회에서, 일선 교육청들이 진행한 시범 사업에서 AI의 채점이 사람의 채점보다 더 안정적인 결과를 보였다는 취지로 발언하기도 했습니다.
얼핏 그럴듯한 해법처럼 보입니다. 그러나 이 해법은 오히려 더 많은 질문을 불러오는 것은 아닐까요? 어느 쪽이 맞는지 단정하기 전에, 반드시 짚고 넘어가야 할 질문들을 생각해 봤습니다.
1. 정형화된 답변이 선호되지 않을까 : AI가 채점하기 위해서는 정답으로 여겨질 데이터를 준비해야 합니다. 이런 제시된 데이터에 대한 학습을 바탕으로 채점에 대한 기준을 정립하게 될 것입니다. 그렇다면 애초에 정해진 정답이 없는, 여러 갈래로 해석이 가능한 답안이 가능하다는 서술형 시스템 도입의 취지와 거리가 멀어지는 것은 아닐까요? 다시 말해서 AI가 학습된 기준에 근거해서 확률적으로 기준에 가까운 서술에 높은 점수를 부여하는 구조라면, 낯설지만 통찰력 있는 답과 익숙하고 안전한 답 가운데 어느 쪽이 더 유리해질지 궁금해집니다.
2. AI의 편향은 없을까 : 통계적 예측에 기반한 LLM의 특성을 고려한다면 평균적인 답변이 더 높은 점수를 받는 편향이 생길 수 있습니다. 실제로 케임브리지 대학에서 진행한 AI 에세이 채점 테스트를 보면, 인간 채점 결과와 차이를 보이는데 특히 인간 채점에서 75점을 받은 에세이는 모든 AI 시스템에서 평균적으로 더 낮게 평가되고, 반대로 50점을 받은 에세이는 더 높게 평가됐다고 합니다. 즉 AI가 우수한 에세이는 상대적으로 낮게, 낮은 점수를 받은 에세이는 실제보다 높게 평가해 ‘중간 점수’인 평균치에 맞추려는 경향을 보인다는 것입니다.
연구에 참여한 케임브리지 기술인문연구소의 알렉산드루 마르코치 박사는 “AI는 모든 제출물에 중간 점수를 부여해 가장 우수한 에세이와 가장 형편없는 에세이를 특히 부정확하게 채점하는 결과를 낳는다, 이러한 편향의 결과로 최우수와 상위 등급을 구분하거나 합격과 불합격을 가르는 경계선에서 정확도가 떨어질 것이다”라고 밝히고 있습니다.
또한 연구진은 AI가 에세이의 학문적 완성도보다 언어적 특징에 더 집중한다고 분석했는데, 논리성, 비판적 사고, 학문적 깊이 등 인간 평가자가 중요하게 여기는 요소 판단에 한계를 보였고 복잡한 문장 구조, 어려운 어휘 등에 더 높은 점수를 부여한다고 합니다.
3. 책임 소재와 부담감 : 교육부의 계획처럼 AI채점을 다시 교사들이 재검토한다고 하더라도, 교사들이 AI의 채점을 뒤집으려면 그만한 근거를 제시하고 달라진 결과에 대한 부담을 감수해야 합니다. 반면 AI의 판단을 그대로 받아들이면 문제가 생겨도 책임 소재가 흐려질 수 있습니다. 이런 구조라면 굳이 AI의 결과에 이의를 제기할 교사가 있을까요? 결국 검수는 실질적인 재검토가 아니라 형식적인 서명으로 흘러가게 되지는 않을까요?
이 새로운 질문들 가운데 어느 것도 AI 채점을 하지 말아야 한다는 결론으로 이어지지는 않습니다. 다만 이런 질문을 고민하지 않고 서둘러 도입 시점을 앞당기려 한다면, 우리는 신뢰와 자원의 문제를 해결한 것이 아닌, 단지 우리가 정확하게 이해하지 못하는 기술로 우리의 책임을 전가한 것에 지나지 않을지도 모릅니다.
교육 개선의 진정한 주체는
오랜 시간을 들여서 쌓아야 할 신뢰와, 그만큼 공들여 갖춰야 할 자원을, 선거 주기와 정권의 향방에 따라 5년마다 입시 제도의 손잡이를 이리저리 돌리는 정치권이 과연 감당할 수 있을까요? 지금까지 정치권의 대응은 국지적인 문제에 매몰된 대증요법에 그친 것이 아닐까요? 객관식의 폐해를 서술형으로 덮고, 서술형의 공정성 시비는 AI를 활용해 정량화로 메우려 한다면, 악순환이 지속될 뿐, 본질적인 교육의 목적은 어디서도 찾을 수 없게 됩니다.
결국 궁극적으로 우리가 해결해야 할 문제는 ‘어떤 시험 문제로 아이들을 걸러낼 것인가’라는 얕은 선발 기술에 있지 않습니다. 현재의 초·중·고와 대학으로 이어지는 교육 시스템 전체가 무엇을 위해 존재하는지 그 목적과 목표가 명확하게 설정되어야 하고, 그것을 바탕으로 사회 전반의 교육 체질을 근본적으로 개선하는 일이 더 중요하지 않을까요?
그렇다면 교육 개선의 진정한 주체는 누구여야 할까요? 최소한 이미 사회적 성취를 달성한 정치가나 관료의 몫만은 아닐 것입니다. 배움의 고통과 성장을 가장 가까이에서 마주하는 학생, 그리고 학문의 전당으로서 정체성을 회복해야 할 학교들과 대학이 좀 더 온전한 주체가 되어야 하지 않을까요?
또한 학생들 스스로 삶의 경로를 탐색하고 대학들이 각자의 철학을 바탕으로 학생을 선택할 자율적 생태계가 꾸려진다고 하더라도 현재 사회가 안고 있는 노동시장의 이중구조와 학벌 만능주의 같은 사회적 인식이 그대로라면, 우리는 또다시 막다른 골목에 부딪히게 될지도 모릅니다.
