A.I

ChatGPT는 답을 다듬고 사고 훈련은 아이디어를 넓혔다: 1,000명 무작위 실험

보코니대 학생 1,000여 명을 네 집단으로 나눈 실험에서 ChatGPT는 과제의 완성도를, 인과 추론 훈련은 아이디어의 다양성을 높였다. 결과물만 보는 평가가 놓치는 지점을 짚는다.

생성형 AI가 학생의 답안을 더 매끈하게 만들 수 있다는 사실과, 학생이 더 독창적으로 생각하도록 돕는 일은 같은 문제가 아니었다. 이탈리아 보코니대학교(Bocconi University) 연구진과 OpenAI Economic Research가 1학년 학부생 1,000여 명을 대상으로 진행한 무작위 실험에서 ChatGPT 접근은 과제의 품질과 논리적 일관성을 높였고, 별도의 인과 추론 훈련은 학생들이 내놓은 아이디어의 폭을 넓혔다. 두 처치를 함께 받은 집단은 각각의 장점을 동시에 보였다.

네 집단이 같은 실제 과제를 풀었다

참가자들은 대학 기념품 매장의 인지도와 이용을 높이는 마케팅 방안을 설계했다. 수업 시간대를 기준으로 ① 아무 처치도 없는 집단, ② GPT‑4o를 이용할 수 있는 집단, ③ 인과 추론¹ 훈련을 받은 집단, ④ 두 조건을 모두 받은 집단으로 무작위 배정됐다. 인과 추론 훈련은 AI 사용법이 아니라 게임·사례·질문·피드백을 통해 어떤 해법이 왜 작동하거나 실패할 수 있는지를 따져 보는 과정이었다.

대학생 무작위 실험에서 ChatGPT는 답안 품질을, 인과 추론 훈련은 아이디어 다양성을 높인 차이를 보여주는 흐름도 — ChatGPT와 인과 추론 훈련은 같은 결과를 내지 않았다. 두 조건은 답안 품질과 아이디어 다양성에 서로 다르게 작용했다.

훈련된 채점자는 5점 척도로 제출물을 평가했고, 연구진은 별도의 텍스트 분석으로 아이디어 수와 다양성, 인과적 설명, 전문가 답안과의 유사성을 측정했다. ChatGPT를 이용한 학생은 평균적으로 5점 척도에서 거의 1점 높은 평가를 받았다. 아이디어 수가 늘고 논리 전개가 또렷해졌으며 전문가의 제안과 더 비슷해졌다.

사고 훈련의 효과는 기존 채점표 밖에서 보였다

인과 추론 훈련만 받은 학생은 표준 채점 점수가 높아지지는 않았다. 대신 해법이 작동할 조건과 실패할 가능성을 더 잘 설명했고, 동료의 답과 겹치지 않는 아이디어를 더 폭넓게 냈다. 매장 인지도와 이용 증가라는 두 목표를 얼마나 잘 충족했는지 보는 채점표는 이 차이를 충분히 포착하지 못했다.

두 조건을 함께 적용한 집단은 ChatGPT 집단과 비슷한 수준의 점수와 아이디어 수를 보이면서, 사고 훈련 집단에 가까운 아이디어 다양성도 유지했다. AI 도구와 사고 훈련이 서로 대체재라기보다 서로 다른 약점을 보완할 수 있다는 해석이 가능한 이유다.

교육 현장의 실제 영향

이 결과는 AI 사용 여부만 통제하는 정책보다 과제와 평가의 설계를 다시 보는 일이 중요하다는 점을 시사한다. 최종 문장의 완성도만 평가하면 학생이 무엇을 이해했고 어떤 대안을 검토했는지 분리하기 어려워진다. 과정 기록, 반례 검토, 여러 해법의 비교, 구두 설명처럼 사고의 흔적을 평가에 포함할 필요가 커진다.

다만 한 대학의 1학년 학생과 단일 마케팅 과제에서 나온 결과를 모든 학문 분야에 일반화할 수는 없다. 공개 요약은 OpenAI와 공동 연구진이 제공한 것이며, 장기간의 학습 유지나 다른 모델·과제에서 같은 효과가 반복되는지는 별도 검증이 필요하다. ‘AI가 비판적 사고를 높였다’고 단정하기보다, AI는 제출물의 완성도에, 짧은 사고 훈련은 아이디어의 다양성에 서로 다른 영향을 냈다고 읽는 편이 정확하다.