AI로 답은 빨리 얻는데, 내 실력도 늘고 있을까?

AI가 써준 보고서를 읽으면 다 이해한 것 같아요. 그런데 회의에서 “왜 이 결론이죠?”라는 질문을 받으면 말이 막혀요. 아이가 숙제를 끝냈는데 비슷한 문제를 혼자 풀 수 있을지 궁금할 때도 있고요.

결과물은 좋아졌는데 내 실력도 늘었는지 묻는 순간이에요. AI로 완성한 결과와 내게 남은 이해는 따로 확인할 필요가 있어요. 빨리 끝내야 할 일도 있고 다음에는 내가 해내고 싶은 일도 있으니까요.

연구 소개와 힌트형 수학 앱으로 도움받은 뒤의 이해를 살펴보고, AI 에이전트 평가 인터뷰에서 결과를 점검하는 관점을 더해볼게요.

답을 얻은 뒤 혼자 풀 때는 어땠을까요?

CHOI의 뉴스레터는 AI를 쓰다 도움을 잃은 사람들의 수행을 다룬 연구를 소개해요. 이 글에는 AI가 작성했고 아직 사람이 검토하지 않았다는 표시가 있어요. 연구 결과를 판단할 때는 연결된 논문 v6를 함께 읽어야 해요.

연구진은 총 1,222명을 모집한 세 실험에서 분수 계산과 독해 과제를 살폈어요. AI를 쓸 수 있던 집단은 도움을 받는 동안 더 잘 풀었지만 도움을 없앤 직후의 과제에서는 처음부터 AI 없이 푼 집단보다 정답률이 낮았어요. GPT-5를 사용한 짧은 실험의 결과예요.

여기서 곧바로 “AI를 쓰면 장기적으로 실력이 떨어진다”고 결론내릴 수는 없어요. 연구는 약 10–15분의 과제를 다뤘고 몇 달 뒤의 학습이나 실제 직장 업무를 추적하지 않았어요. 포기 행동도 모든 실험에서 같은 강도로 확인되지는 않았어요. 두 번째 실험의 전체 집단 간 건너뛰기 비율 차이는 통계적으로 뚜렷하지 않았어요.

또 답을 받아 쓴 사람과 힌트를 구한 사람의 차이는 사용자가 고른 방식에 따라 나눈 분석이에요. 그 차이만으로 힌트를 요청하면 반드시 더 잘 배운다고 말할 수 없어요. 지금 가져갈 질문은 작고 분명해요. 도움받아 낸 정답을 내가 혼자 풀 수 있다는 증거로 삼고 있지는 않나요?

답 대신 다음 시도를 도와줄 수도 있어요

윤자동 채널이 공개한 김성민 강사의 수학 앱 시연에서는 오답을 넣자 정답 대신 힌트가 나와요. 00:21 이후 대본에서는 세 번의 기회 중 하나를 썼다고 설명해요. 앱 제작 강의의 짧은 장면이라 실제로 아이들의 학습이 좋아졌는지는 알 수 없어요. 그래도 AI가 항상 완성된 답부터 보여줄 필요는 없다는 설계 예시로 볼 만해요.

도움의 방식이 달라질 수 있다는 근거는 다른 연구에서도 찾아볼 수 있어요. 2025년 PNAS에 실린 고등학교 수학 현장 실험은 튀르키예의 한 학교에서 GPT-4 기반 일반형 도구와 교사들이 마련한 힌트를 주는 튜터형 도구를 비교했어요. 일반형을 쓴 집단의 무도움 시험 성적은 대조군보다 낮았고 튜터형에서는 그 부정적 효과가 크게 줄었어요. 다만 튜터형이 대조군보다 더 잘 배웠다는 긍정적 효과까지 확인된 것은 아니에요. 특정 학교의 수학 실험을 모든 공부와 업무로 넓힐 수도 없고요.

앞의 앱이 이 연구와 같은 효과를 낸다는 뜻은 아니에요. 아이의 숙제를 함께 보거나 새 분야를 공부한다면 정답을 보여주기 전에 한 번 더 시도할 자리가 있는지 살펴볼 수 있겠죠. 힌트를 켰다는 사실보다 그 뒤 학습자가 무엇을 해봤는지가 더 궁금해져요.

AI와 해낸 일도 내 성과예요. 이해는 어떻게 확인할까요?

배움을 걱정한다고 AI로 해낸 일의 가치를 낮출 필요는 없어요. 개발 경험이 적은 사람이 필요한 프로그램을 만들었다면 그 결과 자체가 쓸모 있을 수 있으니까요. 모든 일을 도구 없이 해내는 능력이 오늘의 목표일 필요도 없어요.

빌더 조쉬의 Arize AI 이승민·진상열 인터뷰는 AI 에이전트의 결과를 평가하는 기준을 다뤄요. 영상 설명에서는 공개 벤치마크 점수보다 실제 업무에 맞는 데이터셋과 평가 기준을 강조해요. 사람의 학습 효과를 측정한 자료는 아니지만, 결과를 어떤 기준으로 확인할지 묻는 업무 관점으로 읽을 수 있어요.

보고서를 AI와 완성했다면 마감에 맞춘 성과와 다음 회의에서 설명할 수 있는 범위를 각각 적어볼 수 있어요. 결론을 바꿀 만한 가정은 무엇인지, 틀린 숫자를 발견하면 어디부터 다시 볼지 이야기해보는 거예요. 코드를 전부 외우는 대신 내 작업에 필요한 판단을 설명하는 방식이죠. 이는 편집부가 제안하는 업무 점검 예시예요.

이번 작업에서 내게 남기고 싶은 한 가지

AI를 열기 전에 오늘은 빨리 끝내야 하는지, 다음번에 내가 할 수 있도록 익히려는지 정해보세요. 둘 다 필요하면 완성과 연습을 따로 확인해도 좋아요.

새로 배울 내용 하나만 골라 AI 화면을 잠깐 닫아보세요. 답이 나온 이유를 내 말로 설명하거나, 조건 하나를 바꾼 작은 문제를 풀어보는 거예요. 막히면 그 지점으로 돌아가 도움을 구하고요. 이것만으로 실력이 늘어난다고 입증된 방법을 소개하는 것은 아니에요. 결과물만 보고 놓치기 쉬운 이해의 빈칸을 찾자는 제안이에요.

AI와 함께 해낸 일은 남아요. 여기에 내가 이해한 것과 다음에도 확인해야 할 것을 한 줄씩 남기면 오늘 끝낸 일과 앞으로 배우고 싶은 일을 좀 더 구체적으로 볼 수 있을 거예요.