MONDAY BRIEFING
AI 결과를 믿을 수 있는 기준
AI가 더 많은 실무를 처리할수록 중요한 질문은 "AI가 답을 냈는가?"가 아니라 "그 답을 믿을 수 있는 기준이 있는가?"로 이동하고 있습니다.
지난 7월 8일, AI 업계에서 흥미로운 이야기가 하나 나왔습니다. AI가 코딩 문제를 얼마나 잘 푸는지 평가하는 벤치마크가 있는데, OpenAI가 그중 하나인 SWE-Bench Pro를 다시 들여다봤습니다.
그런데 결과가 꽤 의미심장합니다. 평가 문제의 약 30%에 문제가 있을 수 있다는 분석이 나왔습니다.
어떤 문제는 테스트가 너무 까다로워서 정답에 가까운 풀이도 틀렸다고 판단하고, 어떤 문제는 설명에 없던 조건을 숨어 있는 테스트가 요구하고, 반대로 어떤 문제는 테스트가 허술해서 완성도가 낮은 답도 통과할 수 있었습니다.
쉽게 말하면 이렇습니다. AI가 시험을 잘 봤다고 해도, 그 시험지가 이상하면 우리는 AI의 실력을 제대로 판단할 수 없습니다.
이건 코딩 평가만의 문제가 아닙니다. 요즘 AI는 보고서 작성, 데이터 정리, 웹 검색, 문서 분석, 스프레드시트 작업처럼 점점 더 많은 실무를 처리하고 있습니다.
그런데 결과물이 그럴듯해 보인다고 해서 항상 좋은 결과물은 아닙니다. 중요한 건 이제 “AI가 답을 냈는가?”가 아니라 “그 답을 믿을 수 있는 기준이 있는가?”입니다.
그리고 바로 다음 날인 7월 9일, OpenAI는 GPT-5.6도 발표했습니다. 브라우저 사용, 도구 사용, 컴퓨터 조작, 문서 작업처럼 긴 업무 흐름을 처리하는 능력이 더 좋아졌다고 설명했는데요.
이번 업데이트는 꽤 중요해 보여서, 저도 실제 업무 기준으로 테스트해보고 있습니다. GPT-5.6 업데이트 내용과 사용감은 별도의 포스트로 다시 정리해서 전해드리겠습니다.
AI가 더 많은 일을 하게 될수록, 사람에게 필요한 능력도 조금 달라집니다. AI에게 일을 맡기는 능력만큼이나 AI가 만든 결과를 확인하는 능력이 중요해집니다.
앞으로 실무에서 좋은 AI 활용은 멋진 프롬프트 한 줄보다 좋은 검수 기준에서 갈릴 가능성이 큽니다.