MONDAY BRIEFING
AI 경제성의 새로운 기준
AI의 경제성은 토큰 단가가 아니라 검수를 통과한 결과물 한 건의 총비용으로 판단해야 합니다. API 비용뿐 아니라 재시도, 검토, 수정, 재작업, 사람에게 이관된 비용까지 함께 계산하는 관점입니다.
AI를 싸게 쓰고 계신가요, 아니면 일을 싸게 끝내고 계신가요?
7월 17일, OpenAI가 AI의 경제성을 평가하는 새로운 기준을 제안했습니다. 이름은 조금 거창합니다. Useful Intelligence per Dollar. 쉽게 말하면 “돈을 쓴 만큼 실제로 유용한 업무가 얼마나 완료됐는가?”입니다.
이 관점이 중요한 이유가 있습니다. 토큰 가격이 저렴한 모델도 같은 일을 세 번 다시 시키고, 결과를 사람이 오래 검토하고, 결국 직접 수정해야 한다면 실제 업무 비용은 낮지 않을 수 있습니다.
반대로 호출 비용이 조금 비싸더라도 한 번에 사용할 수 있는 결과가 나온다면 전체 비용은 더 낮아질 수 있고요.
그래서 OpenAI는 AI 도입 성과를 다음 네 가지로 보자고 제안합니다.
1. 실제로 가치 있는 업무가 완료됐는가?
2. 성공한 업무 한 건에 총비용이 얼마 들었는가?
3. 결과물을 바로 사용할 수 있었는가?
4. 사용량이 늘어날수록 비용 대비 성과도 좋아지는가?
여기서 총비용에는 API 비용만 들어가지 않습니다. 재시도 횟수, 사람의 검토 시간, 수정과 재작업, 사람이 대신 마무리한 비용까지 포함해야 합니다.
실무에서는 결과를 이렇게만 나눠도 꽤 많은 것이 보입니다.
- 바로 사용 가능
- 사람의 수정 필요
- 사람에게 업무 이관 필요
최근 공개된 과학 에이전트 벤치마크에서도 비슷한 흐름이 확인됐습니다. 현재 에이전트는 업무 구조와 검수 기준이 명확한 작업에서는 비교적 잘 작동하지만, 목표가 열려 있는 업무에서는 성능이 불안정했습니다.
결국 AI 성과를 높이는 첫 단계는 가장 좋은 모델을 고르는 일이 아니라, “이 업무는 어떤 상태가 되면 완료인가?” 이 기준부터 정하는 일일 수 있습니다.