MONDAY BRIEFING
협상을 잘하는 AI와 내 의도를 이해하는 AI
Project Swap이 보여준 에이전트의 협상 능력과 사용자 선호 이해의 차이
협상은 잘했는데, 왜 제가 원하던 결과가 아니죠?
9월 24일 Anthropic이 공개한 ‘Project Swap’은 조금 독특합니다. 직원 201명이 책을 한 권씩 내놓고, Claude 에이전트에게 서로 교환하도록 맡겼습니다. 사람은 약 5분간 독서 취향을 설명하고, 협상은 AI끼리 한 거죠.
그런데 흥미로운 문제는 협상 테이블에 앉기 전부터 시작됐습니다. 👀
Claude가 추정한 취향과 사람이 직접 매긴 순위를 비교하니, 책 두 권 중 어느 쪽을 더 좋아하는지 맞힌 비율은 61%였습니다. 무작위 선택의 50%보다는 높지만, “제 취향을 잘 아시네요”라고 맡기기에는 빈틈이 있었던 겁니다.
연구진은 결과가 최상의 배정에 못 미친 이유도 나눠봤습니다. 그 격차의 약 85%는 협상 과정이 아니라, AI가 사람의 선호를 부정확하게 파악한 데서 나왔습니다. 거래의 85%가 실패했다는 뜻은 아닙니다.
쉽게 말하면, AI는 자신이 이해한 목표를 향해 잘 움직였지만 그 목표가 주인의 마음과 완전히 같지는 않았던 거죠.
업무에서도 비슷한 상황을 생각해볼 수 있습니다.
행사 장소를 구하는 AI에게 “예산 안에서 좋은 곳으로 골라줘”라고 했다고 해보겠습니다. AI는 넓고 저렴한 장소를 골랐는데, 정작 담당자에게 가장 중요한 건 ‘참석자가 환승 없이 올 수 있는가’였을 수 있습니다. 가격 협상을 더 잘해도 이 어긋남은 해결되지 않습니다.
그래서 저는 실행 전에 이런 질문을 한 번 넣어보면 좋겠습니다.
“후보 세 곳을 먼저 비교해줘. 무엇을 가장 중요하게 봤고, 어떤 조건은 양보했는지도 알려줘. 예약은 아직 하지 마.”
이건 장소 추천을 더 받으려는 질문이 아닙니다. AI가 이해한 ‘좋은 선택’이 내가 생각한 것과 같은지 확인하는 작은 시험입니다. 위 상황과 질문은 연구 결과를 업무에 적용해본 예시입니다.
물론 이번 연구는 Anthropic 직원과 Claude끼리 진행한 제한된 책 교환 실험입니다. 실제 구매나 계약에서도 같은 수치가 나온다고 일반화할 수는 없습니다.
그래도 질문 하나는 남습니다. AI가 일을 잘하는지 확인하기 전에, 무엇을 잘해야 하는지 서로 같은 생각인지 확인했나요?