MONDAY BRIEFING
AI를 시험하는 가상 회사
Microsoft의 합성 기업 환경으로 본 시간 맥락과 업무 혼선을 재현하는 AI 평가
AI를 시험하려고, 직원도 메일도 전부 가짜인 회사를 만들었습니다.
10월 30일 Microsoft Research는 Copilot 평가에 사용하는 합성 기업 환경을 소개했습니다. 고객의 실제 업무 자료를 가져오는 대신, 조직도부터 메일·회의·문서까지 가상으로 만드는 방식입니다. 🏢
그런데 이 회사, 생각보다 정교합니다.
공개된 직업 정보와 채용 공고, 기업 공시를 참고해 역할과 조직을 설계합니다. 제약·자본시장·IT 분야의 환경을 만들고, 각각 수백 명의 가상 사용자와 업무 기록을 담았습니다.
왜 이렇게까지 할까요? 그냥 테스트 문서 몇 개면 안 될까요?
실제 업무에서 어려운 질문은 “이 문서를 요약해줘”만이 아니기 때문입니다.
“지난 회의 이후 무엇이 바뀌었지?”
이 질문에 답하려면 회의록 하나를 잘 읽는 것만으로는 부족합니다. 이전 결정과 이후 변경을 연결해야 하죠. Microsoft는 그래서 몇 주에 걸쳐 이어지는 메일, 프로젝트 일정, 조직 변화까지 모사한다고 설명합니다.
예를 들어볼까요? 아래는 이 접근법을 이해하기 위한 가상의 상황입니다.
월요일 회의록에는 출시일이 15일이라고 적혀 있습니다. 수요일 메일에서 22일로 미뤘고, 금요일 보고서는 예전 날짜를 그대로 복사했습니다.
여기서 AI가 가장 나중에 작성된 문서만 찾아 ‘15일’이라고 답하면 어떨까요? 검색은 성공했지만, 업무는 틀린 겁니다. 최신 문서와 최신 결정이 반드시 같지는 않으니까요. 👀
이런 실수는 정답이 한 문서에 깔끔하게 적힌 시험에서는 잘 드러나지 않습니다.
이번 발표에서 눈에 들어온 건 ‘더 좋은 답을 만드는 기술’보다 ‘실무에서 틀릴 만한 상황을 만드는 기술’입니다.
발표에는 합성 데이터의 내부 종합 품질 지표가 초기 방식보다 39% 개선됐다는 수치도 나옵니다. 주의할 점은 이것이 Copilot의 답변 정확도가 39% 올랐다는 뜻은 아니라는 겁니다. 시험 환경의 품질과, 그 시험을 치르는 AI의 성적은 다른 지표입니다.
물론 가상 회사에서 잘했다고 실제 회사에서도 잘한다는 보장은 없습니다. 현실의 예외와 암묵적인 맥락을 얼마나 재현했는지는 별도로 확인해야 합니다.
우리 업무에 적용할 때도 거창한 가상 회사부터 만들 필요는 없겠습니다. 실제 기밀을 넣지 않고, 자주 생기는 혼선을 작은 시험 사례로 만들어보는 건 어떨까요?
변경 전후의 날짜가 섞인 사례, 담당자가 바뀐 사례, 아직 합의되지 않은 제안이 결정처럼 적힌 사례.
그리고 AI를 바꿀 때마다 같은 사례로 다시 확인하는 겁니다. 한 번 그럴듯하게 답했는지보다, 같은 함정에 반복해서 빠지는지 볼 수 있겠죠. 이건 이번 발표에서 끌어낸 실무적 제안입니다.