MONDAY BRIEFING
GeneBench-Pro
OpenAI는 2026년 6월 30일 GeneBench-Pro를 공개하며, AI 에이전트가 실제 과학 연구처럼 모호하고 지저분한 데이터 안에서 판단을 내릴 수 있는지 평가하겠다고 밝혔습니다. Anthropic도 2026년 6월 생물학 에이전트 사례를 통해, 강한 모델도 데이터 검색과 검증 구조가 불안정하면 같은 질문에 서로 다른 결과를 낼 수 있다고 설명했습니다.
요즘 AI 에이전트 얘기 정말 많이 나오죠. 그런데 이번 주에 나온 흐름은 조금 더 흥미롭습니다. “AI가 일을 대신한다”가 아니라, “AI가 일을 제대로 하려면 무엇이 갖춰져야 하나?”에 가까운 이야기거든요.
지난 6월 30일, OpenAI가 GeneBench-Pro라는 새 벤치마크를 공개했습니다. 이름은 조금 어렵지만, 핵심은 이겁니다.
AI에게 깨끗하게 정리된 문제를 푸는 게 아니라, 실제 연구 현장처럼 지저분하고 애매한 데이터를 주고, 스스로 분석 방향을 잡고, 중간 판단을 수정하고, 마지막에 의사결정 가능한 답을 내릴 수 있는지 보겠다는 겁니다.
재미있는 건 결과입니다. OpenAI에 따르면 가장 강한 모델도 최고 설정에서 약 31.5% 수준의 통과율을 보였습니다. 꽤 잘하는 것 같지만, 반대로 말하면 아직 3개 중 2개는 끝까지 안정적으로 풀지 못한다는 뜻이기도 합니다.
비슷한 이야기는 Anthropic에서도 나왔습니다. 생물학 데이터 검색 실험에서, 강한 AI 모델들도 같은 조건의 데이터를 정확하고 일관되게 가져오는 데 어려움을 보였다고 해요.
그런데 여기에 결정적인 검색 도구, 즉 검증 가능한 검색 레이어를 붙였더니 정확도가 거의 100%에 가까워졌습니다.
여기서 중요한 건 “어떤 모델이 더 똑똑하냐”가 아닙니다. 진짜 포인트는 이겁니다.
AI 에이전트의 성능은 모델 머리만으로 결정되지 않습니다. 데이터가 어떻게 정리되어 있는지, 도구가 얼마나 안정적으로 연결되어 있는지, 중간 결과를 어떻게 검수하는지, 실패했을 때 다시 돌릴 수 있는 구조가 있는지. 이런 업무 환경이 같이 있어야 합니다.
그러니까 실무에서 AI 자동화를 할 때도, 이제 질문은 이렇게 바뀌어야 합니다. “AI가 이걸 할 수 있어?”가 아니라, “AI가 이 일을 반복해서 검수 가능하게 처리할 수 있는 구조가 있나?”
크랩이 요즘 루프, config, 검수 기준, 자동화 흐름을 계속 다루는 이유도 여기에 있습니다. 프롬프트를 잘 쓰는 것도 중요하지만, 앞으로 더 중요한 건 AI가 일할 수 있는 길을 만들어주는 능력입니다.