오늘 읽을 것

Mutation Testing for Multi-Agent Workflows

멀티 에이전트 LLM 시스템은 여러 에이전트가 도구를 주고받고 위임하는 구조로 움직입니다. 그런데 기존 평가 방식은 최종 작업이 성공했는지만 보는 경우가 많습니다. 이 논문은 워크플로우 매니페스트에 의도적인 결함(위임 제거, 도구 권한 해제, 잘못된 도구 연결 등)을 주입하고, 테스트 스위트가 이를 잡아내는지 측정하는 '변이 테스트'를 제안합니다. 실험 결과 기존 테스트는 권한 위반의 절반 정도만 잡아냈고, 구조적 결함도 놓치는 경우가 많았습니다. 즉, '결과가 맞다'고 해서 에이전트 간 협업 구조가 안전하다는 보장은 없다는 뜻입니다. 초보 개발자는 최종 출력뿐만 아니라 에이전트가 어떤 도구를 호출하고 위임하는지 검증하는 테스트의 필요성을 알 수 있습니다.