논문 리뷰 · 논문→프로젝트 · arXiv cs.SE · 2026. 11. 10.
Mutation Testing for Multi-Agent Workflows
멀티 에이전트 LLM 시스템은 여러 에이전트가 도구를 주고받고 위임하는 구조로 움직입니다. 그런데 기존 평가 방식은 최종 작업이 성공했는지만 보는 경우가 많습니다. 이 논문은 워크플로우 매니페스트에 의도적인 결함(위임 제거, 도구 권한 해제, 잘못된 도구 연결 등)을 주입하고, 테스트 스위트가 이를 잡아내는지 측정하는 '변이 테스트'를 제안합니다. 실험 결과 기존 테스트는 권한 위반의 절반 정도만 잡아냈고, 구조적 결함도 놓치는 경우가 많았습니다. 즉, '결과가 맞다'고 해서 에이전트 간 협업 구조가 안전하다는 보장은 없다는 뜻입니다. 초보 개발자는 최종 출력뿐만 아니라 에이전트가 어떤 도구를 호출하고 위임하는지 검증하는 테스트의 필요성을 알 수 있습니다.
왜 중요한가 · 멀티 에이전트 앱을 만들 때 '최종 답변이 맞다'는 것만으로 안전성을 보장할 수 없습니다. 이 논문은 에이전트 간 위임과 도구 권한 구조를 직접 교란해 테스트의 사각지대를 찾는 방법을 제시합니다. LLM 기반 자동화 도구나 개발자 도구를 준비 중인 Seedup 독자가 테스트 설계 우선순위를 잡는 데 실질적인 참고가 될 것입니다.