본문으로 건너뛰기불러오는 중입니다
글과 논문 2
Mutation Testing for Multi-Agent Workflows멀티 에이전트 LLM 시스템은 여러 에이전트가 도구를 주고받고 위임하는 구조로 움직입니다. 그런데 기존 평가 방식은 최종 작업이 성공했는지만 보는 경우가 많습니다. 이 논문은 워크플로우 매니페스트에 의도적인 결함(위임 제거, 도구 권한 해제, 잘못된 도구 연결 등)을 주입하고, 테스트 스위트가 이를 잡아내는지 측정하는 '변이 테스트'를 제안합니다. 실험 결과 기존 테스트는 권한 위반의 절반 정도만 잡아냈고, 구조적 결함도 놓치는 경우가 많았습니다. 즉, '결과가 맞다'고 해서 에이전트 간 협업 구조가 안전하다는 보장은 없다는 뜻입니다. 초보 개발자는 최종 출력뿐만 아니라 에이전트가 어떤 도구를 호출하고 위임하는지 검증하는 테스트의 필요성을 알 수 있습니다.논문Video-DCI: How Far Are VLM Agents from Human Viewers in Direct Video Corpus Interaction?사람은 복잡한 영상 질문을 볼 때 짧은 구간을 반복해서 보고, 알게 된 내용을 업데이트한 뒤 부족한 증거를 찾기 위해 시선을 옮깁니다. 그런데 기존 영상 벤치마크는 정답이 담긴 영상을 그대로 주거나, 최종 답만 평가하거나, 텍스트 단서로 쉽게 풀 수 있게 만들어 '여러 영상을 오가며 증거를 찾는 능력'을 제대로 측정하지 못했습니다. 이 논문은 Video-DCI라는 새로운 평가 방식을 제안합니다. 관련된 여러 영상 풀에서 질문만 주고, 모델이 구간을 반복해서 탐색하고 증거를 기억한 뒤 정확한 타임스탬프를 인용하게 만듭니다. 실험 결과 최신 VLM도 관련 영상을 찾는 건 잘하지만, 그 장면을 정확한 인용으로 바꾸는 데는 인간보다 훨씬 못 미쳤습니다. 즉 영상 기반 AI 에이전트를 만들려면 '찾기'보다 '기억하고 인용하기'가 더 어렵다는 점을 보여줍니다.논문