From Voting to Agent Collaboration: Answer-Type-Aware LLM Pipelines for BioASQ 14b

초보자용 해설

이 논문은 생물의학 질의응답(BioASQ) 대회에서 1위를 차지한 LLM 파이프라인을 소개합니다. 핵심은 '질문 유형별로 다른 전략을 쓴다'는 점입니다. 예/아니오 질문은 증거 순서에 흔들리지 않게 셔플+자기반성, 사실형 질문은 전체 증거+사고연쇄 프롬프팅, 리스트형 질문은 다중 에이전트가 협업해 추출→검증→집계를 수행합니다. 단일 프롬프트로 모든 걸 해결하려 하지 않고, 작업 특성에 맞춰 파이프라인을 분리한 것이 성능 비결입니다.

실무자 관점 요약

BioASQ 14b Task B를 위한 답변 유형 인식 LLM 파이프라인 제안. Yes/No: snippet shuffling + self-reflection으로 evidence ordering bias 완화 및 decision stability 향상. Factoid: full-snippet input + CoT-based ICL로 biomedical entity identification 정밀도 제고. List: 4단계 멀티 에이전트(evidence extraction → candidate generation → answer verification → final aggregation) 협업 아키텍처로 recall/precision 균형 최적화. BioASQ 13b 사전 실험으로 유형별 최적 전략 탐색 후 14b 공식 평가에서 Batch 4 factoid subtask 1위 달성. Ensemble prediction과 agent-based verification 결합이 biomedical QA의 reliability를 크게 개선함을 실증.

왜 지금 봐야 하나요?

생물의학 QA는 환자 안전·임상 의사결정 직결 분야라 hallucination 억제와 evidence grounding이 필수입니다. 단일 프롬프트 한계를 넘어 질문 유형별 전문화 파이프라인과 멀티 에이전트 검증 루프를 도입한 실전 검증된 아키텍처입니다. BioASQ 공식 대회 입상으로 검증된 점, 코드 없이도 아키텍처가 명확해 구현 진입장벽이 낮다는 점에서 지금 바로 참고하기 좋습니다.

직접 구현해볼 아이디어

간단한 생물의학 QA 데모: PubMed 초록 100개로 미니 코퍼스 구축 → 질문 유형 분류기(규칙/소형 모델) → 유형별 프롬프트 템플릿 3종(Yes/No: 셔플+반성, Factoid: CoT+전체증거, List: 3-에이전트 파이프라인) → Streamlit으로 질의-응답-근거 하이라이트 UI 제공. LangChain/LangGraph로 에이전트 오케스트레이션 구현.

서비스 아이디어로 바꾸면

임상 연구자·제약사 대상 '근거 기반 생물의학 QA 어시스턴트': 논문·가이드라인·임상시험 문서 업로드 → 질문 유형 자동 감지 → 유형별 최적 파이프라인으로 답변 생성 → 각 답변에 인용 문헌·구간 하이라이트·신뢰도 점수 제공 → '이 답변의 근거는 여기입니다' 식의 설명 가능성 보장. B2B SaaS로 구독 모델, 온프레미스 배포 옵션으로 데이터 프라이버시 해결.