How Many Examples, and Which Ones? A Study of In-Context Learning for Natural Language Inference

초보자용 해설

자연어 추론(NLI)은 두 문장이 서로 포함 관계인지, 모순인지, 상관 없는지 가리는 작업입니다. 최근 대형 언어 모델(LLM)은 예시 몇 개만 프롬프트에 넣어도 추론 작업을 잘 수행하는데, 이 논문은 "몇 개의 예시를 넣어야 하는지"와 "어떤 예시를 골라야 하는지"를 실험합니다. Llama, Mistral, Gemma, Phi 4 같은 디코더 전용 모델을 MNLI, QNLI, SciTail 데이터셋으로 테스트했고, 복잡한 프롬프트 기법보다 단순하고 직관적인 프롬프트가 더 잘 작동하는 경우가 많다는 결과를 내놓았습니다. 특히 한 개의 예시만 줄 때 그 예시의 라벨이 성능에 큰 영향을 미치며, entailment(포함) 라벨이 붙은 예시를 쓰면 성능이 가장 좋았다고 합니다. 예시 개수를 많이 늘리는 것보다 대표적인 예시 몇 개만 고르는 것이 더 효과적일 수 있다는 점이 핵심입니다. 초보 개발자는 "프롬프트에 예시를 무조건 많이 넣는 게 정답은 아니다"라는 점을 기억하면 좋습니다.

실무자 관점 요약

자연어 추론(NLI)은 전제 문장과 가설 문장의 관계를 entailment, contradiction, neutral로 분류하는 NLP의 기초 과제입니다. 기존 연구는 인코더 또는 인코더-디코더 구조에 집중했으나, 디코더 전용 대형 언어 모델(LLM)을 활용한 인컨텍스트 러닝(ICL) 관점에서의 체계적 비교는 부족했습니다. 본 논문은 Llama, Mistral, Gemma, Phi 4 모델을 MNLI, QNLI, SciTail 데이터셋으로 평가하며, 제로샷과 퓨샷 프롬프팅에서 단순하고 직관적인 프롬프트가 복잡한 샘플링이나 프롬프팅 기법과 대등하거나 더 나은 성능을 보인다는 점을 보여줍니다. 특히 주목할 점은 원샷 프롬프팅에서 시연 예시의 라벨 선택이 성능을 크게 좌우한다는 것입니다. entailment 라벨이 붙은 예시를 프롬프트에 넣었을 때 대부분의 모델에서 성능이 가장 좋게 나타났으며, 이는 예시의 질이 개수보다 중요할 수 있음을 시사합니다. 퓨샷 설정에서도 대표적인 예시 소수 개만 사용했을 때 예시 개수를 많이 늘린 프롬프트와 비슷하거나 더 나은 결과를 보였습니다. 다만 효과는 모델과 데이터셋에 따라 달라져, 범용적인 최적 예시 개수나 라벨 전략을 단정하기는 어렵습니다. 실무 관점에서 이 논문은 "복잡한 프롬프트 엔지니어링이 항상 정답은 아니다"라는 점을 상기시킵니다. 하지만 코드가 공개되지 않았으며, 실험 범위가 세 데이터셋과 네 모델에 국한되어 있어, 실제 서비스에 바로 적용하려면 자체 벤치마크가 필요합니다. 과장해서는 안 되는 점은 "단순 프롬프트가 항상 최고"라는 결론입니다. 태스크와 모델에 따라 결과가 달라질 수 있으므로, 도입 전 A/B 테스트와 예시 선별 로직 검증이 필수적입니다.

왜 지금 봐야 하나요?

프롬프트에 예시를 몇 개 넣어야 할지, 어떤 예시를 고를지 고민하는 개발자에게 실질적인 가이드라인을 제공합니다. 복잡한 프롬프트 엔지니어링에 시간을 쓰기 전에, 단순 프롬프트와 대표 예시 소수로 충분한지 먼저 검증해볼 수 있습니다. AI 앱이나 개발자 도구를 만드는 사람이라면 프롬프트 비용과 지연 시간을 줄이는 데 참고할 만합니다.

직접 구현해볼 아이디어

NLI 프롬프트 예시 선택 비교 대시보드

서비스 아이디어로 바꾸면

법무·의료 문서 기반 질문-답변 쌍의 entailment 여부를 자동 검증하는 API 서비스. 문서 검색 결과가 사용자 질문에 실제로 포함되는지, 모순되는지 판단해야 하는 B2B 고객센터 자동화 팀을 타겟으로, 프롬프트 예시 선별 로직을 내장해 답변 정확도를 높인다.