Abstract

• 질문과 관련이 있지만 답을 포함하지 않은 문서는 LLM의 정확도를 하락시킬 수 있음
• 무작위 문서(무관한 문서)를 RAG 시스템에 추가했을 때 오히려 LLM의 정확도가 상승하였음
• 검색된 문서의 개수가 증가할수록 성능 저하
• 골드 문서가 프롬프트 내애서 질문과 가까운 위치에 있을 때 정확도가 높아짐

• Condition

Impact of Distracting Documents

• 방해 문서의 수 ↑ 정확도 ↓
• 방해 문서 한 개만 추가되어도 정확도가 0.24 (25%) 감소
• 방해 문서 많아질수록(특히 10개 이상), 정확도가 0.38 (67%) 하락하는 사례도 관찰되었음

Results