모든 질문을 벡터 검색으로 해결할 수 있을까?
·
탐구/AI
0. 들어가며나는 라멘집을 소개하는 서비스를 만들면서 이용자들이 더 나은 판단을 할 수 있도록 가게들의 리뷰를 어떻게 보여줄지 고민한 적이 있다. 리뷰를 그대로 나열하는 방식은 간단하지만, 리뷰가 많아질수록 사용자가 모든 내용을 직접 읽어야 한다는 문제가 있었다. 그래서 처음에는 각 매장의 리뷰를 LLM에게 전달하고, 주요 의견을 요약해서 보여주는 기능을 도입했다. 리뷰의 양이 많지 않을 때는 이 방식만으로도 충분해 보였다. 하지만 리뷰가 매우 많은 매장이 등장하고 사용 상황이 다양해지면서 몇 가지 문제가 눈에 띄기 시작했다. 모든 리뷰를 매번 LLM에게 전달하는 것이 과연 효율적인지, 사용자의 관심사와 관계없는 리뷰까지 모두 Context에 포함해야 하는지, 그리고 필요한 리뷰만 일부 전달한다면 어떤 ..