벡터검색 (2) 썸네일형 리스트형 RAG 임베딩 검색 품질 개선기, 리랭킹은 후보 회수 뒤에야 효과가 났다 Katsubee 지식 검색은 nomic-embed-text 벡터 검색과 키워드 검색을 RRF로 합치고, 켜면 채팅 모델이 후보를 다시 줄 세우는 구조다.리랭킹을 처음 켰을 때 정답이 상위 4개에 드는 비율(hit@4)은 10%에서 15%로 겨우 올랐다. 원인은 키워드 검색이 질문 40개 중 0건을 돌려주던 후보 회수 문제였다.키워드를 고친 뒤에는 같은 리랭킹이 hit@1을 17.5%에서 70%로 끌어올렸다. 대신 질문당 6.4초가 더 들어서 기본값은 꺼 두었다.Katsubee의 프로젝트 지식 검색(RAG)은 임베딩 모델 하나에 기대지 않고 벡터, 키워드, 리랭킹을 겹쳐 쓴다. 이 글은 그 구성을 일반적인 임베딩 검색 방법과 견주어 보고, 측정하면서 틀렸던 가정을 시행착오 순서로 남기는 개발일지다. 수치는.. katsubee RAG 로우데이터 수집, 198건 분석 katsubee는 매일 새벽 지식 청크에서 질문을 만들어 실제 검색 경로를 돌리고, 단계별 정답 순위를 기록한다.10월 12일부터 25일까지 쌓인 198건을 보면 정답은 키워드 후보에 82.3%, 벡터 후보에 29.8% 들어 있었다.정답이 후보 어디에도 없는 경우가 26건이고, RRF 12개 단계에서 잘린 경우가 43건이라 다음 개선 대상이 보인다.이 글은 katsubee·katsubox 소개 글에서 이어지는 개선 시리즈의 다섯 번째 글이다. 앞선 글에서는 한 번 돌린 벤치마크 40문항으로 검색을 고치고 리랭킹을 쟀다. 이번에는 그 측정을 한 번으로 끝내지 않기 위해 만든 로우데이터 수집을 다룬다.벤치마크 40문항 한 번으로는 부족했다키워드 검색이 0건이던 문제를 찾은 것도, 리랭킹 효과를 잰 것도 벤치.. 이전 1 다음
