키워드검색 (2) 썸네일형 리스트형 katsubee RAG 로우데이터 수집, 198건 분석 katsubee는 매일 새벽 지식 청크에서 질문을 만들어 실제 검색 경로를 돌리고, 단계별 정답 순위를 기록한다.10월 12일부터 25일까지 쌓인 198건을 보면 정답은 키워드 후보에 82.3%, 벡터 후보에 29.8% 들어 있었다.정답이 후보 어디에도 없는 경우가 26건이고, RRF 12개 단계에서 잘린 경우가 43건이라 다음 개선 대상이 보인다.이 글은 katsubee·katsubox 소개 글에서 이어지는 개선 시리즈의 다섯 번째 글이다. 앞선 글에서는 한 번 돌린 벤치마크 40문항으로 검색을 고치고 리랭킹을 쟀다. 이번에는 그 측정을 한 번으로 끝내지 않기 위해 만든 로우데이터 수집을 다룬다.벤치마크 40문항 한 번으로는 부족했다키워드 검색이 0건이던 문제를 찾은 것도, 리랭킹 효과를 잰 것도 벤치.. 하이브리드 검색인 줄 알았는데 키워드 쪽이 40문항 모두 0건이었다 katsubee에는 올려 둔 문서 안에서 답을 찾아주는 지식 검색(RAG)이 있다. 벡터 검색과 Postgres 키워드 검색을 RRF로 합치는 구조라 하이브리드 검색이라고 생각하고 있었는데, 벤치마크를 돌려 보니 키워드 쪽이 한 번도 일하지 않고 있었다. 찾아서 고친 과정을 적는다.위 화면은 고친 뒤의 모습이다. 부동산 정책 샘플 문서 5개를 올려 두고 "재개발 조합 설립 동의율은 얼마로 바뀌었어?"라고 물었더니 75%에서 70%로 완화된다는 답과 함께 참고 자료 칩에 파일명이 붙었다. 이 질문이 고치기 전에는 키워드 쪽에서 아무것도 못 찾는 질문이었다.리랭킹부터 붙였다시작은 리랭킹이었다. 검색 결과 상위 후보를 LLM에게 다시 줄 세우게 하는 기능인데, 크로스인코더를 새로 받지 않고 이미 쓰는 채팅 모.. 이전 1 다음
