Hybrid Search kết hợp các lợi ích của các công nghệ tìm kiếm khác nhau để đạt được kết quả gợi nhớ tốt hơn. Tuy nhiên, kết quả từ các chế độ tìm kiếm khác nhau cần được hợp nhất và chuẩn hóa (chuyển đổi dữ liệu thành một phạm vi hoặc phân phối chuẩn đồng nhất để so sánh, phân tích và xử lý tốt hơn) trước khi được cung cấp cùng nhau cho mô hình lớn. Điều này đòi hỏi sự giới thiệu của hệ thống điểm số: Rerank Model.
Mô hình Rerank hoạt động bằng cách sắp xếp lại danh sách các tài liệu ứng cử viên dựa trên sự phù hợp ngữ nghĩa với câu hỏi của người dùng, từ đó cải thiện kết quả của việc sắp xếp ngữ nghĩa. Điều này được thực hiện bằng cách tính toán một điểm số liên quan giữa câu hỏi của người dùng và mỗi tài liệu ứng cử viên, trả về một danh sách tài liệu được sắp xếp theo mức độ liên quan từ cao đến thấp. Các mô hình Rerank phổ biến bao gồm Cohere rerank, bge-reranker và các mô hình khác.
Trong hầu hết các trường hợp, có một tìm kiếm ban đầu trước khi sắp xếp lại vì việc tính điểm số liên quan giữa một truy vấn và hàng triệu tài liệu là rất không hiệu quả. Do đó, sắp xếp lại thường được đặt ở cuối quá trình tìm kiếm, làm cho nó rất phù hợp để hợp nhất và sắp xếp kết quả từ các hệ thống tìm kiếm khác nhau.
Tuy nhiên, sắp xếp lại không chỉ áp dụng để hợp nhất kết quả từ các hệ thống tìm kiếm khác nhau. Ngay cả trong một chế độ tìm kiếm duy nhất, việc giới thiệu một bước sắp xếp lại có thể cải thiện hiệu suất gợi nhớ của các tài liệu, chẳng hạn như việc thêm sắp xếp lại ngữ nghĩa sau tìm kiếm từ khóa.
Trong thực tế, ngoài việc chuẩn hóa kết quả từ nhiều truy vấn, chúng ta thường giới hạn số lượng đoạn văn được chuyển đến mô hình lớn trước khi cung cấp các đoạn văn liên quan (tức là TopK, có thể được đặt trong các tham số mô hình rerank). Điều này làm vì cửa sổ đầu vào của mô hình lớn có giới hạn kích thước (thông thường là 4K, 8K, 16K, 128K lượt Token), và bạn cần chọn một chiến lược phân đoạn và giá trị TopK phù hợp dựa trên giới hạn kích thước của cửa sổ đầu vào của mô hình được chọn.
Cần lưu ý rằng ngay cả khi cửa sổ ngữ cảnh của mô hình đủ lớn, quá nhiều đoạn văn được gợi nhớ có thể đưa ra nội dung có mức độ liên quan thấp hơn, do đó làm giảm chất lượng của câu trả lời. Do đó, tham số TopK cho rerank không nhất thiết phải tốt hơn khi lớn hơn.
Rerank không phải là một phương tiện thay thế cho công nghệ tìm kiếm mà là một công cụ hỗ trợ để tăng cường các hệ thống tìm kiếm hiện có. Ưu điểm lớn nhất của nó là không chỉ cung cấp một phương pháp đơn giản và ít phức tạp để cải thiện kết quả tìm kiếm mà còn cho phép người dùng tích hợp mức độ liên quan ngữ nghĩa vào các hệ thống tìm kiếm hiện có mà không cần phải thay đổi cơ sở hạ tầng đáng kể.
Truy cập vào cài đặt Rerank bằng cách điều hướng đến “Kiến thức -> Tạo kiến thức -> Cài đặt Lấy lại”. Ngoài việc thiết lập Rerank trong quá trình tạo kiến thức, bạn cũng có thể sửa đổi cấu hình Rerank trong cài đặt của một cơ sở kiến thức đã tạo và thay đổi cấu hình Rerank trong các cài đặt chế độ gợi nhớ kiến thức của sắp xếp ứng dụng.
TopK: Dùng để thiết lập số lượng tài liệu có liên quan được trả về sau Rerank.
Ngưỡng Điểm: Dùng để thiết lập ngưỡng điểm số tối thiểu cho các tài liệu có liên quan được trả về sau Rerank. Sau khi thiết lập mô hình Rerank, các thiết lập TopK và Ngưỡng Điểm số chỉ có hiệu lực trong bước Rerank.
Thiết lập Mô hình Rerank trong truy xuất đa hướng
Bật mô hình Rerank bằng cách thiết lập nó vào chế độ truy xuất đa hướng trong trang “Orchestrate -> Ngữ cảnh -> Cài đặt”.
Giải thích về Chế độ truy xuất đa hướng: 🔗
Truy cập vào , đăng ký trên trang web và đăng ký quyền sử dụng cho mô hình Rerank để nhận API key.
