Gọi một Mô hình Ngôn ngữ Lớn (LLM) để trả lời câu hỏi hoặc xử lý ngôn ngữ tự nhiên. Trong một nút LLM, bạn có thể chọn một mô hình phù hợp, soạn các đoạn gợi ý, đặt ngữ cảnh được tham chiếu trong các đoạn gợi ý, cấu hình các thiết lập bộ nhớ và điều chỉnh kích thước cửa sổ bộ nhớ.
Cấu hình một nút LLM chủ yếu bao gồm hai bước:
Lựa chọn một mô hình
Soạn các đoạn gợi ý hệ thống
Trong một nút LLM, bạn có thể tùy chỉnh các gợi ý đầu vào cho mô hình. Nếu bạn chọn một mô hình trò chuyện, bạn có thể tùy chỉnh nội dung của các gợi ý hệ thống, tin nhắn của người dùng và tin nhắn của trợ lý.
Ví dụ, trong một tình huống tra cứu cơ sở kiến thức Q&A, sau khi liên kết biến "Kết quả" từ nút truy xuất cơ sở kiến thức vào "Ngữ cảnh", việc chèn biến đặc biệt "Ngữ cảnh" vào các gợi ý sẽ sử dụng văn bản được truy xuất từ cơ sở kiến thức làm thông tin nền cho đầu vào mô hình.
Trong trình soạn thảo gợi ý, bạn có thể mở menu chèn biến bằng cách gõ "/" hoặc "{" để chèn các khối biến đặc biệt hoặc các biến từ các nút dòng trước vào các gợi ý như nội dung ngữ cảnh.
Nếu bạn chọn một mô hình hoàn chỉnh, hệ thống cung cấp các mẫu gợi ý được thiết lập trước cho các ứng dụng trò chuyện. Bạn có thể tùy chỉnh nội dung của các gợi ý và chèn các khối biến đặc biệt như "Lịch sử Đối thoại" và "Ngữ cảnh" vào vị trí phù hợp bằng cách gõ "/" hoặc "{", cho phép chức năng trò chuyện phong phú hơn.
Trong các ứng dụng trò chuyện (Chatflow), nút LLM mặc định được bật cài đặt bộ nhớ hệ thống. Trong các cuộc đối thoại đa bước, hệ thống lưu trữ các tin nhắn đối thoại lịch sử và truyền chúng vào mô hình. Trong các ứng dụng quy trình làm việc (Workflow), bộ nhớ hệ thống được tắt mặc định và không cung cấp tùy chọn cài đặt bộ nhớ.
Nếu cài đặt cửa sổ bộ nhớ bị tắt, hệ thống sẽ truyền động các tin nhắn đối thoại lịch sử theo cửa sổ ngữ cảnh của mô hình. Khi cài đặt cửa sổ bộ nhớ được bật, bạn có thể cấu hình số lượng tin nhắn đối thoại lịch sử được truyền dựa trên nhu cầu của bạn.
Do sự khác biệt trong các giai đoạn huấn luyện mô hình, các mô hình khác nhau tuân theo các lệnh tên vai trò ở mức độ khác nhau, chẳng hạn như Human/Assistant, Human/AI, 人类/助手, v.v. Để điều chỉnh hiệu ứng phản hồi gợi ý của nhiều mô hình, hệ thống cho phép thiết lập tên vai trò đối thoại, sửa đổi tiền tố vai trò trong lịch sử đối thoại.
Trước khi chọn một mô hình phù hợp cho nhiệm vụ của bạn, bạn phải hoàn thành cấu hình mô hình trong "Cài đặt Hệ thống - Nhà cung cấp Mô hình". Phương pháp cấu hình cụ thể có thể được tham khảo trong . Sau khi chọn một mô hình, bạn có thể cấu hình các tham số của nó.
