Kết nối với các mô hình khác nhau

Tìm hiểu về các mô hình khác nhau được ChatX hỗ trợ.

ChatX hỗ trợ các nhà cung cấp mô hình lớn như loạt GPT của OpenAI và loạt Claude của Anthropic. Các khả năng và tham số của mỗi mô hình khác nhau, vì vậy hãy chọn một nhà cung cấp mô hình phù hợp với nhu cầu ứng dụng của bạn. Lấy API key từ trang web chính thức của nhà cung cấp mô hình trước khi sử dụng trong ChatX.

Loại Mô Hình trong ChatX

ChatX phân loại mô hình thành 4 loại, mỗi loại cho các ứng dụng khác nhau:

1. Mô Hình System Inference: Được sử dụng trong các ứng dụng cho các nhiệm vụ như trò chuyện, tạo tên và đề xuất câu hỏi tiếp theo.

   Các nhà cung cấp bao gồm OpenAI、Azure OpenAI Service、Anthropic、Hugging Face Hub、Replicate、Xinference、OpenLLM、iFLYTEK SPARK、WENXINYIYAN、TONGYI、Minimax、ZHIPU(ChatGLM) Ollama、LocalAI、.

2. Mô Hình Nhúng: Được sử dụng để nhúng tài liệu đã phân đoạn vào kiến thức và xử lý các truy vấn của người dùng trong các ứng dụng.

   Các nhà cung cấp bao gồm OpenAI, ZHIPU (ChatGLM), Jina AI(Jina Embeddings 2).

3. Mô Hình Rerank: Tăng cường khả năng tìm kiếm trong các LLM.

   Nhà cung cấp: Cohere.

4. Mô Hình Chuyển Đổi Giọng Nói thành Văn Bản: Chuyển đổi từ ngữ nói thành văn bản trong các ứng dụng trò chuyện.

   Nhà cung cấp: OpenAI.

ChatX dự định thêm nhiều nhà cung cấp LLM khác khi công nghệ và nhu cầu người dùng phát triển.

Dịch Vụ Thử Nghiệm Mô Hình Được Lưu Trữ

ChatX cung cấp các hạn mức dùng thử cho người dùng dịch vụ đám mây để thử nghiệm các mô hình khác nhau. Thiết lập nhà cung cấp mô hình của bạn trước khi kết thúc thời gian dùng thử để đảm bảo việc sử dụng ứng dụng không bị gián đoạn.

• Dịch vụ Thử Nghiệm Mô Hình Được Lưu Trữ của OpenAI: Bao gồm 200 lời gọi cho các mô hình như GPT3.5-turbo, GPT3.5-turbo-16k, mô hình text-davinci-003.

Thiết lập Mô Hình Mặc Định

ChatX tự động chọn mô hình mặc định dựa trên việc sử dụng. Cấu hình này trong Cài Đặt > Nhà Cung Cấp Mô Hình.

Cài Đặt Tích Hợp Mô Hình

Chọn mô hình của bạn trong Cài Đặt > Nhà Cung Cấp Mô Hình của ChatX .

Các nhà cung cấp mô hình được chia thành hai loại:

1. Mô Hình Sở Hữu: Được phát triển bởi các nhà cung cấp như OpenAI và Anthropic.

2. Mô Hình Được Lưu Trữ: Cung cấp các mô hình của bên thứ ba, như Hugging Face và Replicate.

Phương pháp tích hợp khác nhau giữa các loại này.

Nhà Cung Cấp Mô Hình Sở Hữu: ChatX kết nối với tất cả các mô hình từ một nhà cung cấp tích hợp. Đặt API key của nhà cung cấp trong ChatX để tích hợp.

ChatX sử dụng mã hóa PKCS1_OAEP để bảo vệ API keys của bạn. Mỗi người dùng (tenant) có một cặp khóa duy nhất cho việc mã hóa, đảm bảo API keys của bạn được giữ bí mật.

Nhà Cung Cấp Mô Hình Được Lưu Trữ: Tích hợp các mô hình của bên thứ ba một cách riêng lẻ.

Các phương pháp tích hợp cụ thể không được mô tả ở đây.

• Hugging Face
• Replicate
• Xinference
• OpenLLM

Các mô hình sử dụng

Sau khi được cấu hình, các mô hình này sẵn sàng cho việc sử dụng trong ứng dụng của bạn.