Hugging Face

ChatX hỗ trợ Tạo Văn Bản và Nhúng. Dưới đây là các loại mô hình tương ứng trên Hugging Face:

• Tạo Văn Bản：text-generation，text2text-generation

• Nhúng：feature-extraction

Các bước cụ thể như sau:

1. Bạn cần một tài khoản Hugging Face (registered address).

2. Thiết lập API key của Hugging Face (obtain address).

3. Chọn một mô hình để truy cập vào trang danh sách mô hình của Hugging Face.

ChatX hỗ trợ truy cập vào các mô hình trên Hugging Face theo hai cách:

1. API Phân Đoán Được Lưu Trữ. Phương pháp này sử dụng mô hình được triển khai chính thức bởi Hugging Face. Không cần phí. Nhưng nhược điểm là chỉ một số ít mô hình hỗ trợ phương pháp này.

2. Điểm Kết Thúc Phân Đoán. Phương pháp này sử dụng tài nguyên như AWS được truy cập bởi Hugging Face để triển khai mô hình và yêu cầu thanh toán.

Các Mô Hình truy cập Hosted Inference API

1 Chọn một mô hình

API phân đoán được lưu trữ được hỗ trợ chỉ khi có một khu vực chứa API phân đoán được lưu trữ ở phía bên phải của trang chi tiết mô hình. Như hình dưới đây:

Trên trang chi tiết mô hình, bạn có thể nhận được tên của mô hình.

2 Sử dụng truy cập mô hình trong ChatX

Chọn API Phân Đoán Được Lưu Trữ cho Loại Điểm Kết Thúc trong Cài Đặt > Nhà Cung Cấp Mô Hình > Hugging Face > Model Type. Như hình dưới đây:

API Token là API Key được thiết lập ở đầu bài viết. Tên mô hình là tên mô hình nhận được ở bước trước đó.

Phương thức 2: Inference Endpoint

1 Chọn mô hình để triển khai

Inference Endpoint chỉ được hỗ trợ cho các mô hình có tùy chọn Inference Endpoint dưới nút Triển Khai ở phía bên phải của trang chi tiết mô hình. Như hình dưới đây:

2 Triển khai mô hình

Nhấp vào nút Triển Khai cho mô hình và chọn tùy chọn Inference Endpoint. Nếu bạn chưa liên kết thẻ ngân hàng trước đó, bạn sẽ cần phải liên kết thẻ. Chỉ cần tuân theo quy trình. Sau khi liên kết thẻ, giao diện sau sẽ xuất hiện: chỉnh sửa cấu hình theo yêu cầu và nhấn vào Tạo Endpoint ở góc dưới bên trái để tạo một Inference Endpoint.

Sau khi mô hình được triển khai, bạn có thể thấy Endpoint URL.

3 Sử dụng truy cập mô hình trong ChatX

Chọn Inference Endpoints cho Endpoint Type trong Cài Đặt > Nhà Cung Cấp Mô Hình > Hugging face > Model Type. Như hình dưới đây:

API Token là API Key được thiết lập ở đầu bài viết. Tên của mô hình Tạo Văn Bản có thể là bất kỳ, nhưng tên của mô hình Nhúng cần phải phù hợp với Hugging Face. URL Điểm Kết Thúc là URL Điểm Kết Thúc nhận được sau khi triển khai mô hình thành công ở bước trước đó.

Lưu Ý: "Tên Người Dùng / Tên Tổ Chức" cho Nhúng cần phải điền theo phương pháp triển khai của bạn trên Inference Endpoints của Hugging Face, với "Tên Người Dùng" hoặc "Tên Tổ Chức".