OpenLLM

Với OpenLLM, bạn có thể chạy suy luận với bất kỳ mô hình ngôn ngữ lớn mã nguồn mở nào, triển khai lên đám mây hoặc tại chỗ, và xây dựng các ứng dụng AI mạnh mẽ. Và ChatX hỗ trợ kết nối với các khả năng suy luận của mô hình ngôn ngữ lớn đã triển khai của OpenLLM một cách cục bộ.

Triển khai Mô hình OpenLLM

Bắt đầu OpenLLM

Mỗi OpenLLM Server có thể triển khai một mô hình, và bạn có thể triển khai nó theo cách sau:

docker run --rm -it -p 3333:3000 ghcr.io/bentoml/openllm start facebook/opt-1.3b --backend pt

Lưu ý: Sử dụng mô hình facebook/opt-1.3b ở đây chỉ là để minh họa, và hiệu quả có thể không tốt. Vui lòng chọn mô hình phù hợp theo tình hình thực tế. Để biết thêm các mô hình, vui lòng tham khảo: Supported Model List.

Sau khi mô hình được triển khai, sử dụng mô hình đã kết nối trong ChatX.

Điền vào trong Cài đặt > Nhà cung cấp Mô hình > OpenLLM:

• Tên Mô hình: facebook/opt-1.3b

• URL Máy chủ: http://<Machine_IP>:3333 Thay thế bằng địa chỉ IP máy của bạn

Nhấp vào "Lưu" và mô hình có thể được sử dụng trong ứng dụng.

Hướng dẫn này chỉ để kết nối nhanh chóng như một ví dụ. Để biết thêm tính năng và thông tin về cách sử dụng OpenLLM, vui lòng tham khảo: OpenLLM