# OpenLLM

Với [OpenLLM](https://github.com/bentoml/OpenLLM), bạn có thể chạy suy luận với bất kỳ mô hình ngôn ngữ lớn mã nguồn mở nào, triển khai lên đám mây hoặc tại chỗ, và xây dựng các ứng dụng AI mạnh mẽ. Và ChatX hỗ trợ kết nối với các khả năng suy luận của mô hình ngôn ngữ lớn đã triển khai của OpenLLM một cách cục bộ.

## Triển khai Mô hình OpenLLM

### Bắt đầu OpenLLM

Mỗi OpenLLM Server có thể triển khai một mô hình, và bạn có thể triển khai nó theo cách sau:

```
docker run --rm -it -p 3333:3000 ghcr.io/bentoml/openllm start facebook/opt-1.3b --backend pt
```

> Lưu ý: Sử dụng mô hình facebook/opt-1.3b ở đây chỉ là để minh họa, và hiệu quả có thể không tốt. Vui lòng chọn mô hình phù hợp theo tình hình thực tế. Để biết thêm các mô hình, vui lòng tham khảo: [Supported Model List](https://github.com/bentoml/OpenLLM#-supported-models).

Sau khi mô hình được triển khai, sử dụng mô hình đã kết nối trong ChatX.

Điền vào trong `Cài đặt > Nhà cung cấp Mô hình > OpenLLM:`

* Tên Mô hình: `facebook/opt-1.3b`
* URL Máy chủ: `http://<Machine_IP>:3333` Thay thế bằng địa chỉ IP máy của bạn

Nhấp vào "Lưu" và mô hình có thể được sử dụng trong ứng dụng.

Hướng dẫn này chỉ để kết nối nhanh chóng như một ví dụ. Để biết thêm tính năng và thông tin về cách sử dụng OpenLLM, vui lòng tham khảo: [OpenLLM](https://github.com/bentoml/OpenLLM)


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://developer.chatx.vn/iv-huong-dan-tich-hop-nang-cao/ket-noi-voi-cac-mo-hinh-khac-nhau/openllm.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.