là một framework suy luận cục bộ cho phép triển khai các mô hình ngôn ngữ lớn như Llama 2, Mistral, Llava, v.v., chỉ với một cú nhấp chuột. ChatX hỗ trợ tích hợp các khả năng suy luận và nhúng văn bản của các mô hình ngôn ngữ lớn được triển khai bằng Ollama.
Tải xuống Ollama
Chạy Ollama và trò chuyện với Llava
Sau khi khởi chạy thành công, Ollama sẽ bắt đầu dịch vụ API trên cổng cục bộ 11434, có thể truy cập tại http://localhost:11434.
Tích hợp Ollama vào ChatX
Trong Cài đặt > Nhà cung cấp Mô hình > Ollama, điền vào:
Tên Mô hình: llava
Base URL: http://<your-ollama-endpoint-domain>:11434
Nhập URL cơ sở nơi dịch vụ Ollama có thể truy cập.
Nếu ChatX được triển khai bằng docker, hãy xem xét sử dụng địa chỉ IP mạng cục bộ, ví dụ:http://192.168.1.100:11434 hoặc địa chỉ IP của máy chủ docker, ví dụ:http://172.17.0.1:11434.
Đối với triển khai mã nguồn cục bộ, sử dụng http://localhost:11434.
Loại Mô hình: Chat
Độ dài ngữ cảnh của mô hình: 4096
Độ dài ngữ cảnh tối đa của mô hình. Nếu không chắc chắn, sử dụng giá trị mặc định là 4096.
Giới hạn số lượng token tối đa: 4096
Số lượng token tối đa mà mô hình trả về. Nếu không có yêu cầu cụ thể nào cho mô hình, điều này có thể đồng nhất với độ dài ngữ cảnh của mô hình.
Hỗ trợ hình ảnh: Có
Chọn tùy chọn này nếu mô hình hỗ trợ hiểu hình ảnh (đa phương tiện), như llava.
Nhấp vào "Lưu" để sử dụng mô hình trong ứng dụng sau khi xác nhận không có lỗi.
Phương pháp tích hợp cho các mô hình nhúng tương tự như LLM, chỉ cần thay đổi loại mô hình thành Text Embedding.
Sử dụng các mô hình Ollama
Truy cập trang Prompt Eng. của ứng dụng cần cấu hình, chọn mô hình llava dưới nhà cung cấp Ollama, và sử dụng sau khi cấu hình các tham số mô hình.
Lỗi này xảy ra vì dịch vụ Ollama không thể truy cập từ container docker. localhost thường chỉ tới chính container, không phải máy chủ hoặc các container khác. Để giải quyết vấn đề này, bạn cần mở dịch vụ Ollama ra mạng.
Nếu Ollama chạy như một ứng dụng macOS, các biến môi trường nên được thiết lập bằng cách sử dụng launchctl:
Đối với mỗi biến môi trường, gọi launchctl setenv.
Khởi động lại ứng dụng Ollama.
Nếu các bước trên không hiệu quả, bạn có thể sử dụng phương pháp sau:
Vấn đề nằm trong Docker, và để truy cập host Docker, bạn nên kết nối tới host.docker.internal. Do đó, thay thế localhost bằng host.docker.internal trong dịch vụ sẽ làm cho nó hoạt động hiệu quả.
Nếu Ollama chạy như một dịch vụ systemd, các biến môi trường nên được thiết lập bằng cách sử dụng systemctl:
Chỉnh sửa dịch vụ systemd bằng cách gọi systemctl edit ollama.service. Điều này sẽ mở một trình chỉnh sửa.
Đối với mỗi biến môi trường, thêm một dòng Environment dưới mục [Service]:
Lưu và thoát.
Tải lại systemd và khởi động lại Ollama:
Trên Windows, Ollama kế thừa các biến môi trường người dùng và hệ thống của bạn.
Đầu tiên, thoát Ollama bằng cách nhấp vào nó trên thanh tác vụ.
Chỉnh sửa các biến môi trường hệ thống từ bảng điều khiển.
Chỉnh sửa hoặc tạo mới biến (các) cho tài khoản người dùng của bạn cho OLLAMA_HOST, OLLAMA_MODELS, v.v.
Nhấp OK/Áp dụng để lưu.
Chạy ollama từ một cửa sổ terminal mới.
Ollama mặc định liên kết cổng 127.0.0.1 port 11434. Thay đổi địa chỉ liên kết bằng biến môi trường OLLAMA_HOST.
Để biết thêm thông tin về Ollama, vui lòng tham khảo:
Truy cập để tải xuống client Ollama cho hệ thống của bạn.
Đối với các mô hình khác, truy cập để biết thêm chi tiết.
