OpenHands Tùy chỉnh LLM & OpenAI-Compatible Cài đặt API |...

OpenHands là gì?

OpenHands là một tác nhân phát triển phần mềm nguồn mở có thể hoạt động với các kho lưu trữ, thiết bị đầu cuối, trình duyệt và các mô hình ngôn ngữ có thể định cấu hình.

Thiết lập OpenHands này lưu cấu hình TokenHub được hỗ trợ bởi LLM thông qua Cài đặt LLM nâng cao. Sử dụng tên mô hình LiteLLM có tiền tố OpenAI và xác thực tác vụ chỉ đọc trong cuộc trò chuyện mới trước khi cho phép thay đổi. OpenHands định tuyến các mô hình tùy chỉnh thông qua LiteLLM, đó là lý do tại sao giá trị Mô hình tùy chỉnh bao gồm tiền tố của nhà cung cấp OpenAI cũng như ID mô hình TokenHub chính xác. Cài đặt LLM đã lưu có thể không thay thế cấu hình của cuộc trò chuyện hiện có, vì vậy hãy tạo phiên mới và xác thực việc đọc kho lưu trữ trước khi cho phép thay đổi thiết bị đầu cuối hoặc tệp.

OpenHands giải quyết các mô hình tùy chỉnh thông qua LiteLLM. Bước quan trọng không chỉ đơn thuần là chọn “OpenAI” mà còn nhập Custom Model đủ điều kiện của nhà cung cấp vào Advanced LLM Settings chính thức. Đối với TokenHub, hãy sử dụng openai/YOUR_TOKENHUB_MODEL_ID.

Mở cài đặt LLM nâng cao

Mở LLM Settings trong OpenHands.
Bật Advanced. Các trường Custom Model, Base URL và API Key chính thức chỉ xuất hiện trong cài đặt nâng cao.
Nhập openai/YOUR_TOKENHUB_MODEL_ID vào Custom Model.
Nhập https://us-api.tokenhub.com/v1 vào Base URL.
Nhập khóa TokenHub API của bạn vào API Key.
Nhấp vào Save Changes.

Tiền tố openai/ yêu cầu LiteLLM sử dụng tuyến đường OpenAI-compatible của nó. ID mẫu được gửi tới TokenHub vẫn là giá trị sau dấu gạch chéo. ID trần không cho OpenHands biết nên sử dụng nhà cung cấp LiteLLM nào một cách đáng tin cậy.

Bắt đầu cuộc trò chuyện mới sau khi lưu

OpenHands ghi lại rằng cài đặt LLM áp dụng cho new conversations theo mặc định. Bắt đầu lại cuộc trò chuyện hiện có nếu nó phải sử dụng mô hình mới. Đối với lần kiểm tra kết nối đầu tiên, hãy tạo cuộc trò chuyện mới để cấu hình LLM cũ không thể ảnh hưởng đến kết quả.

Kiểm tra cuộc trò chuyện mới theo thứ tự sau:

Yêu cầu OpenHands đọc và giải thích một tệp mà không sửa đổi nó.
Kiểm tra ID mẫu, mã trạng thái và đường dẫn /v1/chat/completions trong nhật ký TokenHub.
Sau đó yêu cầu nó thực hiện một lệnh chỉnh sửa tệp hoặc lệnh đầu cuối rõ ràng, có thể đảo ngược.

OpenHands cũng cảnh báo rằng họ cần một mô hình có khả năng hoạt động. Nếu trò chuyện đơn giản thành công nhưng tác nhân dừng ở bước công cụ, mô hình có thể thiếu lệnh gọi công cụ đáng tin cậy; điều đó không nhất thiết có nghĩa là Base URL đã bị mất.

Khắc phục sự cố theo từng trường

Model not found hoặc lỗi định tuyến LiteLLM: xác nhận Custom Model là openai/EXACT_MODEL_ID.
401: lưu lại API Key và không bao gồm tiền tố Bearer .
404: Base URL phải kết thúc bằng /v1, không phải /chat/completions.
Các yêu cầu vẫn sử dụng mô hình cũ: bắt đầu lại cuộc trò chuyện đó hoặc tạo cuộc trò chuyện mới.
Văn bản hoạt động nhưng các công cụ thì không: chọn mô hình TokenHub có chức năng gọi hàm gốc được ghi lại.

Tài liệu tham khảo chính thức

OpenHands: Cài đặt mẫu ngôn ngữ

Chọn mô hình

Khối lượng công việcLựa chọn mô hìnhLý do phù hợp

Tác vụ phức tạpMô hình suy luận hỗ trợ công cụPhù hợp với lập kế hoạch, nhiều bước và ngữ cảnh dài.

Sử dụng hằng ngàyMô hình cân bằngCân bằng chất lượng, tốc độ và chi phí.

Tóm tắt và tác vụ nhẹMô hình nhanh, chi phí thấpGiảm chi phí cho tóm tắt và lặp lại đơn giản.

Xem mô hình TokenHub

OpenHands tùy chỉnh LLM FAQ

Làm cách nào để định cấu hình LLM tùy chỉnh trong OpenHands?

Mở Cài đặt → LLM → Nâng cao, đặt Mẫu tùy chỉnh thành openai/<TokenHub Model ID>, sau đó nhập khóa TokenHub /v1 Base URL và API.

Tại sao mô hình OpenHands cần tiền tố openai/?

OpenHands sử dụng định tuyến LiteLLM. Tiền tố yêu cầu LiteLLM gửi ID mẫu chính xác sau thông qua vận chuyển OpenAI-compatible.

Tại sao cuộc hội thoại OpenHands hiện tại vẫn giữ mô hình cũ?

Cài đặt LLM đã lưu có thể không thay thế cấu hình cuộc trò chuyện hiện có. Bắt đầu hoặc bắt đầu lại cuộc trò chuyện và kiểm tra cấu hình LLM đang hoạt động.

Những mẫu nào phù hợp với OpenHands?

Sử dụng mô hình mã hóa có native tool calling đáng tin cậy và đủ ngữ cảnh cho nhiệm vụ. Một mô hình chỉ trò chuyện không thể vận hành các công cụ đầu cuối, trình duyệt và tệp một cách đáng tin cậy.

Tôi nên kiểm tra OpenHands một cách an toàn như thế nào?

Sử dụng kho lưu trữ thử nghiệm và bắt đầu với phần giải thích hoặc tìm kiếm chỉ đọc. Kiểm tra nhật ký TokenHub, sau đó cho phép thay đổi tệp và lệnh dần dần.