Cài đặt goose Custom Provider

goose ghi lại ba cách để tạo Nhà cung cấp tùy chỉnh: Máy tính để bàn, CLI và tệp nhà cung cấp. TokenHub sử dụng OpenAI Compatible. Trong lược đồ nhà cung cấp tùy chỉnh của goose, hãy nhập Toàn bộ cuộc trò chuyện URL: https://us-api.tokenhub.com/v1/chat/completions.

Sử dụng đường dẫn Desktop goose chính thức

1. Nhấp vào nút thanh bên ở góc trên bên trái.
2. Đi tới Settings → Models.
3. Nhấp vào Configure providers.
4. Cuộn xuống phía dưới và nhấp vào Add Custom Provider.
5. Chọn OpenAI Compatible cho Provider Type.
6. Nhập TokenHub cho Display Name.
7. Nhập https://us-api.tokenhub.com/v1/chat/completions cho API URL.
8. Luôn bật This provider requires an API key và nhập khóa TokenHub API của bạn. Máy tính để bàn lưu trữ nó trong móc khóa hệ thống hoặc trong secrets.yaml khi không có móc khóa.
9. Trong Available Models, nhập ID mẫu TokenHub chính xác, phân tách bằng dấu phẩy tiếng Anh.
10. Kích hoạt Streaming Support và nhấp vào Create Provider.

Máy tính để bàn hiện không thể thêm tiêu đề tùy chỉnh. Nếu quá trình triển khai yêu cầu, hãy tạo nhà cung cấp và chỉnh sửa JSON của nó sau đó.

Sử dụng đường dẫn goose CLI chính thức

Chạy:

goose configure

Sau đó làm theo thực đơn chính xác:

1. Chọn Custom Providers (Add custom provider with compatible API).
2. Chọn Add A Custom Provider.
3. Chọn OpenAI Compatible cho Loại API.
4. Đặt tên là TokenHub và nhập đầy đủ phần Hoàn thành trò chuyện URL.
5. Trả lời Có cho Authentication Required, chọn Static API key và dán khóa TokenHub.
6. Nhập ID mẫu chính xác dưới dạng danh sách được phân tách bằng dấu phẩy trong Available Models.
7. Kích hoạt tính năng hỗ trợ phát trực tuyến. Chỉ thêm Tiêu đề tùy chỉnh nếu điểm cuối thực sự yêu cầu chúng.

CLI cũng hỗ trợ Command (refreshable) cho thông tin xác thực ngắn hạn. Khóa TokenHub API bình thường không cần đường dẫn đó.

Kiểm tra tệp nhà cung cấp goose được tạo

Trên macOS và Linux, các tệp có dung lượng ~/.config/goose/custom_providers/. Trên Windows, sử dụng %APPDATA%\Block\goose\config\custom_providers\. Các trường quan trọng phải khớp:

{
  "name": "tokenhub",
  "engine": "openai",
  "display_name": "TokenHub",
  "api_key_env": "TOKENHUB_API_KEY",
  "base_url": "__API_BASE_URL__/v1/chat/completions",
  "models": [
    {
      "name": "YOUR_TOKENHUB_MODEL_ID",
      "context_limit": 128000
    }
  ],
  "supports_streaming": true,
  "requires_auth": true
}

Cần có api_key_env khi bạn viết tay JSON. Khóa tĩnh được nhập qua Máy tính để bàn hoặc CLI được goose lưu trữ an toàn. Thay thế context_limit bằng giới hạn thực của mô hình.

Chuyển đổi mô hình và áp dụng thay đổi

Trong Máy tính để bàn, đi tới Settings → Models → Switch models, chọn nhà cung cấp và kiểu máy TokenHub rồi nhấp vào Select model. Tài liệu goose cho biết thay đổi Nhà cung cấp tùy chỉnh có hiệu lực trong next goose session, do đó, đừng kiểm tra nó trong phiên cũ.

Bắt đầu phiên mới với tác vụ mã hóa chỉ đọc và xác nhận đường dẫn /v1/chat/completions hoàn chỉnh trong nhật ký TokenHub. Đối với 404, hãy kiểm tra API URL. Nếu một mô hình không hiển thị, hãy kiểm tra danh sách được phân tách bằng dấu phẩy hoặc models[].name. Nếu trò chuyện hoạt động nhưng tổng đài viên không thể hành động, hãy sử dụng mô hình trả về lệnh gọi công cụ có cấu trúc.

Tài liệu tham khảo chính thức

• goose: Định cấu hình Nhà cung cấp LLM