Cài đặt omp Custom Provider

omp kết hợp danh mục đi kèm của nó, ~/.omp/agent/models.yml, khám phá thời gian chạy và các mô hình đã đăng ký tiện ích mở rộng vào một sổ đăng ký. TokenHub là nhà cung cấp models.yml tùy chỉnh và được chọn là tokenhub/<model-id>.

Bước 1: đặt thông tin xác thực omp có thể giải quyết

export TOKENHUB_API_KEY="sk-..."

apiKey được phân giải dưới dạng tên biến môi trường hoặc giá trị bằng chữ. Nếu TOKENHUB_API_KEY tồn tại, omp sử dụng giá trị của nó; nếu không nó sẽ gửi văn bản đó làm khóa. Xác nhận biến tồn tại sau khi định cấu hình nó.

Bước 2: chỉnh sửa ~/.omp/agent/models.yml

providers:
  tokenhub:
    baseUrl: __API_BASE_URL__/v1
    api: openai-completions
    apiKey: TOKENHUB_API_KEY
    authHeader: true
    models:
      - id: YOUR_TOKENHUB_MODEL_ID
        name: TokenHub / YOUR_TOKENHUB_MODEL_ID
        contextWindow: 128000
        maxTokens: 8192

authHeader: true tiêm Authorization: Bearer <key> vào mỗi yêu cầu. Thay thế contextWindow và maxTokens bằng các giá trị cho mẫu TokenHub chính xác đó.

Bước 3: kiểm tra xem nhà cung cấp đã được tải và sẵn sàng chưa

omp models
omp models find YOUR_TOKENHUB_MODEL_ID

Một mô hình có thể vào sổ đăng ký của omp mà không thể chọn được. Quy tắc khả dụng chính thức là nhà cung cấp của nó không có trong danh sách disabledProviders có hiệu lực và không cần chìa khóa hoặc có thông tin xác thực có thể phân giải được. Khóa hợp lệ không thể khôi phục nhà cung cấp trong khi tokenhub vẫn bị tắt.

Giải quyết xung đột thông tin xác thực theo thứ tự ưu tiên của omp

Đối với nhiều thông tin đăng nhập trên một nhà cung cấp, omp sẽ kiểm tra thời gian chạy --api-key, models.yml apiKey, khóa API lưu trữ xác thực cục bộ, OAuth, biến môi trường của nhà cung cấp và cuối cùng là dự phòng nhà cung cấp tùy chỉnh. Việc ghim khóa của TokenHub trong models.yml được ưu tiên hơn OAuth cũ, phù hợp với Base URL tùy chỉnh.

Đối với lần kiểm tra đầu tiên, hãy chọn tokenhub/YOUR_TOKENHUB_MODEL_ID, chạy tác vụ chỉ đọc và kiểm tra nhật ký TokenHub. Nếu nhà cung cấp vắng mặt, hãy kiểm tra YAML và disabledProviders. Nếu nó hiện diện nhưng không thể chọn được, hãy kiểm tra độ phân giải của phím. Đối với 401, hãy kiểm tra biến và authHeader; đối với 400, hãy kiểm tra khả năng và giới hạn mã thông báo.

Tài liệu tham khảo chính thức

• omp: Cấu hình nhà cung cấp