LangChain Cài đặt API tùy chỉnh

Tích hợp Python chính thức của LangChain cho OpenAI tồn tại trong gói langchain-openai riêng biệt. Kết nối TokenHub bằng cách chuyển base_url tùy chỉnh tới ChatOpenAI. Đây là sự tích hợp mã; không có màn hình cài đặt ứng dụng.

Bước 1: cài đặt gói tích hợp chính thức

pip install -U langchain-openai

Đối với dự án được quản lý bởi uv, hãy sử dụng uv add langchain-openai. Chỉ cài đặt gói langchain cơ bản không cung cấp ChatOpenAI.

Bước 2: khởi tạo ChatOpenAI một cách rõ ràng cho TokenHub

export TOKENHUB_API_KEY="sk-..."

import os
from langchain_openai import ChatOpenAI

model = ChatOpenAI(
    base_url="__API_BASE_URL__/v1",
    api_key=os.environ["TOKENHUB_API_KEY"],
    model="YOUR_TOKENHUB_MODEL_ID",
    timeout=60,
    max_retries=2,
)

response = model.invoke("Reply with one sentence to confirm the connection.")
print(response.content)

Độ phân giải URL cơ sở ưu tiên base_url / openai_api_base của nhà xây dựng, sau đó là OPENAI_API_BASE, tiếp theo là SDK của OPENAI_BASE_URL bên dưới. Việc chuyển nó một cách rõ ràng sẽ ngăn chặn OpenAI URL cũ trong môi trường dự án ghi đè TokenHub.

Bước 3: xác minh từng khả năng một

1. Trước tiên, hãy chạy cuộc gọi invoke tối thiểu để xác nhận Hoàn thành trò chuyện thông thường.
2. Chỉ thêm stream khi lệnh gọi cơ bản hoạt động. Khi OPENAI_BASE_URL trỏ đến điểm cuối của bên thứ ba, LangChain không tự động kích hoạt stream_usage; chỉ đặt stream_usage=True nếu mô hình TokenHub và điểm cuối hỗ trợ sử dụng phát trực tuyến.
3. Đối với tác nhân, hãy liên kết một công cụ tối thiểu với bind_tools và kiểm tra tool_calls trên đối tượng được trả về. Đừng coi văn bản chỉ mô tả cuộc gọi là cuộc gọi công cụ.
4. Chỉ kiểm tra đầu ra, hình ảnh và lý luận có cấu trúc sau khi các lớp đó hoạt động.

ChatOpenAI nhắm mục tiêu rõ ràng các trường trong đặc tả OpenAI API. Không thể trích xuất hoặc bảo tồn các tiện ích mở rộng dành riêng cho nhà cung cấp như reasoning_content, reasoning hoặc reasoning_details. Phản hồi văn bản thành công không chứng minh rằng các tiện ích mở rộng đó hoạt động.

Khắc phục sự cố ở lớp LangChain không thành công

• Nhập không thành công: xác nhận langchain-openai đã được cài đặt.
• 404: kiểm tra base_url hiệu quả, bao gồm /v1 và kiểm tra các phần ghi đè biến môi trường.
• Lỗi mô hình: sử dụng ID mô hình TokenHub hoàn chỉnh trong model.
• Truyền phát văn bản hoạt động nhưng không sử dụng: kiểm tra stream_usage và liệu điểm cuối có hỗ trợ stream_options.include_usage hay không.
• Công cụ tác nhân không thành công: cách ly nó bằng bind_tools; invoke cơ bản thành công không phải là một bài kiểm tra công cụ.
• Không có trường lý luận không chuẩn: sử dụng tích hợp LangChain dành riêng cho nhà cung cấp hoặc xử lý phản hồi thô trực tiếp.

Tài liệu tham khảo chính thức

• LangChain: Tích hợp ChatOpenAI