LangChain 맞춤형 API 설정

OpenAI를 위한 LangChain의 공식 Python 통합은 별도의 langchain-openai 패키지에 있습니다. 사용자 정의 base_url를 ChatOpenAI에 전달하여 TokenHub를 연결합니다. 이는 코드 통합입니다. 앱 설정 화면이 없습니다.

1단계: 공식 통합 패키지 설치

pip install -U langchain-openai

uv에서 관리하는 프로젝트의 경우 uv add langchain-openai를 사용하세요. 기본 langchain 패키지만 설치하면 ChatOpenAI가 제공되지 않습니다.

2단계: TokenHub에 대해 명시적으로 ChatOpenAI를 인스턴스화합니다.

export TOKENHUB_API_KEY="sk-..."

import os
from langchain_openai import ChatOpenAI

model = ChatOpenAI(
    base_url="__API_BASE_URL__/v1",
    api_key=os.environ["TOKENHUB_API_KEY"],
    model="YOUR_TOKENHUB_MODEL_ID",
    timeout=60,
    max_retries=2,
)

response = model.invoke("Reply with one sentence to confirm the connection.")
print(response.content)

기본 URL 확인은 생성자의 base_url / openai_api_base, OPENAI_API_BASE, 기본 SDK의 OPENAI_BASE_URL를 선호합니다. 이를 전달하면 프로젝트 환경의 이전 OpenAI URL가 TokenHub를 재정의하는 것을 명시적으로 방지할 수 있습니다.

3단계: 한 번에 하나의 기능 확인

1. 먼저 정상적인 채팅 완료를 확인하려면 최소 invoke 호출을 실행하세요.
2. 기본 호출이 작동하는 경우에만 stream를 추가하세요. OPENAI_BASE_URL가 타사 엔드포인트를 가리키는 경우 LangChain는 stream_usage를 자동으로 활성화하지 않습니다. TokenHub 모델 및 엔드포인트가 스트리밍 사용을 지원하는 경우에만 stream_usage=True를 설정하십시오.
3. 에이전트의 경우 하나의 최소 도구를 bind_tools와 바인딩하고 반환된 개체에서 tool_calls를 검사합니다. 단지 호출을 도구 호출로 설명하는 텍스트를 처리하지 마십시오.
4. 해당 레이어가 작동한 후에만 구조화된 출력, 이미지 및 추론을 테스트하세요.

ChatOpenAI는 OpenAI API 사양의 필드를 명시적으로 대상으로 합니다. reasoning_content, reasoning 또는 reasoning_details와 같은 공급자별 확장은 추출되거나 보존되지 않을 수 있습니다. 성공적인 텍스트 응답은 해당 확장이 작동한다는 것을 증명하지 않습니다.

실패한 LangChain 레이어 문제 해결

• 가져오기 실패: langchain-openai가 설치되었는지 확인하세요.
• 404: /v1를 포함하여 유효한 base_url를 검사하고 환경 변수 재정의를 확인합니다.
• 모델 오류: model에서 전체 TokenHub 모델 ID를 사용하세요.
• 스트리밍 텍스트는 작동하지만 사용법이 없습니다. stream_usage를 검사하고 엔드포인트가 stream_options.include_usage를 지원하는지 여부를 확인하세요.
• 에이전트 도구 실패: bind_tools로 격리합니다. 성공적인 기본 invoke는 도구 테스트가 아닙니다.
• 비표준 추론 필드가 없습니다. 공급자별 LangChain 통합을 사용하거나 원시 응답을 직접 처리하세요.

공식 참고자료

• LangChain: ChatOpenAI 통합