OpenHands 맞춤형 LLM 설정

OpenHands는 LiteLLM을 통해 사용자 정의 모델을 해결합니다. 중요한 단계는 단순히 "OpenAI"를 선택하는 것이 아니라 공식 Advanced LLM Settings에 공급자 자격을 갖춘 Custom Model를 입력하는 것입니다. TokenHub의 경우 openai/YOUR_TOKENHUB_MODEL_ID를 사용합니다.

고급 LLM 설정 열기

1. OpenHands에서 LLM Settings를 엽니다.
2. Advanced를 켜십시오. 공식 Custom Model, Base URL 및 API Key 필드는 고급 설정에만 나타납니다.
3. Custom Model에 openai/YOUR_TOKENHUB_MODEL_ID를 입력합니다.
4. Base URL에 https://us-api.tokenhub.com/v1를 입력합니다.
5. API Key에 TokenHub API 키를 입력하세요.
6. Save Changes를 클릭합니다.

openai/ 접두사는 LiteLLM에게 OpenAI-compatible 경로를 사용하도록 지시합니다. TokenHub로 전송된 모델 ID는 여전히 슬래시 뒤의 값입니다. 베어 ID는 사용할 LiteLLM 공급자를 OpenHands에 확실하게 알려주지 않습니다.

저장 후 새 대화 시작

OpenHands 문서에서는 LLM 설정이 기본적으로 new conversations에 적용됩니다. 새 모델을 사용해야 하는 경우 기존 대화를 다시 시작하세요. 첫 번째 연결 테스트의 경우 이전 LLM 프로필이 결과에 영향을 미칠 수 없도록 새 대화를 만듭니다.

다음 순서로 새 대화를 테스트합니다.

1. OpenHands에게 파일 하나를 수정하지 않고 읽고 설명해달라고 요청하세요.
2. TokenHub 로그에서 모델 ID, 상태 코드, /v1/chat/completions 경로를 확인하세요.
3. 그런 다음 명시적이고 되돌릴 수 있는 파일 편집 또는 터미널 명령을 수행하도록 요청합니다.

OpenHands는 또한 유능한 모델이 필요하다고 경고합니다. 일반 채팅이 성공했지만 에이전트가 도구 단계에서 멈춘 경우 모델에 안정적인 도구 호출이 부족할 수 있습니다. 그렇다고 해서 반드시 Base URL가 손실되었다는 의미는 아닙니다.

필드별로 문제 해결

• Model not found 또는 LiteLLM 라우팅 오류: Custom Model가 openai/EXACT_MODEL_ID인지 확인하세요.
• 401: API Key를 다시 저장하고 Bearer 접두사를 포함하지 않습니다.
• 404: Base URL는 /chat/completions가 아닌 /v1로 끝나야 합니다.
• 요청은 여전히 이전 모델을 사용합니다. 해당 대화를 다시 시작하거나 새 대화를 생성하세요.
• 텍스트는 작동하지만 도구는 작동하지 않습니다. 문서화된 기본 함수 호출이 있는 TokenHub 모델을 선택하세요.

공식 참고자료

• OpenHands: 언어 모델 설정