SillyTavern 사용자 정의 API 설정

TokenHub는 텍스트 완성이나 다른 공급자에 대한 사전 설정이 아닌 SillyTavern의 Custom (OpenAI-compatible) 채팅 완성 소스에 속합니다. SillyTavern는 사용자 지정 엔드포인트가 모든 기능에서 작동한다고 보장할 수 없다고 경고하므로 테스트 메시지를 통해 확인하세요.

SillyTavern의 공식 연결 순서를 따르세요.

1. API Connections를 엽니다.
2. API 유형을 Chat Completion로 변경합니다.
3. Chat Completion Source에 대해 Custom (OpenAI-compatible)를 선택합니다.
4. 사용자 정의 엔드포인트 URL에 대해 https://us-api.tokenhub.com/v1를 입력합니다.
5. TokenHub API 키를 입력하세요.
6. TokenHub의 /v1/models가 목록을 반환하는 경우 메뉴에서 모델을 선택합니다. 그렇지 않으면 텍스트 필드에 전체 모델 ID를 입력하십시오.
7. Test Message를 클릭하고 최소한의 프롬프트를 보냅니다.

공식 가이드에서는 /v1로 끝나는 URL를 허용하지만 SillyTavern가 해당 경로 자체를 추가하기 때문에 /chat/completions를 추가하지 말라고 나와 있습니다.

실제 요청이 작동한 후에만 API 상태 확인 우회를 사용하세요.

테스트 메시지와 실제 채팅이 모두 정상적으로 반환되었지만 SillyTavern가 여전히 엔드포인트를 사용할 수 없다고 보고하는 경우 Bypass API status check를 활성화하세요. 이렇게 하면 상태 경고가 표시되지 않습니다. 401, 404, 시간 초과 또는 잘못된 모델은 수정되지 않습니다. 실패한 요청을 숨기는 데 사용하지 마십시오.

프롬프트 후처리를 SillyTavern 전용 컨트롤로 처리

엔드포인트에서 인접한 역할을 병합해야 하는 경우 단일 시스템 메시지 또는 사용자 메시지가 먼저 문서화된 수준을 가장 제한적인 수준에서 가장 제한적인 수준(없음, 연속 메시지 병합, 준엄격, 엄격 및 단일 사용자 메시지)으로 이동합니다.

공구 호출의 경우 no tools 변형을 선택하지 마십시오. 도구가 없는 병합, 준엄격 및 엄격의 형식은 프롬프트에서 도구 호출을 제거합니다. 없음 및 기본 채팅 완료로 시작하세요. 명확한 역할 형식 오류가 발생한 후에만 처리를 강화하세요.

SillyTavern 양식의 필드 문제 해결

• 빈 모델 메뉴: /models가 사용 가능한 목록을 반환하지 않았으므로 모델 ID를 수동으로 입력하세요.
• 404: 엔드포인트가 /v1에서 끝나는지 확인하세요.
• 테스트 메시지는 성공했지만 상태 경고가 남아 있습니다. 그런 다음에만 API 상태 확인을 우회하는 것을 고려하십시오.
• 도구가 갑자기 사라집니다. 도구가 없는 프롬프트 후처리 옵션을 확인하세요.
• 역할 메시지 형식 오류: 모든 것을 하나의 메시지로 축소하는 대신 한 번에 한 수준씩 병합, 준엄격 및 엄격을 시도해 보세요.

공식 참고자료

• SillyTavern: 채팅 완료