SillyTavern カスタム API のセットアップ

TokenHub は、テキスト補完や別のプロバイダーのプリセットではなく、SillyTavern の Custom (OpenAI-compatible) チャット補完ソースに属します。 SillyTavern は、カスタム エンドポイントがすべての機能で動作することが保証されていないため、テスト メッセージで確認してくださいと警告します。

SillyTavern の公式接続シーケンスに従ってください。

1. API Connections を開きます。
2. API タイプを Chat Completion に変更します。
3. Chat Completion Source には Custom (OpenAI-compatible) を選択します。
4. カスタム エンドポイント URL に「https://us-api.tokenhub.com/v1」と入力します。
5. TokenHub API キーを入力してください。
6. TokenHub の /v1/models がリストを返した場合は、メニューからモデルを選択します。それ以外の場合は、テキスト フィールドに完全なモデル ID を入力します。
7. [Test Message] をクリックし、最小限のプロンプトを送信します。

公式ガイドでは、/v1 で終わる URL を許可していますが、SillyTavern はそのパス自体を追加するため、/chat/completions を追加しないようにと記載されています。

実際のリクエストが機能した後でのみ、API ステータス チェックをバイパスしてください。

テスト メッセージと実際のチャットの両方が正常に返されたにもかかわらず、エンドポイントが利用できないことが SillyTavern によって報告された場合は、Bypass API status check を有効にします。これにより、ステータス警告が抑制されます。 401、404、タイムアウト、または無効なモデルは修正されません。失敗したリクエストを隠すために使用しないでください。

プロンプト後処理を SillyTavern 固有のコントロールとして扱う

エンドポイントで隣接するロール、単一のシステム メッセージ、またはユーザー メッセージを最初にマージする必要がある場合は、文書化されたレベルを最も制限の低いものから最も制限的なものへと移動します: [なし]、[連続したメッセージをマージ]、[半厳密]、[厳密]、および [単一ユーザー メッセージ]。

ツール呼び出しの場合は、no tools バリアントを選択しないでください。ツールを使用しない形式の Merge、Semi-strict、および Strict では、プロンプトからツール呼び出しが削除されます。なしおよび基本的なチャット完了から始めます。明確なロール形式エラーが発生した後にのみ、処理を強化してください。

SillyTavern のフォームのフィールドのトラブルシューティングを行う

• 空のモデル メニュー: /models は使用可能なリストを返さなかったので、モデル ID を手動で入力してください。
• 404: エンドポイントが /v1 で終了することを確認してください。
• テスト メッセージは成功しますが、ステータス警告が残ります。その場合のみ、API ステータス チェックをバイパスすることを検討してください。
• ツールが突然消える: ツールを使用しないプロンプトの後処理オプションを確認してください。
• ロール メッセージ フォーマット エラー: すべてを 1 つのメッセージにまとめるのではなく、一度に 1 レベルずつマージ、セミストリクト、およびストリクトを試してください。

公式リファレンス

• SillyTavern: チャットの完了