SillyTavern Tùy chỉnh OpenAI-Compatible API Cài đặt

SillyTavern là gì?

SillyTavern là giao diện người dùng trò chuyện nâng cao để nhập vai và các cuộc trò chuyện dài với nhiều API mô hình.

Thiết lập SillyTavern này tuân theo quy trình Trò chuyện OpenAI-compatible Completion tùy chỉnh của nó. Sử dụng gốc API kết thúc bằng /v1, cung cấp ID mẫu chính xác khi không có tính năng khám phá và sử dụng Tin nhắn kiểm tra trước một cuộc trò chuyện dài. SillyTavern là một giao diện người dùng chứ không phải là một dịch vụ mô hình đi kèm và các phiên nhập vai kéo dài có thể tích lũy đáng kể prompt và mã thông báo lịch sử. Xác nhận Trò chuyện tùy chỉnh Completion bằng Tin nhắn kiểm tra, nhập mô hình theo cách thủ công nếu khám phá không thành công, đồng thời xem xét giới hạn ngữ cảnh và cách sử dụng trước khi bắt đầu một cuộc trò chuyện dài.

TokenHub thuộc nguồn Hoàn thành trò chuyện Custom (OpenAI-compatible) của SillyTavern, không phải là Hoàn thành văn bản hoặc cài đặt trước cho nhà cung cấp khác. SillyTavern cảnh báo rằng điểm cuối tùy chỉnh không được đảm bảo hoạt động với mọi tính năng, vì vậy hãy xác minh điểm cuối đó bằng Thông báo kiểm tra.

Thực hiện theo trình tự kết nối chính thức của SillyTavern

Mở API Connections.
Thay đổi loại API thành Chat Completion.
Chọn Custom (OpenAI-compatible) cho Chat Completion Source.
Nhập https://us-api.tokenhub.com/v1 cho Điểm cuối tùy chỉnh URL.
Nhập khóa TokenHub API của bạn.
Nếu /v1/models của TokenHub trả về một danh sách, hãy chọn kiểu máy từ menu. Nếu không, hãy nhập ID mẫu hoàn chỉnh vào trường văn bản.
Nhấp vào Test Message và gửi lời nhắc tối thiểu.

Hướng dẫn chính thức cho phép URL kết thúc bằng /v1 nhưng nói không thêm /chat/completions, vì SillyTavern tự thêm đường dẫn đó.

Chỉ sử dụng tính năng Bypass API kiểm tra trạng thái sau khi có yêu cầu thực sự hoạt động

Nếu Tin nhắn kiểm tra và cuộc trò chuyện thực tế đều trở lại bình thường nhưng SillyTavern vẫn báo cáo rằng điểm cuối không khả dụng, hãy bật Bypass API status check. Điều này ngăn chặn cảnh báo trạng thái; nó không sửa mô hình 401, 404, hết thời gian chờ hoặc không hợp lệ. Không sử dụng nó để ẩn một yêu cầu không thành công.

Coi Xử lý hậu kỳ nhanh chóng như một biện pháp kiểm soát dành riêng cho SillyTavern

Nếu điểm cuối yêu cầu hợp nhất các vai trò liền kề, trước tiên là một thông báo hệ thống hoặc một thông báo người dùng, hãy chuyển qua các cấp độ được ghi lại từ ít hạn chế nhất đến hạn chế nhất: Không, Hợp nhất các thông báo liên tiếp, Thông báo bán nghiêm ngặt, Nghiêm ngặt và Một người dùng.

Để gọi công cụ, không chọn biến thể no tools. Các dạng không có công cụ của Hợp nhất, Bán nghiêm ngặt và Nghiêm ngặt sẽ loại bỏ lệnh gọi công cụ khỏi lời nhắc. Bắt đầu với Không có và Hoàn thành trò chuyện cơ bản; thắt chặt xử lý chỉ sau khi có lỗi định dạng vai trò rõ ràng.

Khắc phục sự cố các trường trong biểu mẫu của SillyTavern

Menu mẫu trống: /models không trả về danh sách có thể sử dụng được, vì vậy hãy nhập ID mẫu theo cách thủ công.
404: đảm bảo điểm cuối kết thúc tại /v1.
Thông báo kiểm tra thành công nhưng cảnh báo trạng thái vẫn còn: chỉ sau đó mới xem xét Bỏ qua kiểm tra trạng thái API.
Các công cụ đột nhiên biến mất: kiểm tra tùy chọn Xử lý hậu kỳ nhắc nhở không có công cụ.
Lỗi định dạng thông báo vai trò: thử Hợp nhất, Bán nghiêm ngặt và Nghiêm ngặt từng cấp một thay vì thu gọn mọi thứ thành một thông báo.

Tài liệu tham khảo chính thức

SillyTavern: Hoàn thành cuộc trò chuyện

Chọn mô hình

Khối lượng công việcLựa chọn mô hìnhLý do phù hợp

Tác vụ phức tạpMô hình suy luận hỗ trợ công cụPhù hợp với lập kế hoạch, nhiều bước và ngữ cảnh dài.

Sử dụng hằng ngàyMô hình cân bằngCân bằng chất lượng, tốc độ và chi phí.

Tóm tắt và tác vụ nhẹMô hình nhanh, chi phí thấpGiảm chi phí cho tóm tắt và lặp lại đơn giản.

Xem mô hình TokenHub

SillyTavern tùy chỉnh API FAQ

Tôi nên chọn loại API nào?

Chọn Trò chuyện Completion, sau đó chọn Tùy chỉnh (OpenAI-compatible) làm nguồn.

Điều gì sẽ xảy ra nếu SillyTavern không thể liệt kê mẫu TokenHub của tôi?

Nhập ID mẫu chính xác theo cách thủ công. Điểm cuối tùy chỉnh có thể hoạt động ngay cả khi không có danh sách /v1/models.

Tôi có nên bật tính năng Bypass API kiểm tra trạng thái không?

Chỉ khi Thông báo kiểm tra hoạt động nhưng kiểm tra trạng thái tiếp tục cảnh báo không chính xác. Nó không sửa chữa một điểm cuối không hoạt động.

Tại sao các cuộc trò chuyện SillyTavern kéo dài trở nên chậm hoặc không thành công?

Ký tự prompt và lịch sử trò chuyện sử dụng ngữ cảnh liên tục. Xem lại giới hạn ngữ cảnh của mô hình và mức sử dụng mã thông báo, sau đó tóm tắt hoặc cắt bớt lịch sử khi cần.

Làm cách nào để xác minh điểm cuối tùy chỉnh SillyTavern?

Chạy Tin nhắn kiểm tra, xác nhận kiểu máy đã chọn vẫn hoạt động và kiểm tra yêu cầu Chat Completions trong nhật ký TokenHub trước khi bắt đầu một cuộc trò chuyện dài.