# Advanced Formatting

As configurações fornecidas nesta seção permitem mais controle sobre a estratégia de construção de prompt, principalmente para APIs de Text Completion.

A maioria das configurações neste painel não se aplica a APIs de Chat Completions, pois são governadas pelo sistema de prompt manager.

Você pode restaurar os templates padrão ao seu estado original. Isso pode ser feito através da interface do usuário ou excluindo manualmente os arquivos de dados relevantes.

1. Abra o menu Advanced Formatting.
2. Escolha o template que deseja redefinir.
3. Clique no botão Restore current template.
4. Confirme a ação quando solicitado.

1. Navegue até seu diretório de dados do usuário (veja Data paths para detalhes).
2. Exclua o arquivo content.log da raiz do seu diretório de dados do usuário. Este arquivo rastreia os arquivos padrão copiados para seu usuário.
3. Exclua os arquivos JSON de template dos subdiretórios relevantes (context, instruct, sysprompt, etc.).
4. Reinicie o servidor SillyTavern. A aplicação repovoará o conteúdo padrão, restaurando quaisquer templates padrão excluídos.

Algumas fontes de Text Completion fornecem uma capacidade de escolher automaticamente templates recomendados pelo autor do modelo. Isso funciona comparando um hash do chat template definido no arquivo tokenizer_config.json do modelo com um dos templates padrão do SillyTavern.

1. A opção Derive templates deve estar habilitada no menu Advanced Formatting. Isso pode ser aplicado a Context, Instruct, ou ambos.
2. Um backend suportado deve ser escolhido como fonte de Text Completion. Atualmente, apenas llama.cpp e KoboldCpp suportam derivação de templates.
3. O modelo deve relatar corretamente seus metadados quando a conexão com a API é estabelecida. Se isso não funcionou, tente atualizar o backend para a versão mais recente.
4. O hash do chat template relatado deve corresponder ao de um dos templates conhecidos do SillyTavern. Isso cobre apenas templates padrão, como Llama 3, Gemma 2, Mistral V7, etc.
5. Se o hash corresponder, o template será automaticamente selecionado se existir na lista de templates (ou seja, não renomeado ou excluído).

O System Prompt define as instruções gerais para o modelo seguir. Ele define o tom e o contexto para a conversa. Por exemplo, ele diz ao modelo para agir como um assistente de IA, um parceiro de escrita ou um personagem fictício.

O System Prompt é uma parte da Story String e geralmente a primeira parte do prompt que o modelo recebe.

Veja o guia de prompting para saber mais sobre o System Prompt.

Geralmente, modelos de IA exigem que você forneça os dados do personagem de alguma maneira específica. O SillyTavern inclui uma lista de regras de conversão pré-fabricadas para diferentes modelos, mas você pode personalizá-las como quiser.

As opções para esta seção são explicadas em Context Template.

Um tokenizer é uma ferramenta que divide um texto em unidades menores chamadas tokens. Esses tokens podem ser palavras individuais ou até partes de palavras, como prefixos, sufixos ou pontuação. Uma regra geral é que um token geralmente corresponde a 3~4 caracteres de texto.

As opções para esta seção são explicadas em Tokenizer.

Aceita um array serializado em JSON de strings de parada. Exemplo: ["\n", "\nUser:", "\nChar:"]. Se não tiver certeza sobre a formatação, use um validador JSON online. Se a saída do modelo terminar com qualquer uma das strings de parada, elas serão removidas da saída.

APIs suportadas:

1. KoboldAI Classic (versões 1.2.2 e superiores) ou KoboldCpp
2. AI Horde
3. APIs de Text Completion: Text Generation WebUI (ooba), Tabby, Aphrodite, Mancer, TogetherAI, Ollama, etc.
4. NovelAI
5. OpenAI (máximo 4 strings) e APIs compatíveis
6. OpenRouter (tanto Text quanto Chat Completion)
7. Claude
8. Google AI Studio
9. MistralAI

Pré-preenche a última linha do prompt, forçando o modelo a continuar a partir desse ponto. Isso é útil para impor conteúdo, como guiar para o Model Reasoning com o prefixo definido:

<think>
Sure!

Adiciona uma mensagem de função assistant ao final do prompt. Para alguns modelos de backend, isso é equivalente a pré-preencher a resposta do modelo, mas alguns podem não suportar isso de forma alguma e falharão com um erro de validação. Se não tiver certeza, deixe este campo vazio.