Um modelo de linguagem pode aprender a completar textos e ainda assim responder mal quando alguém pede ajuda. Ele pode ser convincente demais, ignorar instruções ou escolher uma resposta longa quando bastava dizer o essencial. É por isso que o treinamento não termina quando o modelo aprende a prever o próximo token.
Um guia publicado no Hugging Face Blog organiza o chamado pós-treinamento em torno de métodos como PPO, DPO e GRPO. O nome parece assunto de laboratório, mas a ideia é prática: depois de aprender padrões de linguagem, o modelo passa por uma etapa que tenta aproximar suas respostas do comportamento esperado por pessoas e produtos.
O que o pós-treinamento tenta corrigir
O pré-treinamento usa grandes coleções de texto para ensinar o modelo sobre linguagem, fatos e padrões. Esse processo não fornece, sozinho, uma noção confiável de resposta útil. O modelo aprende a produzir algo provável, não necessariamente algo correto, seguro ou adequado ao pedido.
No pós-treinamento, equipes usam exemplos de instruções e respostas, preferências humanas ou sinais calculados por outros modelos. O objetivo é mudar a distribuição de respostas: diante da mesma pergunta, o sistema deve preferir uma saída que siga melhor a instrução, seja mais clara e evite comportamentos indesejados.
PPO: recompensa, avaliação e ajustes sucessivos
O PPO, sigla de Proximal Policy Optimization, trata o modelo como uma política que escolhe ações, neste caso tokens. Um avaliador atribui uma recompensa à resposta e o treinamento ajusta o modelo para aumentar a chance de escolhas bem avaliadas. A técnica limita o tamanho de cada atualização para evitar que o modelo se afaste demais do comportamento anterior.
Na prática, o método ficou associado ao aprendizado por reforço com feedback humano. Ele é poderoso, mas exige várias peças: respostas de referência, um modelo de recompensa ou avaliadores, amostras suficientes e cuidado com sinais mal definidos. Se a recompensa mede apenas estilo, por exemplo, o sistema pode aprender a parecer seguro sem ficar mais correto.
DPO: aprender com pares de preferência
O DPO, ou Direct Preference Optimization, simplifica parte desse caminho. Em vez de treinar uma política separada para calcular recompensas e depois otimizar essa política, ele usa pares de respostas: uma preferida e outra rejeitada. O modelo aprende a aumentar a probabilidade da primeira em relação à segunda.
Essa abordagem reduz a complexidade operacional e pode ser mais simples de reproduzir. O ponto fraco está nos próprios dados. Preferências inconsistentes, respostas rejeitadas que na verdade são aceitáveis ou exemplos muito estreitos empurram o modelo para um comportamento igualmente estreito.
GRPO: comparar grupos sem um crítico separado
O GRPO, Group Relative Policy Optimization, compara várias respostas geradas para o mesmo problema e calcula uma vantagem relativa dentro desse grupo. A abordagem ganhou espaço em treinamentos nos quais é possível verificar parte do resultado, como problemas de matemática, código ou tarefas com uma resposta mensurável.
Isso não significa que GRPO resolva a avaliação de forma mágica. Um verificador pode conferir se um resultado bateu, mas não se a explicação é boa, se o código é seguro ou se a resposta atende ao contexto do usuário. O método continua dependente do que a equipe consegue medir.
O que muda para quem usa IA
Para o usuário brasileiro, a consequência mais importante é entender que uma resposta melhor pode vir de várias camadas de treinamento, e não de um botão secreto no aplicativo. Modelos ajustados para seguir instruções tendem a conversar melhor, mas ainda carregam os limites dos dados, dos avaliadores e dos testes escolhidos.
Também vale desconfiar de comparações que tratam PPO, DPO ou GRPO como uma disputa com vencedor universal. Cada técnica combina melhor com certos dados, objetivos e formas de avaliação. O resultado final depende do modelo base, da qualidade dos exemplos, do verificador e da tarefa que será cobrada.
Quem quiser estudar o tema pode começar pelo guia do Hugging Face Blog e observar três perguntas: qual comportamento está sendo recompensado, como as respostas são comparadas e quais erros ficam fora da avaliação. São perguntas menos chamativas que a sigla da técnica, mas dizem mais sobre o modelo que chega ao produto.
