Um agente de IA que só responde perguntas é uma coisa. Um agente com acesso a documentos, sistemas internos e ferramentas de trabalho é outra bem diferente. Ele pode abrir chamados, alterar dados, executar código ou tomar decisões dentro de um fluxo. Quando algo dá errado, a empresa precisa saber o que o agente podia fazer, quem aprovou o acesso e como interromper a operação.
É nesse problema que a Anthropic concentra o anúncio Developing Enterprise Frontier Safeguards with our customers. A empresa descreve controles desenvolvidos com clientes para reduzir riscos quando modelos passam a executar tarefas em ambientes corporativos. O texto não apresenta uma autorização automática para deixar Claude agir sozinho. Apresenta um conjunto de perguntas que precisam ser respondidas antes do acesso.
O agente precisa de um limite claro
A primeira decisão é definir a tarefa e o alcance dela. Ler uma pasta de documentos para preparar um resumo tem um risco diferente de enviar mensagens para clientes ou alterar registros financeiros. Colocar todas essas ações atrás da mesma permissão simplifica a configuração, mas aumenta o estrago possível quando uma conta é comprometida ou quando o modelo interpreta uma instrução de forma errada.
Na prática, o acesso deve acompanhar a função. Um agente que organiza uma caixa de entrada não precisa apagar mensagens, acessar a folha de pagamento ou publicar em nome da empresa. A permissão também precisa ser temporária quando a tarefa tiver começo e fim. Esse detalhe costuma desaparecer quando a equipe está com pressa para testar a novidade.
Outro ponto é separar a intenção do usuário da instrução encontrada pelo agente. Um documento, e-mail ou página pode conter texto tentando manipular o modelo. A Anthropic trata esse tipo de risco como parte do problema de agentes, porque o sistema não trabalha apenas com uma pergunta controlada: ele navega por informações que podem ser ambíguas ou maliciosas.
Supervisão não é apertar um botão de aprovação
Uma janela pedindo confirmação pode ajudar, mas não resolve qualquer situação. Se a equipe aprova dezenas de ações iguais sem olhar o conteúdo, a supervisão vira um carimbo. O controle precisa aparecer no momento certo, principalmente antes de operações irreversíveis, envio de dados sensíveis, mudança de permissões ou comunicação externa.
Também vale registrar o caminho da decisão. A empresa deve conseguir reconstruir qual pedido iniciou a tarefa, quais fontes o agente consultou, quais ferramentas foram chamadas e onde uma pessoa interveio. Sem esse histórico, investigar um incidente vira uma conversa de memória, e memória costuma ser um péssimo sistema de auditoria.
A proposta não elimina a necessidade de testes. Antes de conectar um agente a um ambiente real, uma equipe pode usar dados fictícios, limitar as ferramentas e observar como ele reage a instruções conflitantes. O teste precisa incluir falhas comuns: credencial expirada, resposta incompleta, documento malicioso, serviço indisponível e pedido fora do escopo.
O que uma empresa deve conferir antes de começar
O caminho mais seguro é escolher uma tarefa pequena, repetitiva e reversível. Um agente pode classificar solicitações internas ou sugerir respostas sem enviá-las. A equipe mede erros, revisa amostras e só amplia a autonomia quando sabe como desfazer uma ação e quem assume a responsabilidade pelo resultado.
Esse processo exige um inventário simples: quais dados entram, quais sistemas podem ser acessados, quais ações são permitidas, qual pessoa aprova exceções e qual mecanismo interrompe o agente. A lista não precisa virar um projeto de meses. Ela precisa ser específica o bastante para impedir que “acesso ao sistema” esconda dez permissões diferentes.
A Anthropic também deixa uma mensagem importante para quem compra a tecnologia: salvaguarda não é um recurso isolado do modelo. Ela depende da integração, das políticas da empresa, das credenciais, do monitoramento e do desenho da tarefa. Um modelo pode recusar uma ação perigosa e ainda assim operar em um ambiente permissivo demais. A configuração ao redor continua importando.
Para quem está começando, a pergunta útil não é se o agente parece inteligente durante uma demonstração. É se a equipe consegue limitar o que ele faz, identificar um erro e recuperar o controle sem improviso. Começar com uma tarefa de baixo risco pode parecer menos empolgante, mas produz uma resposta muito mais útil sobre a capacidade real do sistema.
Fonte: Anthropic, Developing Enterprise Frontier Safeguards with our customers.
