A OpenAI anunciou nesta segunda-feira (2) um benchmark interno para medir como seus modelos de IA lidam com tarefas cotidianas tradicionalmente realizadas por pessoas, como fazer compras, montar um orçamento e escolher uma creche. A empresa afirma que o GPT‑6 Astra obteve resultados elevados em uma série de testes práticos.
Segundo a OpenAI, o GPT‑6 Astra marcou 93,1% na tarefa de buscar a creche ideal após uma mudança de requisitos, 98% na gestão de voluntários comunitários para preparação contra enchentes e 90,4% na elaboração de um plano alimentar para um pai recém‑diagnosticado com diabetes. A companhia vê o novo parâmetro como etapa para transformar o ChatGPT de gerador de texto em assistente capaz de executar ações em nome do usuário.
Como muitas pessoas estão usando o aplicativo, queremos capturar todos os diferentes casos de uso e as maneiras como o utilizam, e realmente entender como estamos melhorando ao longo do tempo
A iniciativa ocorre num cenário de forte concorrência — Meta, Anthropic e Google também desenvolvem agentes práticos — e em meio a pressões por segurança e retorno sobre investimentos. Para definir os testes, a OpenAI recorreu a pesquisas de uso do tempo dos EUA e do Reino Unido e entrevistou cerca de 4.000 usuários do ChatGPT; um grupo menor, de cerca de 100 pessoas, detalhou tarefas e ajudou a criar rubricas de avaliação.
A empresa reconhece desafios: etapas de uma compra ou critérios para escolher serviços são amplos e subjetivos, e respostas variam conforme o contexto fornecido ao modelo. Avaliações padronizadas funcionam como guia para treinar e ajustar modelos, mas medir desempenho no dia a dia exige testes bem desenhados e usuários com conhecimento sobre as tarefas propostas.