Medindo a visibilidade na busca com IA com honestidade

Um número crescente de ferramentas promete rastrear a posição da sua marca nas respostas de IA, muitas vezes como uma pontuação diária a partir de um único prompt. Os dados de variância dizem que esse número é ruído. Esta página cobre como a variância realmente se comporta, o que uma medição defensável exige, e o que nenhuma ferramenta pode legitimamente alegar.

Por que verificações isoladas são ruído

Mecanismos generativos são sistemas de amostragem: a mesma pergunta não retorna a mesma resposta duas vezes. Em testes, três execuções idênticas do ChatGPT deixaram cerca de 2,2 a 2,3 por cento das fontes citadas estáveis nas três execuções. Faça a mesma pergunta três vezes e quase toda a lista de citações muda. Uma verificação diária construída sobre um prompt não está medindo a sua visibilidade; está medindo o lançamento dos dados.

A análise de variância em respostas de LLM sobre marcas mostra de onde o movimento realmente vem:

Leia essa tabela com atenção. Como a pergunta é formulada e em que idioma ela é feita dominam o resultado. Qual marca está sendo perguntada responde por 1,5 por cento. Uma ferramenta que verifica uma formulação, em um idioma, em um modelo, uma vez por dia, está amostrando quase tudo, exceto o que interessa a você. Quando a pontuação de ontem difere da de hoje, esse é o comportamento esperado de um sistema de amostragem, não um sinal de que algo no seu conteúdo mudou.

Como é uma medição defensável

Nada disso torna a visibilidade de IA imensurável. Torna-a um problema de estatística, e os requisitos são os de sempre:

• Um conjunto fixo de prompts, executado em várias formulações. Várias redações de cada pergunta, mantidas constantes entre as rodadas de medição, para que a variância de formulação seja diluída na média em vez de confundida com mudança.
• Vários idiomas. O idioma da consulta responde por 26,5 a 32,0 por cento da variância. Se seus clientes perguntam em mais de um idioma, medir em um só perde a maior parte do quadro.
• Vários modelos. Os mecanismos citam de formas diferentes, e uma mudança em um mecanismo não diz nada sobre os outros.
• Execuções repetidas com intervalos de confiança. Reporte uma faixa, não um ponto. Um número de visibilidade sem intervalo é um sorteio aleatório apresentado como fato.
• Uma cadência mensal. O movimento de um dia para o outro é dominado por ruído de amostragem. Agregar um mês de execuções e comparar mês a mês é a menor janela em que a mudança real se separa do ruído.

Use o relatório do próprio Google onde ele existe

Para os recursos de IA do Google especificamente, o Search Console inclui um relatório de desempenho de IA generativa. Esses dados vêm dos próprios sistemas do Google, não de prompts amostrados, o que faz deles o único número de visibilidade de IA que você pode aceitar pelo valor de face. Para mecanismos sem relatório de primeira mão, a medição amostrada com intervalos de confiança é o teto honesto, e deve ser rotulada como estimativa.

O que nenhuma ferramenta pode alegar

O Google afirma que nenhuma ferramenta de terceiros tem acesso ao interior dos seus sistemas. Toda ferramenta externa, o que quer que o painel sugira, está executando prompts de fora e amostrando os resultados, exatamente como você mesmo poderia fazer. Essa abordagem é legítima quando apresentada como amostragem com margens de erro. Não é legítima quando apresentada como leitura de estado interno. Trate estes como sinais de alerta:

• Uma linha de tendência diária construída a partir de execuções de prompt únicas.
• Uma pontuação precisa sem intervalo de confiança anexado.
• Classificações medidas em um idioma para um mercado multilíngue.
• Qualquer alegação de acesso especial aos dados internos de um mecanismo.

A medição honesta é mais lenta e menos dramática que uma pontuação diária, e é a única que sustenta decisões. Para o que o próprio Google recomenda otimizar, veja o que o Google realmente diz sobre otimização para busca com IA.