Cinco preguntas que hacerle a una herramienta de visibilidad en IA antes de fiarte de su puntuación

Por qué dos herramientas te dan dos respuestas distintas

Las puntuaciones no coinciden porque la pregunta de fondo es más difícil de lo que parece. «¿Eres visible en las búsquedas con IA?» no tiene un valor medible único como sí lo tiene «¿en qué posición apareces?». Depende de qué prompts se usen, qué motor responda, si ese motor buscó en la web en esa llamada concreta, y de cuándo se preguntó.

Cambia cualquiera de esos factores y la respuesta cambia legítimamente. Así que una puntuación solo tiene sentido junto a las decisiones que la produjeron, y la mayoría de herramientas presentan la puntuación sin las decisiones.

Nada de lo que sigue exige desconfiar de estas herramientas. Exige saber a qué pregunta responde cada número, porque comprar la equivocada sale caro y la diferencia no se ve en la página de precios.

Pregunta 1: ¿realiza una búsqueda de verdad, o solo pregunta al modelo?

Esta es la que invalida conjuntos de datos completos, y la menos visible desde fuera.

Si una herramienta consulta un modelo a través de una API de desarrollador con la búsqueda web desactivada, el modelo responde a partir de sus datos de entrenamiento. Seguirá produciendo nombres de marca y citas con total seguridad. Esas citas son recordadas o reconstruidas, no recuperadas, lo que significa que pueden apuntar a páginas que ya no existen, o que nunca existieron.

Promptwatch publicó una comparación que ilustra bien este fallo, aunque su planteamiento necesita una corrección. Pasaron prompts comerciales por la interfaz de ChatGPT y por la API el mismo día, recogieron 562 citas y encontraron solo un 25,6 % de coincidencia. De las citas procedentes de la API, el 87 % apuntaba a páginas de inicio en lugar de a páginas concretas, y una recomendaba una empresa que no existe.

La corrección importa: en su ejecución vía API la búsqueda web estaba desactivada. Así que el estudio demuestra que un modelo que responde sin recuperación de información produce datos de visibilidad inservibles, no que las API sean poco fiables por naturaleza. Una llamada a la API con búsqueda activada es otra cosa completamente distinta. Promptwatch vende seguimiento basado en interfaz, lo que conviene tener en cuenta al leer su planteamiento, y su propio glosario es bastante más matizado que el titular.

Qué preguntarle a un proveedor: ¿estaba activada la recuperación de información en todas las llamadas, y puedes mostrarme una respuesta en la que el modelo buscara? Si no distinguen las citas recuperadas de las recordadas, los recuentos de citas no son mediciones.

Pregunta 2: ¿cuántas veces preguntó?

Haz la misma pregunta cinco veces a un motor de IA y obtendrás cinco listas de marcas distintas y cinco conjuntos de fuentes distintos. No es un defecto que se pueda corregir con ingeniería; es el funcionamiento de estos sistemas.

La consecuencia es aritmética. Una puntuación de visibilidad construida sobre una consulta por prompt y por semana es una única muestra de una distribución. Se moverá entre ejecuciones por motivos que no tienen nada que ver con tu web, y tendrás la tentación de explicar esos movimientos por los cambios que hiciste.

El muestreo es la única palanca que arregla esto de verdad, y es justo lo que casi nadie publica. De las herramientas que examinamos, achtung.app es la única que declara su diseño de muestreo: dos ejecuciones por consulta, por motor y por día, promediadas, en su plan de entrada, y tres ejecuciones por palabra clave en el plan semanal, cambiando frecuencia por repetición. Dos ejecuciones es estadísticamente escaso. También es más de lo que pudimos averiguar de cualquier competidor, varios de los cuales cobran bastante más.

Las demás publican solo la frecuencia. llmmetrix indica comprobaciones diarias en los planes de pago sobre hasta siete modelos, y semanales en el gratuito. citlyze indica semanal para AI Overviews y diario para los motores de respuesta. amicited describe un calendario diario fijo desde sesiones limpias, guardando las respuestas completas. La frecuencia te dice cuántas veces se lanzó la moneda, no cuántas veces por lanzamiento.

Pregunta 3: ¿puedes llegar a la respuesta original?

Esta es la forma más rápida de juzgar una herramienta y no requiere conocimientos técnicos. Coge cualquier número agregado —menciones, cuota de voz, número de citas— e intenta llegar al texto que el modelo produjo realmente.

Si puedes, podrás verificar el número por tu cuenta, detectar los casos en los que tu marca se mencionó de forma desfavorable y darte cuenta de cuándo un «competidor» de tu informe es una empresa inexistente. Si no puedes, se te está pidiendo que te fíes de un resumen de datos que no te dejan inspeccionar.

Guardar las respuestas originales cuesta dinero real, y por eso no todas las herramientas lo hacen. Es también la única característica que separa una medición de una afirmación.

Pregunta 4: ¿qué reconoce que no puede medir?

Todas las herramientas de esta categoría tienen lagunas, porque partes de la superficie no tienen ninguna vía de medición automatizada. Google AI Mode, la publicidad dentro de las aplicaciones y cualquier cosa que requiera una sesión personalizada con inicio de sesión son genuinamente difíciles o imposibles de muestrear a escala.

Por eso la simple existencia de un apartado de limitaciones ya es informativa. achtung.app publica uno y lo presenta diciendo que la lista es pública a propósito porque es la respuesta más honesta sobre el punto en que está el producto; después enumera la ausencia de atribución de ingresos, la detección incompleta de alucinaciones y advertencias por motor, incluida que Gemini decide en cada llamada si busca o no, y que eso no se puede forzar.

No encontramos una transparencia comparable en las tres herramientas comerciales que revisamos. Eso no demuestra que midan más; demuestra que lo comentan menos. Cuando un proveedor que cobra cientos al mes no publica ninguna limitación, la inferencia razonable es que sus limitaciones no están declaradas, no que no existan.

Pregunta 5: ¿mide el acceso o mide las menciones?

Son dos productos distintos y la diferencia decide cuál necesitas.

Las comprobaciones de acceso preguntan si los motores de IA pueden alcanzar e interpretar tu contenido: ¿deja robots.txt entrar a los rastreadores que deciden la inclusión en las respuestas?, ¿está tu texto en el HTML o solo después de la hidratación?, ¿hay datos estructurados? Son deterministas. La misma página comprobada dos veces da la misma respuesta, y una comprobación gratuita e instantánea es una respuesta completa, no un anzuelo.

El seguimiento de menciones pregunta si los motores te recomiendan de verdad cuando los compradores preguntan. Eso exige ejecutar prompts repetidamente a lo largo del tiempo contra varios motores, lo que cuesta dinero por llamada. No puede ser gratis ni instantáneo, y esa es la razón honesta por la que esta categoría tiene un plan de pago.

Siendo claros sobre nuestra propia posición: las herramientas de este sitio son del primer tipo. Son gratuitas porque analizar HTML de forma determinista no tiene coste por comprobación, y no te dicen nada sobre si ChatGPT te recomienda por delante de un competidor. Si esa es tu pregunta, la respuesta es una suscripción de pago en algún sitio; hazle antes las cinco preguntas de arriba.

El orden en que conviene hacerlo

El acceso antes que las menciones. Si robots.txt bloquea a OAI-SearchBot, ningún seguimiento de prompts te dirá nada útil, y la suscripción informará fielmente de que eres invisible por un motivo que una comprobación gratuita de un minuto habría encontrado.

Arregla primero el acceso, confírmalo y luego decide si el seguimiento continuo de menciones merece el gasto. Ese orden no cuesta nada y elimina la causa más común de visibilidad nula en IA antes de que empieces a pagar por medirla.