OAI-SearchBot es el rastreador de OpenAI utilizado para descubrir contenido web relacionado con las funciones de búsqueda de ChatGPT. Si quiere facilitar que las páginas públicas de su sitio puedan utilizarse en estos resultados, debe comprobar que robots.txt permita el acceso de este agente y que el servidor no bloquee sus solicitudes.
Permitir OAI-SearchBot es una decisión técnica importante, pero no garantiza que su sitio aparezca en ChatGPT, consiga citaciones o reciba tráfico.
En esta guía encontrará ejemplos de configuración, diferencias entre los rastreadores de OpenAI y un procedimiento para identificar posibles restricciones de acceso.
¿Qué es OAI-SearchBot?
OAI-SearchBot es un crawler de OpenAI que visita sitios web para descubrir información destinada a sus funciones de búsqueda.
Su funcionamiento es diferente del de otros agentes de OpenAI.
| Agente | Función principal | Gestión |
|---|---|---|
| OAI-SearchBot | Rastreo para las funciones de búsqueda de ChatGPT | Permisos específicos en robots.txt |
| GPTBot | Rastreo de contenido que puede utilizarse para mejorar y entrenar modelos generativos | Permisos independientes en robots.txt |
| ChatGPT-User | Acceso a determinadas páginas solicitado mediante interacciones de usuarios | No funciona como rastreador automático convencional |
OpenAI permite gestionar OAI-SearchBot y GPTBot de manera independiente. Además, señala que las reglas de robots.txt pueden no aplicarse de la misma manera a determinadas visitas iniciadas por usuarios mediante ChatGPT-User.
Puede comprobar estas diferencias en la documentación oficial de rastreadores de OpenAI.
¿Cómo funciona OAI-SearchBot con robots.txt?
El archivo robots.txt permite comunicar a los rastreadores qué rutas pueden visitar y cuáles deben evitar.
Generalmente se encuentra en la raíz de cada sitio web:
https://www.ejemplo.com/robots.txtPara controlar el acceso de OAI-SearchBot, se utilizan directivas identificadas mediante su nombre de agente.
Por ejemplo:
User-agent: OAI-SearchBot
Allow: /Este bloque permite el rastreo general para OAI-SearchBot desde el punto de vista de robots.txt.
No obstante, deben tenerse en cuenta otras reglas aplicables y los posibles bloqueos del servidor.
¿Es obligatorio agregar OAI-SearchBot a robots.txt?
No necesariamente.
Si no existen restricciones aplicables a OAI-SearchBot, el rastreador puede tener permitido el acceso sin necesidad de una declaración específica.
Por eso, antes de modificar el archivo debe revisar su configuración actual.
Añadir reglas sin un diagnóstico previo puede introducir restricciones innecesarias o producir cambios no deseados.
Cómo configurar OAI-SearchBot en robots.txt
Existen diferentes configuraciones posibles. La elección debe responder a la política de acceso del sitio.
1. Permitir el rastreo de OAI-SearchBot
Si desea autorizar el rastreo general del contenido público:
User-agent: OAI-SearchBot
Allow: /Esta configuración comunica que el agente puede rastrear las rutas del sitio, siempre que no existan restricciones aplicables más específicas y que la infraestructura permita el acceso.
2. Bloquear OAI-SearchBot completamente
Si no desea permitir el rastreo automático de OAI-SearchBot:
User-agent: OAI-SearchBot
Disallow: /Esta regla indica que el agente no debe rastrear ninguna ruta del sitio.
OpenAI señala que los sitios que excluyen a OAI-SearchBot no se mostrarán normalmente como fuentes de contenido en las respuestas de búsqueda de ChatGPT, aunque pueden seguir apareciendo enlaces de navegación en determinadas circunstancias.
3. Permitir OAI-SearchBot y bloquear GPTBot
Si quiere permitir el rastreo para búsqueda, pero restringir GPTBot, puede expresar ambas decisiones por separado:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /Esta configuración permite establecer políticas diferentes para dos finalidades distintas.
Sin embargo, no garantiza una aparición en los resultados de búsqueda de ChatGPT ni representa un control absoluto sobre cualquier forma de acceso al contenido.
Cómo interpretar correctamente las reglas de robots.txt
Uno de los errores más frecuentes es modificar robots.txt sin comprobar cómo se seleccionan los grupos de reglas y cómo se interpretan las rutas.
Considere este ejemplo:
User-agent: *
Disallow: /
User-agent: OAI-SearchBot
Allow: /El primer bloque contiene instrucciones generales, mientras que el segundo identifica específicamente a OAI-SearchBot.
Según el protocolo de exclusión de robots, la selección del grupo depende de la coincidencia con el agente. Un grupo específico aplicable tiene preferencia frente al grupo genérico.
Esto significa que una restricción general no debe interpretarse de forma aislada cuando existe un grupo específico.
Permitir determinadas rutas y restringir otras
También puede configurar restricciones por directorio:
User-agent: OAI-SearchBot
Allow: /
Disallow: /directorio-restringido/En este ejemplo, se permite el rastreo general y se restringe el directorio indicado.
Cuando existen reglas que coinciden con una misma URL, debe considerarse la especificidad de las rutas conforme al protocolo.
Antes de guardar los cambios, verifique que las reglas representen realmente la política de acceso deseada.
Importante: robots.txt no es un mecanismo de protección de información confidencial. Las páginas privadas deben protegerse mediante controles de acceso apropiados.
Cómo comprobar si OAI-SearchBot está bloqueado
Para identificar un bloqueo de rastreo, conviene revisar varias capas técnicas.
Paso 1. Consultar robots.txt
Abra el archivo robots.txt del sitio.
Busque grupos relacionados con:
User-agent: OAI-SearchBotTambién compruebe si existen restricciones generales:
User-agent: *No concluya que OAI-SearchBot está bloqueado únicamente porque su nombre no aparece en el archivo.
Paso 2. Revisar los permisos de las rutas importantes
Compruebe qué instrucciones afectan a las páginas que desea mantener accesibles.
Por ejemplo, una regla:
Disallow: /dentro del grupo aplicable puede impedir el rastreo general.
Una regla dirigida a un directorio concreto tendrá un alcance más limitado.
Paso 3. Analizar las respuestas HTTP
Una página pública puede estar permitida en robots.txt y, aun así, devolver errores al rastreador.
Entre las respuestas que conviene investigar se encuentran:
| Código HTTP | Interpretación habitual | Revisión recomendada |
|---|---|---|
| 200 | Solicitud atendida correctamente | Comprobar que se entrega el contenido esperado |
| 301 o 308 | Redirección permanente | Revisar destino y cadena de redirecciones |
| 403 | Acceso prohibido | Revisar servidor, firewall y reglas de seguridad |
| 404 | Recurso no encontrado | Confirmar existencia de la URL |
| 429 | Demasiadas solicitudes | Revisar limitaciones de tráfico |
| 500 o 503 | Error del servidor o indisponibilidad | Diagnosticar infraestructura |
Estas respuestas son indicadores técnicos generales. Para confirmar un bloqueo de OAI-SearchBot, debe analizarse cómo responde el sistema a solicitudes legítimas del agente.
Paso 4. Revisar CDN, WAF y protección antibots
El problema puede encontrarse fuera de robots.txt.
Algunos servicios de seguridad aplican restricciones a determinados agentes automatizados.
Revise especialmente:
- Reglas del firewall.
- Sistemas de protección contra bots.
- Servicios CDN.
- Bloqueos por dirección IP.
- CAPTCHA y desafíos automatizados.
- Limitaciones por frecuencia de solicitudes.
- Reglas específicas del servidor.
Si robots.txt permite el acceso, pero un sistema de seguridad rechaza las solicitudes, el rastreo puede seguir siendo imposible.
Paso 5. Verificar las direcciones IP oficiales
OpenAI publica direcciones IP utilizadas por OAI-SearchBot.
Puede consultar la lista oficial en:
Direcciones IP de OAI-SearchBot.
Esta información permite contrastar los orígenes de las solicitudes y revisar posibles restricciones de red.
No debe confiar exclusivamente en el nombre de agente declarado en una solicitud HTTP, porque puede falsificarse.
Paso 6. Consultar los registros del servidor
Si dispone de acceso a los registros del servidor, puede investigar solicitudes relacionadas con OAI-SearchBot.
Conviene comprobar:
- URL solicitada.
- Fecha y hora.
- Agente declarado.
- Dirección IP de origen.
- Código de respuesta HTTP.
- Regla de seguridad aplicada, si existe.
Los registros permiten obtener evidencia más precisa sobre solicitudes recibidas y posibles rechazos.
No encontrar visitas de OAI-SearchBot durante un periodo concreto no demuestra automáticamente que exista un bloqueo. El agente puede no haber solicitado esas páginas.
¿Cuánto tarda OpenAI en reconocer cambios en robots.txt?
OpenAI señala que sus sistemas pueden necesitar aproximadamente 24 horas para ajustarse después de una actualización de robots.txt.
Este plazo es orientativo y corresponde a la adaptación de sus sistemas a los cambios de permisos.
No significa que el sitio será rastreado inmediatamente después ni que su contenido aparecerá en los resultados.
Cuando realice modificaciones, documente la configuración anterior, la fecha del cambio y las comprobaciones posteriores.
¿Permitir OAI-SearchBot ayuda a aparecer en ChatGPT?
Permitir OAI-SearchBot facilita una condición necesaria para que OpenAI pueda acceder al contenido público destinado a sus funciones de búsqueda.
Sin embargo, el permiso de rastreo no debe confundirse con una estrategia completa de visibilidad.
Una página puede estar técnicamente accesible y no ser seleccionada para responder a una consulta.
Además del acceso, deben revisarse aspectos como:
- Disponibilidad de contenido relevante.
- Claridad de las respuestas.
- Organización semántica.
- Coherencia de entidades.
- Enlazado interno.
- Calidad y utilidad de la información.
- Accesibilidad técnica de las páginas.
- Vigencia y exactitud del contenido.
Estos elementos forman parte de una revisión más amplia de SEO para IA, mientras que la configuración de OAI-SearchBot resuelve específicamente el control técnico de rastreo.
Errores frecuentes al configurar OAI-SearchBot
Confundir OAI-SearchBot con GPTBot
Aunque ambos agentes pertenecen a OpenAI, tienen finalidades diferentes.
Las decisiones de rastreo deben establecerse según la función de cada uno.
Pensar que Allow garantiza visibilidad
La autorización de rastreo no asegura que una página aparezca en ChatGPT.
El archivo robots.txt no permite controlar directamente la selección o posición de los resultados.
Ignorar las reglas generales
Las instrucciones para User-agent: * pueden resultar relevantes cuando no existe un grupo específico para el agente.
Es necesario analizar el conjunto de reglas aplicables.
Modificar robots.txt sin revisar el servidor
Una configuración permisiva no resuelve bloqueos de firewall, CDN, autenticación o restricciones de tráfico.
Considerar robots.txt una herramienta de seguridad
El archivo comunica instrucciones a los rastreadores que las respetan, pero no impide por sí mismo que cualquier persona o sistema acceda a una página.
Recomendaciones antes de realizar cambios
Antes de modificar la configuración de OAI-SearchBot, conviene determinar si realmente existe un problema.
Revise qué páginas deberían permanecer accesibles, qué reglas están vigentes y si hay evidencia de bloqueos.
Después, establezca una política diferenciada para los agentes de OpenAI según los objetivos de su sitio.
Si necesita evaluar estas configuraciones dentro de una revisión más amplia, consulte nuestro servicio de SEO para IA.
[v7_cta servicio=”seo-para-ia” etapa=”tofu”]
Preguntas frecuentes sobre OAI-SearchBot y robots.txt
¿Qué es OAI-SearchBot?
OAI-SearchBot es el rastreador de OpenAI utilizado para descubrir contenido web relacionado con las funciones de búsqueda de ChatGPT.
¿Es obligatorio incluir OAI-SearchBot en robots.txt?
No. Si el archivo no contiene restricciones aplicables al agente, puede estar permitido el rastreo sin añadir una directiva específica.
¿Puedo permitir OAI-SearchBot y bloquear GPTBot?
Sí. OpenAI documenta permisos independientes para ambos agentes. Esto permite diferenciar el rastreo relacionado con búsqueda del rastreo relacionado con entrenamiento.
¿Permitir OAI-SearchBot garantiza aparecer en ChatGPT?
No. El permiso facilita el rastreo, pero no garantiza que una página sea seleccionada, mostrada o citada en las respuestas.
¿Por qué OAI-SearchBot puede estar bloqueado aunque robots.txt lo permita?
Porque existen otras capas de control, como firewall, CDN, WAF, autenticación o limitaciones de tráfico, que pueden impedir las solicitudes.
¿Cómo puedo identificar solicitudes legítimas de OAI-SearchBot?
Puede analizar los registros del servidor y contrastar las direcciones IP de origen con los rangos publicados oficialmente por OpenAI. El nombre del agente de usuario por sí solo no constituye una prueba suficiente.