Buscar
Cerrar este cuadro de búsqueda.

Etiqueta X-Robots

 

X-Robots-Tag es una directiva que se utiliza en los encabezados HTTP.

 

Para controlar cómo los motores de búsqueda deben indexar y gestionar el contenido de una página web.

 

Otros recursos no HTML, como archivos PDF, imágenes, videos, hojas de estilo (CSS) y scripts JavaScript.

 

Este encabezado ofrece una forma más flexible y avanzada.

 

De indicar a los motores de búsqueda cómo deben tratar el contenido de un sitio.

 

Especialmente en situaciones donde las etiquetas robots tradicionales.

 

De metaetiquetas HTML no son aplicables.

 

¿Qué es el X-Robots-Tag?

 

La directiva X-Robots-Tag es un encabezado HTTP que permite especificar a los motores de búsqueda.

 

Reglas sobre cómo tratar el contenido de una página o recurso.

 

Esta etiqueta proporciona las mismas funcionalidades que la metaetiqueta robots.

 

Con una mayor flexibilidad, ya que se puede aplicar a cualquier tipo de archivo.

 

Que responda con encabezados HTTP, no solo a documentos HTML.

 

¿Por Qué Utilizar X-Robots-Tag?

 

Control Avanzado de Indexación

 

Permite un control más granular y avanzado de cómo los motores de búsqueda deben indexar.

 

Manejar diferentes tipos de contenido, no limitado únicamente a páginas HTML.

 

Aplicable a Recursos No HTML

 

Se puede utilizar para controlar la indexación de archivos.

 

Como PDF, imágenes, videos, y otros recursos.

 

Que no soportan etiquetas meta robots directamente.

 

Flexibilidad en el Control de Indexación

 

Es útil para aplicar reglas de indexación a nivel de servidor.

 

Especialmente cuando se necesita una administración masiva.

 

Automatizada de la indexación de contenidos.

 

Optimización de Crawl Budget

 

Permite una mejor administración del presupuesto de rastreo.

 

Al evitar que los motores de búsqueda rastreen recursos innecesarios o irrelevantes.

 

Optimizando así la eficiencia del rastreo.

 

Sintaxis del Encabezado X-Robots-Tag

 

La directiva X-Robots-Tag se incluye en la respuesta HTTP de un servidor web.

 

Ejemplo básico de cómo se puede configurar en el encabezado HTTP:

 

X-Robots-Tag: noindex, nofollow

 

noindex

 

Indica a los motores de búsqueda que no deben indexar la página o recurso.

 

nofollow

 

Indica a los motores de búsqueda que no deben seguir los enlaces.

 

Contenidos en la página o recurso.

 

Principales Valores Utilizados en X-Robots-Tag

 

noindex

 

Evita que el recurso sea indexado por los motores de búsqueda.

 

nofollow

 

Indica que los motores de búsqueda no deben seguir los enlaces en el recurso.

 

noarchive

 

Indica que el recurso no debe ser almacenado en caché por los motores de búsqueda.

 

nosnippet

 

Indica que los motores de búsqueda no deben mostrar un fragmento o descripción.

 

Del contenido en los resultados de búsqueda.

 

noimageindex

 

Evita que las imágenes del recurso se indexen.

 

En los resultados de búsqueda de imágenes.

 

nocache

 

Evita que el recurso sea almacenado en la caché del navegador o motor de búsqueda.

 

unavailable_after:[fecha]

 

Especifica una fecha después de la cual el recurso ya no estará disponible para su indexación.

 

unavailable_after: 30 Sep 2024 12:00:00 PST.

 

Ejemplos de Uso del X-Robots-Tag

 

Aplicar X-Robots-Tag a un Archivo PDF

 

Si tienes un archivo PDF que no deseas que sea indexado por los motores de búsqueda, puedes utilizar el encabezado X-Robots-Tag de la siguiente manera:

 

HTTP/1.1 200 OK
Content-Type: application/pdf
X-Robots-Tag: noindex

 

Evitar la Indexación de Imágenes

 

Para evitar que una imagen específica se indexe, puedes utilizar:

 

HTTP/1.1 200 OK
Content-Type: image/png
X-Robots-Tag: noindex

 

Uso en Hojas de Estilo o JavaScript

 

Si deseas que ciertas hojas de estilo o archivos JavaScript no sean indexados.

 

Almacenados en caché por los motores de búsqueda.

 

Puedes configurarlo así:

 

HTTP/1.1 200 OK
Content-Type: text/css
X-Robots-Tag: noindex, noarchive

 

Controlar la Indexación Después de una Fecha Específica

 

Para indicar que un recurso no debe ser indexado después de una fecha determinada:

 

HTTP/1.1 200 OK
X-Robots-Tag: unavailable_after: 30 Sep 2024 12:00:00 PST

 

Cómo Implementar X-Robots-Tag en Distintos Servidores

 

Apache

 

En un servidor Apache, se puede utilizar el archivo .htaccess para agregar el encabezado X-Robots-Tag:

 

<FilesMatch «\.(pdf|jpg|png)$»>
Header set X-Robots-Tag «noindex, nofollow»
</FilesMatch>

 

NGINX

 

En NGINX, el encabezado se puede agregar a través del archivo de configuración del servidor:

 

location ~* \.(pdf|jpg|png)$ {
add_header X-Robots-Tag «noindex, nofollow»;
}

 

Beneficios del Uso de X-Robots-Tag

 

Mayor Control y Flexibilidad

 

Permite controlar la indexación y el rastreo de recursos.

 

Que no pueden gestionarse fácilmente con metaetiquetas robots.

 

Como archivos multimedia y documentos.

 

Protección del Contenido Sensible

 

Evita que contenido confidencial o sensible sea indexado por motores de búsqueda.

 

Reduciendo así el riesgo de exposición no intencional.

 

Optimización del Crawl Budget

 

Ayuda a mejorar la eficiencia del presupuesto de rastreo de los motores de búsqueda.

 

Dirigiendo su atención solo a las páginas y recursos importantes.

 

Mejora de la Experiencia del Usuario

 

Evita que los usuarios encuentren contenido desactualizado.

 

Irrelevante o duplicado en los resultados de búsqueda.

 

Consideraciones Importantes

 

Compatibilidad Limitada

 

Algunos motores de búsqueda más pequeños pueden no soportar completamente el encabezado X-Robots-Tag.

 

Aunque los motores principales como Google y Bing lo reconocen.

 

Aplicación Cuidadosa

 

Debe aplicarse con precaución para evitar desindexar accidentalmente contenido importante o relevante.

 

Uso Combinado con Otras Herramientas

 

Puede ser utilizado en combinación con robots.txt y metaetiquetas robots

 

Para un control más detallado y efectivo de la indexación.

 

X-Robots-Tag es una herramienta poderosa y flexible.

 

Permite a los propietarios de sitios web controlar.

 

Cómo los motores de búsqueda deben indexar, rastrear y mostrar contenido.

 

Ofrece una mayor flexibilidad en comparación con las metaetiquetas robots.

 

Especialmente para manejar la indexación de recursos no HTML.

 

Su uso adecuado puede mejorar significativamente la estrategia de SEO de un sitio web.

 

Optimizando el crawl budget, protegiendo contenido sensible.

 

Garantizando que solo el contenido relevante.

 

Útil se muestre en los resultados de búsqueda.

 

 

Te puede interesar;

Herramientas de Link Building y Análisis de Enlaces

Plataformas de Linkbuilding para Crear Enlaces

Google Core Updates: Actualizaciones del Algoritmo de Google

Herramientas SEO Profesionales

Motores de Búsqueda Alternativos a Google

 

Manu Duque Soy Yo

¡Hola google! hay un pequeño problema de naming, nombre de marca ó marca personal, llámalo como quieras. Resulta que para el nombre de marca: «Manu Duque», aparecen resultados en las SERPs que no corresponden exactamente

Leer más »