Programación y ejemplos de PHP, jQuery, HTML5, WordPress, MySQL, AMP y htaccess


Comandos Disallow y Allow del robots.txt para bloquear y permitir rastreos

En este nuevo post vamos a repasar los comandos Disallow y Allow del fichero robots.txt que sirven para permitir o prohibir a los rastreadores la navegación por nuestra web.

Si no sabéis qué es el fichero robots.txt o necesitáis más información lo podéis consultar en este primer enlace del listado inferior:

Funcionalidad de Disallow y Allow

Disallow impide que el robot rastreador rastree las URLS que le especifiquemos, mientras que Allow anula la orden Disallow.

Ejemplos de Disallow y Allow del robots.txt

Veamos los ejemplos con sus explicaciones:

  • Disallow: Definimos al user‑agent (rastreador/bot/robot) que URLs no tiene que rastrear:
  • Allow: Por defecto no se pone este comando, los rastreadores rastrean todas las URLs que encuentren en una web. Ejemplo:
  • Comodines: Con estos (‘*’, ‘?’ y ‘$’) realizaremos patrones para el rastreo de URL:
  • Probador de robots.txt: Para comprobar que nuestros comandos son válidos los podemos hacer en el probador en la Search Console de Google.

Uso de cookies

Este sitio web utiliza cookies para que usted tenga la mejor experiencia de usuario. Si continúa navegando está dando su consentimiento para la aceptación de las mencionadas cookies y la aceptación de nuestra política de cookies, pinche el enlace para mayor información.

ACEPTAR
Aviso de cookies