En este nuevo post vamos a repasar los comandos Disallow y Allow del fichero robots.txt que sirven para permitir o prohibir a los rastreadores la navegación por nuestra web.
Si no sabéis qué es el fichero robots.txt o necesitáis más información lo podéis consultar en este primer enlace del listado inferior:
- Qué es el fichero robots.txt, dónde se ubica y cuáles son sus comandos
- 15 comandos de búsqueda SEO de Google que debes conocer
- Redirect 301 en .htaccess
- Cómo referenciar un sitemap en el robots.txt
- Repaso al atributo rel nofollow de los enlaces href salientes de una web
Funcionalidad de Disallow y Allow
Disallow impide que el robot rastreador rastree las URLS que le especifiquemos, mientras que Allow anula la orden Disallow.
Ejemplos de Disallow y Allow del robots.txt
Veamos los ejemplos con sus explicaciones:
- Disallow: Definimos al user‑agent (rastreador/bot/robot) que URLs no tiene que rastrear:
1234567891011#Ejemplo en el que se impide rastrear la web entera al bot de GoogleUser-agent: GooglebotDisallow: /#Ejemplo en el que se impide ningún robot rastree nada de directorio 'pagos'User-agent: *Disallow: /pagos/#Ejemplo para impedir que el bot de Google no rastree la URL indicada 'pagos.html'User-agent: GooglebotDisallow: /pagos.html - Allow: Por defecto no se pone este comando, los rastreadores rastrean todas las URLs que encuentren en una web. Ejemplo:
1234#Ejemplo para impedir que ningún robot rastree nada de directorio 'pagos' excepto la url indicada con AllowUser-agent: *Disallow: /pagos/Allow: /pagos/efectuados.html - Comodines: Con estos (‘*’, ‘?’ y ‘$’) realizaremos patrones para el rastreo de URL:
1234567891011#Cómo evitar el rastreo de las imágenes png de una webUser-agent: *Disallow: /*.png$#Cómo evitar el rastreo de los directorios y subdirectorios que comienzan con 'pagos'User-agent: *Disallow: /pagos*/#Ejemplo para evitar el rastreo de los directorios que terminan con 'pagos'User-agent: *Disallow: /*pagos/$ - Probador de robots.txt: Para comprobar que nuestros comandos son válidos los podemos hacer en el probador en la Search Console de Google.