Comandos Disallow y Allow del robots.txt para bloquear y permitir rastreos
En este nuevo post vamos a repasar los comandos Disallow y Allow del fichero robots.txt que sirven para permitir o prohibir a los rastreadores la navegación por nuestra web.
(más…)...