Crear un Archivo Robots.txt para que los Buscadores no Indexen nuestra Web

Web en contrucción

Posiblemente lo primero que pienses al leer el titular sea: «¡Estos de Hostinet se han vuelto locos¡ ¿Por qué no iba a querer yo que los buscadores indexen mi página web?» Los tiros no van por ahí, nosotros si queremos que tu web se indexe correctamente para que el SEO (posicionamiento en buscadores) la haga crecer, sin embargo, el tema no va por ahí, sino que puede darse el caso que no queramos que los buscadores indexen nuestra web porque, por ejemplo, la estamos construyendo todavía y puede contener errores o cosas que no queremos que Google u otros motores de búsqueda indexe por el momento, con lo cual la mejor opción es hacer que no se indexe hasta que todo esté bien.

La opción que ofrece WordPress no es muy útil

Es cierto que, por ejemplo, en WordPress podemos indicar que los buscadores no le hagan mucho caso a nuestra web, pero sinceramente esta opción no vale de mucho, ya que los buscadores seguramente la van a indexar si les apetece, por lo que no es una opción muy fiable dentro de lo que cabe.

Dicha opción en WordPress se encuentra en Ajustes -> Lectura, pero como se puede comprobar ya se indica en la misma que muy útil no «parece» que sea: «Depende los motores de búsqueda atender esta petición o no». Teniendo en cuenta que los buscadores indexan todo lo que encuentran por el camino se van a saltar esta opción muy a la ligera, aunque hay una minoría que dice que si le ha resultado útil esta opción… por lo que se puede activar si queremos también.

WP Disuadir Buscadores

Archivo Robots.txt

En fin, el caso es que hoy os vamos a indicar una alternativa para que los buscadores no indexen nuestra web y que funciona al 100%.
Esta nueva opción a los que nos referimos, simplemente consiste en crear un archivo de texto en la raíz de nuestro hosting (o donde hayamos instalado nuestro CMS: WordPress, Joomla, PrestaShop, ect) y lo llamamos robots.txt, dentro de dicho archivo sería incluir las siguientes dos líneas:

1 User-agent: *
2 Disallow: /  (en caso de estar en un directorio el CMS debemos ponerlo tras la /, por ejemplo, Disallow: /wordpress

Captura de pantalla a continuación:

robots con user agent disalllow

Decimos lo de donde hayamos instalado el CMS porque no tenemos por qué haberlo instalarlo en la raíz de nuestro hosting, sino que hemos podido instalarlo en un directorio de prueba distinto al que se encuentra en la raíz de nuestro alojamiento web para luego pasar la web a la carpeta de public_htlm/ (en el caso de servidores LAMP) o de httpdocs/ (en caso de servidores Windows)

Tras ello guardamos el archivo y seguimos desarrollando nuestra web, ahora sí, sin que los buscadores indexen todavía lo que estamos creando en ella.

Crear archivo robots.txt desde cPanel -> Administrador de Archivos

Si tenemos un Hosting web con Hostinet podemos crear de forma muy sencilla el archivo robots.txt desde cPanel -> Administrador de Archivos.

Recordemos que para acceder al panel de gestión cPanel, basta con poner en nuestro navegador web nuestrodominio.es/cpanel

Una vez dentro del mismo, hacemos click en «Administrador de Archivos» dentro del primer bloque de cPanel (Archivos).

CPanel Seccion Archivos

Dentro del Administrador de Archivos le damos a «+ Archivo» (al pasar el ratón por encima de esta opción aparecerá «archivo nuevo»), arriba del todo a la izquierda, tal y como se refleja en esta imagen:

cPanel -> Administrador de Archivos -> Nuevo Archivo

En la nueva pantalla, escribimos «robots.txt» y le damos a crear dicho archivo.

cPanel crear robots txt

Tras la creación del archivo, lo buscamos en public_html y le damos a «edit»

cPanel - Robots.txt Edit

Le volvemos a dar a «edit» en la ventana que nos aparece e introducimos en la opción de código de arriba del todo a la derecha (utilice el editor de código)

cPanel admin archivos utilizar editor codigo

las siguientes dos líneas:

1 User-agent: *
2 Disallow: /  (en caso de estar en un directorio el CMS debemos ponerlo tras la /, por ejemplo, Disallow: /wordpress

robots con user agent disalllow

  Y por último, sería hacer click en «Guardar cambios», de nuevo ubicado arriba del todo a la derecha del administrador de archivos.

Crear archivo robots.txt desde Plesk -> Administrador de Archivos

Si tenemos un Plan Windows con Hostinet podemos crear de forma muy sencilla el archivo robots.txt desde Plesk -> Administrador de Archivos.

Recordemos que para acceder al panel de gestión Plesk, basta con poner en nuestro navegador web nuestrodominio.es:8443

Una vez dentro del mismo, hacemos click en «Administrador de Archivos» o en «httpdocs». Marcamos ambas opciones en la siguiente captura de pantalla:

plesk admin archivos

Dentro del Administrador de Archivos le damos a «Nuevo» y hacemos click en «Crear Archivo».

plesk admin archivos - nuevo archivo

En la nueva pantalla, escribimos «robots.txt» y le damos a «Aceptar».

plesk robotstxt crear

Tras la creación del archivo, lo buscamos en httpdocs y hacemos click con el botón izquierdo del ratón sobre él. Entonces antes nosotros se presentará una pantalla en la que deberemos escoger, abajo del todo, la opción de «Editar en un editor de código».

Plesk editor código editar código

Al hacerlo, tan sólo nos quedará introducir las siguientes dos líneas y hacer click en «Aceptar»:

1 User-agent: *
2 Disallow: /  (en caso de estar en un directorio el CMS debemos ponerlo tras la /, por ejemplo, Disallow: /wordpress

Plesk editor código aceptar

Como es obvio, cuando queramos que los buscadores indexen nuestro contenido bastará con eliminar el archivo robots.txt.

En el caso de tener un WordPress podríamos cumplimentar el borrado del archivo .txt con la instalación de algún plugin SEO que permita que nuestra web se indexe mucho mejor en los buscadores. Nuestra recomendación desde Hostinet es que instaléis el Plugin Yoast SEO.


Hostinet

En Hostinet trabajamos desde hace más de 15 años con servidores ubicados en España (Madrid).

Disponemos de servidores LAMP (Linux + Apache + MySQL + PHP) con panel de control cPanel incluido bajo estos planes de hosting web ¡Somos expertos en cPanel!:

  • SSD 52´99 / mes
  • SSD 256´99 / mes
  • SSD 508´99 / mes
  • SSD 7510´99 / mes
  • SSD 52´99/mes
  • SSD 256´99/mes
  • SSD 508´99/mes
  • SSD 7510´99/mes
    • Una vez dado de alta tu alojamiento web, recibirás los vales correspondientes para registrar nuevos dominios .ES, .COM ó .EU.Una vez dado de alta tu alojamiento web, recibirás los vales correspondientes para registrar nuevos dominios .ES, .COM ó .EU.Una vez dado de alta tu alojamiento web, recibirás los vales correspondientes para registrar nuevos dominios .ES, .COM ó .EU.Una vez dado de alta tu alojamiento web, recibirás los vales correspondientes para registrar nuevos dominios .ES, .COM ó .EU.Una vez dado de alta tu alojamiento web, recibirás los vales correspondientes para registrar nuevos dominios .ES, .COM ó .EU.
    • Almacenamiento en disco dura ultra rapido SSD
    • El espacio en disco es la suma del espacio que ocupan los archivos que forman la web y el correo electrónico.
    • La transferencia de datos mensual es la cantidad total de información que se descargan los visitantes de nuestra web en cada acceso más nuestro uso a través de FTP y correo.
    • Cada dominio alojado muestra un contenido único y diferente del resto
    • Tras evaluación de nuestro equipo de migraciones y nuevas altas de Hosting
    • Cuentas de correo gestionables a través de POP, IMAP y servicio Webmail
    • Todo lo que necesitas para sacar partido a tu Host
    • Bases de datos MySQL disponibles para su uso en cada alojamiento web
    • Contrata tu hosting web y consigue dominios gratisUna vez dado de alta tu alojamiento web, recibirás los vales correspondientes para registrar nuevos dominios .ES, .COM ó .EU.Una vez dado de alta tu alojamiento web, recibirás los vales correspondientes para registrar nuevos dominios .ES, .COM ó .EU.Una vez dado de alta tu alojamiento web, recibirás los vales correspondientes para registrar nuevos dominios .ES, .COM ó .EU.Una vez dado de alta tu alojamiento web, recibirás los vales correspondientes para registrar nuevos dominios .ES, .COM ó .EU.
    • Elige la versión de PHP que necesites
    • Certificado SSL autofirmadoCertificados Let's Encrypt. Mas Información AQUICertificados Let's Encrypt. Mas Información AQUICertificados Let's Encrypt. Mas Información AQUICertificados Let's Encrypt. Mas Información AQUICertificados Let's Encrypt. Mas Información AQUI
    • Migramos tu web de tu actual host a HostinetMigramos tu web de tu actual host a HostinetMigramos tu web de tu actual host a HostinetMigramos tu web de tu actual host a HostinetMigramos tu web de tu actual host a Hostinet
    • Contrata tu hosting web y consigue dominios gratisUna vez dado de alta tu alojamiento web, recibirás los vales correspondientes para registrar nuevos dominios .ES, .COM ó .EU.Una vez dado de alta tu alojamiento web, recibirás los vales correspondientes para registrar nuevos dominios .ES, .COM ó .EU.Una vez dado de alta tu alojamiento web, recibirás los vales correspondientes para registrar nuevos dominios .ES, .COM ó .EU.
    • Aparcando un dominio secundario en el alojamiento de nuestro dominio principal conseguimos que ambos dominios resuelvan indistintamente con la misma página que tenemos colgada.
    • Cuentas de correo gestionables a través de POP, IMAP y servicio Webmail
    • Tus buzones de correo y mails limpios de virus y con un potente filtro antispam
    • Centro de datos en Madrid (España)
    • Opcion de contratación de IP dedicadaPuedes contratar tu Ip dedicada por solo 11.95 € al año AQUIPuedes contratar tu Ip dedicada por solo 11.95 € al año AQUIPuedes contratar tu Ip dedicada por solo 11.95 € al año AQUIPuedes contratar tu Ip dedicada por solo 11.95 € al año AQUIPuedes contratar tu Ip dedicada por solo 11.95 € al año AQUI
    • Certificado SSL autofirmadoCertificados Let's Encrypt. Mas Información AQUICertificados Let's Encrypt. Mas Información AQUICertificados Let's Encrypt. Mas Información AQUICertificados Let's Encrypt. Mas Información AQUICertificados Let's Encrypt. Mas Información AQUI
    • Opción de contratación de certificados SSL Wildcard. Se requiere Ip dedicada.Puedes contratar tu certificado SSL desde solo 99.95 € al año AQUIPuedes contratar tu certificado SSL desde solo 99.95 € al año AQUIPuedes contratar tu certificado SSL desde solo 99.95 € al año AQUIPuedes contratar tu certificado SSL desde solo 99.95 € al año AQUIPuedes contratar tu certificado SSL desde solo 99.95 € al año AQUI
    • Opción de contratación de certificados SSL Extended Validation (EV). Se requiere Ip dedicada.Puedes contratar tu certificado SSL desde solo 195.00 € al año AQUIPuedes contratar tu certificado SSL desde solo 195.00 € al año AQUIPuedes contratar tu certificado SSL desde solo 195.00 € al año AQUIPuedes contratar tu certificado SSL desde solo 195.00 € al año AQUIPuedes contratar tu certificado SSL desde solo 195.00 € al año AQUI
    • Opción de contratación de certificados SSL Organization Validation (OV). Se requiere Ip dedicada.Puedes contratar tu certificado SSL desde solo 525.00 € al año AQUIPuedes contratar tu certificado SSL desde solo 525.00 € al año AQUIPuedes contratar tu certificado SSL desde solo 525.00 € al año AQUIPuedes contratar tu certificado SSL desde solo 525.00 € al año AQUIPuedes contratar tu certificado SSL desde solo 525.00 € al año AQUI
    • Con nuestra herramienta WebFácil construye tu página web en solo 5 pasos.
    • Con la herramienta de instalación Softaculous tan solo deberás elegir la aplicación deseada y con tan solo un par de clicks y de forma totalmente automatizada tendrás tus herramientas favoritas instaladas en tu Host.
    • Bases de datos MySQL disponibles para su uso en cada alojamiento web
    • Supeditado al espacio total del alojamientoSupeditado al espacio total del alojamientoSupeditado al espacio total del alojamientoSupeditado al espacio total del alojamientoSupeditado al espacio total del alojamiento
    • ¿Quieres realizar desarrollos con Python? En Hostinet innovamos dia a dia en tu beneficio y por ello te presentamos como última novedad en todos nuestros servidores Web la posibilidad de desplegar tus aplicaciones con Python directamente desde el cPanel de tu Hosting.
    • ¿Quieres desarrollar tus aplicaciones con Ruby? En Hostinet te presentamos como última novedad en todos nuestros servicios de Hosting Web la posibilidad de desplegar tus aplicaciones con Ruby on Rails directamente desde el panel de control cPanel.
    • El fichero .htaccess permite modificar diferentes variables en la configuración de nuestra cuenta de alojamiento en el servidor.
    • El módulo mod_rewrite permite crear direcciones URL alternativas a las dinámicas generadas por la programación de nuestros sitio web (blog, foro, portal…), de tal modo que sean más legibles y fáciles de recordar
    • Te ayudamos vía email y teléfono en todas tus consultas sobre hosting web. Soporte en español por personal de Hostinet.
    • Completa recopilación de tutoriales sobre Hosting y Dominios
    • 30 dias para probar tu servicio de Hosting y si no te convence el servicio... te devolvemos el dinero!!
    • Copia diaria incremental realizada por HostinetCopia diaria incremental realizada por HostinetCopia diaria incremental realizada por HostinetCopia diaria incremental realizada por HostinetCopia diaria incremental realizada por Hostinet
    • Podrás hacer tus copias de seguridad desde tu panel de alojamiento webPodrás hacer tus copias de seguridad desde tu panel de alojamiento webPodrás hacer tus copias de seguridad desde tu panel de alojamiento webPodrás hacer tus copias de seguridad desde tu panel de alojamiento webPodrás hacer tus copias de seguridad desde tu panel de alojamiento web
    • Precios para nuevas altas. Contratación anual.Precios para nuevas contrataciones. Contratación anual.Precios para nuevas contrataciones. Contratación anual.Precios para nuevas contrataciones. Contratación anual.Precios para nuevas contrataciones. Contratación anual.Precios para nuevas contrataciones. Contratación anual.