Crear un Archivo Robots.txt para que los Buscadores no Indexen nuestra Web

Web en contrucción

Posiblemente lo primero que pienses al leer el titular sea: "¡Estos de Hostinet se han vuelto locos¡ ¿Por qué no iba a querer yo que los buscadores indexen mi página web?" Los tiros no van por ahí, nosotros si queremos que tu web se indexe correctamente para que el SEO (posicionamiento en buscadores) la haga crecer, sin embargo, el tema no va por ahí, sino que puede darse el caso que no queramos que los buscadores indexen nuestra web porque, por ejemplo, la estamos construyendo todavía y puede contener errores o cosas que no queremos que Google u otros motores de búsqueda indexe por el momento, con lo cual la mejor opción es hacer que no se indexe hasta que todo esté bien.

La opción que ofrece WordPress no es muy útil

Es cierto que, por ejemplo, en WordPress podemos indicar que los buscadores no le hagan mucho caso a nuestra web, pero sinceramente esta opción no vale de mucho, ya que los buscadores seguramente la van a indexar si les apetece, por lo que no es una opción muy fiable dentro de lo que cabe.

Dicha opción en WordPress se encuentra en Ajustes -> Lectura, pero como se puede comprobar ya se indica en la misma que muy útil no "parece" que sea: "Depende los motores de búsqueda atender esta petición o no". Teniendo en cuenta que los buscadores indexan todo lo que encuentran por el camino se van a saltar esta opción muy a la ligera, aunque hay una minoría que dice que si le ha resultado útil esta opción… por lo que se puede activar si queremos también.

WP Disuadir Buscadores

[ninja-popup ID=13602] * APÚNTATE GRATIS AQUÍ para recibir en tu email más "trucos" como este para que los buscadores no indexen el contenido de tu web.  CLICK AQUÍ [/ninja-popup]

Archivo Robots.txt

En fin, el caso es que hoy os vamos a indicar una alternativa para que los buscadores no indexen nuestra web y que funciona al 100%.
Esta nueva opción a los que nos referimos, simplemente consiste en crear un archivo de texto en la raíz de nuestro hosting (o donde hayamos instalado nuestro CMS: WordPress, Joomla, PrestaShop, ect) y lo llamamos robots.txt, dentro de dicho archivo sería incluir las siguientes dos líneas:

1 User-agent: *
2 Disallow: /  (en caso de estar en un directorio el CMS debemos ponerlo tras la /, por ejemplo, Disallow: /wordpress

Captura de pantalla a continuación:

robots con user agent disalllow

Decimos lo de donde hayamos instalado el CMS porque no tenemos por qué haberlo instalarlo en la raíz de nuestro hosting, sino que hemos podido instalarlo en un directorio de prueba distinto al que se encuentra en la raíz de nuestro alojamiento web para luego pasar la web a la carpeta de public_htlm/ (en el caso de servidores LAMP) o de httpdocs/ (en caso de servidores Windows)

Tras ello guardamos el archivo y seguimos desarrollando nuestra web, ahora sí, sin que los buscadores indexen todavía lo que estamos creando en ella.

Crear archivo robots.txt desde cPanel -> Administrador de Archivos

Si tenemos un Hosting web con Hostinet podemos crear de forma muy sencilla el archivo robots.txt desde cPanel -> Administrador de Archivos.

Recordemos que para acceder al panel de gestión cPanel, basta con poner en nuestro navegador web nuestrodominio.es/cpanel

Una vez dentro del mismo, hacemos click en "Administrador de Archivos" dentro del primer bloque de cPanel (Archivos).

CPanel Seccion Archivos

Dentro del Administrador de Archivos le damos a "+ Archivo" (al pasar el ratón por encima de esta opción aparecerá "archivo nuevo"), arriba del todo a la izquierda, tal y como se refleja en esta imagen:

cPanel -> Administrador de Archivos -> Nuevo Archivo

En la nueva pantalla, escribimos "robots.txt" y le damos a crear dicho archivo.

cPanel  crear robots txt

Tras la creación del archivo, lo buscamos en public_html y le damos a "edit"

cPanel - Robots.txt Edit

Le volvemos a dar a "edit" en la ventana que nos aparece e introducimos en la opción de código de arriba del todo a la derecha (utilice el editor de código)

cPanel admin archivos utilizar editor codigo

las siguientes dos líneas:

1 User-agent: *
2 Disallow: /  (en caso de estar en un directorio el CMS debemos ponerlo tras la /, por ejemplo, Disallow: /wordpress

 

robots con user agent disalllow

  Y por último, sería hacer click en "Guardar cambios", de nuevo ubicado arriba del todo a la derecha del administrador de archivos.

Crear archivo robots.txt desde Plesk -> Administrador de Archivos

Si tenemos un Plan Windows con Hostinet podemos crear de forma muy sencilla el archivo robots.txt desde Plesk -> Administrador de Archivos.

Recordemos que para acceder al panel de gestión Plesk, basta con poner en nuestro navegador web nuestrodominio.es:8443

Una vez dentro del mismo, hacemos click en "Administrador de Archivos" o en "httpdocs". Marcamos ambas opciones en la siguiente captura de pantalla:

plesk admin archivos

Dentro del Administrador de Archivos le damos a "Nuevo" y hacemos click en "Crear Archivo".

plesk admin archivos - nuevo archivo

En la nueva pantalla, escribimos "robots.txt" y le damos a "Aceptar".

plesk robotstxt crear

Tras la creación del archivo, lo buscamos en httpdocs y hacemos click con el botón izquierdo del ratón sobre él. Entonces antes nosotros se presentará una pantalla en la que deberemos escoger, abajo del todo, la opción de "Editar en un editor de código".

Plesk editor código editar código

Al hacerlo, tan sólo nos quedará introducir las siguientes dos líneas y hacer click en "Aceptar":

1 User-agent: *
2 Disallow: /  (en caso de estar en un directorio el CMS debemos ponerlo tras la /, por ejemplo, Disallow: /wordpress

Plesk editor código aceptar

Como es obvio, cuando queramos que los buscadores indexen nuestro contenido bastará con eliminar el archivo robots.txt.

En el caso de tener un WordPress podríamos cumplimentar el borrado del archivo .txt con la instalación de algún plugin SEO que permita que nuestra web se indexe mucho mejor en los buscadores. Nuestra recomendación desde Hostinet es que instaléis el Plugin Yoast SEO.


¿Te ha gustado este "truco" para que no se indexe el contenido de tu web en los buscadores?  ¿Te ha resultado útil? Recibe "trucos" como este suscribiéndote a nuestras [ninja-popup ID=13602]Novedades por email. -> SUSCRÍBETE AQUÍ GRATIS <-[/ninja-popup] Es muy sencillo, solo debes introducir tu email en el popup emergente y nosotros nos encargremos de hacerte llegar lo más destacado.


Hostinet

En Hostinet trabajamos desde hace más de 15 años con servidores ubicados en España (Madrid).

Disponemos de servidores LAMP (Linux + Apache + MySQL + PHP) con panel de control cPanel incluido bajo estos planes de hosting web ¡Somos expertos en cPanel!:

Hosting web Hostinet

Así como también servidores Windows con panel de control Plesk incluido bajo estos planes de alojamiento web:

planes windows con hostinet

VN:F [1.9.22_1171]
Rating: 3.0/5 (Votos: 2)

¿NECESITAS AYUDA? Llama a nuestro soporte técnico 946 545 762

De Lunes a Viernes de 08:00 a 20:00 horas.


Contactar