Tutorial : Comment désindexer des URLs de pre-prod ou prod via @Polo_SEO

By on juin 20, 2014
preprod

Bonjour , aujourd’hui un petit tuto sur comment plusieurs urls de pre-prod ou prod rapidement

Afin de supprimer les urls de la preprod de votre site internet dans Google nous allons devoir déclarer ce dernier dans l’interface Google Webmaster tools.

Pour cela, nous allons dans un premier temps déclarer le site de pre-production à Google, puis via l’utilitaire de suppression d’url nous allons déclarer toutes les urls à supprimer de l’index de Google par l’intermédiaire d’un robot (iMacros)

Voici la procédure à mettre en place pour désindexer les urls de la prepro d’un site dans Google.

 

Déclaration de la prerpod dans Webmaster tools

1 . Connectez-vous à votre compte Google Webmaster tools www.google.com/webmasters/tools/?hl=fr

2. Cliquer sur « Ajouter un site »

 

3. Renseigner dans le champ l’url de pré-prod qui est indexée : preprod.exemple.com

 

4. Effectuer la validation de votre site, ici je le fais via le téléchargement du fichier html. Télécharger le fichier de validation HTML et transférez le sur le serveur à la racine du site de la pre-production. Une fois le fichier transféré, vous pouvez valider.

Un message de réussite devrait s’afficher.

 

Suppression des URLs indexé

1. Rendez-vous Mozilla Firefox et télécharger le plug-in iMacrox  https://addons.mozilla.org/fr/firefox/addon/imacros-for-firefox/ (existe aussi sur chrome)

 

Cliquer sur « Ajouter à Firefox » puis « Installer maintenant »

 

 

2. Rendez-vous dans le dossier « Documents » de votre ordinateur

3. Aller dans le dossier « iMacros » puis « Datasources » et copier-coller le fichier en pièce suivant  « url-preprod.csv ». C’est dans ce document que vous devez renseigner toutes les urls de pré-prod que vous aurez trouvé. (Pour trouver les urls de votre site, utilisez la commande site:ndd.com dans Google)

4. Revenez dans le dossier « iMacros » et ouvrir le dossier « Macros ». Copier-coller le fichier suivant « #bot-desindexation.iim »

5. Ouvrir le navigateur Firefox , cliquer sur l’icône de iMacros en haut à gauche. Une fenêtre devrait s’ouvrir et vous devriez retrouver le fichier #bot-desindexation.iim dedans.

6. Retourner sur Google Webmaster Tools www.google.com/webmasters/tools/?hl=fr, connectez-vous, puis cliquer sur le site de votre preprod et rendez vous dans la section : Index Google > Url à supprimer

Lancement du bot de désindexation :

1. Cliquer sur le fichier #bot-desindexation.iim à gauche

2. Entrer le nombre d’url présentes dans votre fichier dans la variable « Max » (exemple : 1200)

3. Cliquer sur « Jouer (Répéter) »

 

Le bot va exécuter automatiquement la déclaration des urls à supprimer.

Important : Vous devez impérativement laisser le navigateur ouvert et ne pas effectuer d’autres tâches sur la fenêtre navigateur pendant que le robot travail.

Après la désindexation :

Par la suite je vous recommande l’excellent article de @aymerictwit sur comment bloquer l’acces à sa pré-prod une fois le nettoyage terminé

http://www.yapasdequoi.com/apache/3178-stop-au-duplicate-content-avec-lindexation-des-sites-de-preprod.html

About Polo_Seo

Webmaster / Référenceur dans la région Toulousaine.

11 Commentaires

  1. Keeg

    20 juin 2014 at 14 h 49 min

    Attention à ne pas avoir d’URL avec accent dans le CSV, iMacro ne va pas être content sinon. :p

  2. Polo_Seo

    20 juin 2014 at 15 h 00 min

    Oui IMacro et Accents = prise de tête 😀

    j’ajoute également, comme me l’ont fait remarquer @kikseo et @benoitperrotin, que GWT permet de supprimer tout un environnement d’un coup. Le but de cette article est également de vous fournir la macros vous permettant de comprendre comment supprimer un ensemble d’urls spécifiques sur votre site qu’il soit en prod ou en pré-prod. Dsl pour l’incompréhension.

  3. François-Olivier

    20 juin 2014 at 15 h 01 min

    Salut,

    J’en parlais aussi ici http://www.nicemedia.fr/blog/articles-referencement/supprimer-en-masse-des-repertoires-et-url-rapidement-avec-imacros et un autre sujet, lié, http://www.nicemedia.fr/blog/articles-referencement/trouvez-desindexez-facilement-les-domaines-100-dupliques-de-votre-site

    Par contre dans ton cas pourquoi passes tu par iMacro ? Il suffit de demander la désindexation complète de tout le domaine non ?
    Donc un simple « / » et « Suppression du répertoire »

    Bon à savoir, à l’époque la suppression par iMacro était limitée à 500 URL par tranche de 24h (je crois).

    François-Olivier

  4. Polo_Seo

    20 juin 2014 at 15 h 05 min

    @François Olivier : Oui de très bon articles au passage que j’avais déjà lu. En effet, j’ai mal tourné le but final de mon article comme je le dis dans mon précédent commentaire. Et pour info le nombre d’url max est de 1000 (de mémoire) par tranche de 24h

  5. Gwaradenn

    20 juin 2014 at 15 h 07 min

    Ou sinon tu travailles proprement et ne laisse pas Google ou n’importe quel internaute venir chez toi. 😉

  6. Polo_Seo

    20 juin 2014 at 15 h 10 min

    @Gwaradenn oui je suis d’accord avec toi :) mais parfois tu passes par des presta externes et là tu peux pas prévoir. C’est un peu comme si tu avais un dégât des eaux chez toi, c’est pas prévisible 😀

  7. Lionel

    20 juin 2014 at 15 h 45 min

    Sympa le tuto pour l’utilisation du plugin par contre dans ce cas précis d’une preprod je ne comprends pas pourquoi tu ne demandes pas simplement la desindexation de l’ensemble du sous-domaine ? Il n’y a qu’une seule URL à soumettre :)

  8. Polo_Seo

    20 juin 2014 at 15 h 48 min

    @Lionel, en effet, en faite j’ai l’exemple de la préprod car j’ai un client qui en ce moment m’a demandé la suppression d’un grand nombre d’urls de sa pre-prod mais pas la totalité, du coup j’ai pris cette exemple

  9. NoLevel

    20 juin 2014 at 16 h 18 min

    Pour iMacros, la plupart du temps il « suffit » d’avoir encodé son fichier en UTF-8 😉

  10. Venom

    20 juin 2014 at 17 h 09 min

    Il y a une autre technique qui fonctionne aussi et qui consiste simplement à passer tout le domaine en protection par mdp via le .htaccess (ou restriction d’IP, ça marche également). GG désindexe tout seul les pages au fur et à mesure qu’il repasse crawler.

  11. François-Olivier

    23 juin 2014 at 9 h 41 min

    @Venom : oui sauf que la méthode de Paul décrite dans cet article permet de supprimer les URL en quelques heures à peine 😉