Come e perchè non indicizzare pagine web

Molti esperti di marketing trovano ovviamente molto allettante il fatto di indicizzare i propri contenuti con più parole chiave possibili, infatti questo darà a loro molta più visibilità e autorità nelle pagine di ricerca. Ma bisogna stare attenti, perché a volte risulta essere molto utile invece escludere dalla ricerca determinate pagine che potrebbero risultare dannose. Anche se questa sembra un’eresia, escludere alcuni contenuti dalla SERP di Google potrà risultare molto utile. Come farlo e perché? Ecco alcuni piccoli appunti.

Tanto per cominciare, perché dovremmo escludere alcune pagine dai motori di ricerca? Un motivo piuttosto semplice potrebbe essere quello di evitare i contenuti duplicati (soprattutto quando esiste più di una versione della pagina indicizzata su Google). Oppure semplicemente si tratta di pagine che non hanno nulla a che vedere con la comunità (pagine di ringraziamento, pagine di amministrazione), o ancora, pagine che vorresti che i clienti raggiungessero semplicemente compilando dei form o acquistando dei contenuti in quanto soltanto così genererebbero lead. Ogni marketer degno di questo nome vorrebbe catturare i propri clienti prima che vadano via dal sito web, e questo non potrebbe accadere se quest’ultimi trovassero le landing page direttamente nella SERP di Google. Mi sembra un motivo piuttosto convincente no?

Ecco due modi per de-indicizzare le pagine del tuo sito web. 

• Il primo modo per rimuovere una pagina dai risultati dei motori di ricerca consiste nell’aggiungere un file robots.txt al tuo sito. Il vantaggio dell’utilizzo di questo metodo è che puoi ottenere un maggiore controllo su ciò che stai consentendo ai bot di indicizzare. All’interno di un file robots.txt, puoi specificare se desideri bloccare i bot da una singola pagina, da un’intera directory o anche solo da una singola immagine o file. 
• Se non hai bisogno di tutto il controllo di un file robots.txt e stai cercando una soluzione più semplice e meno tecnica, allora potresti aggiungere poche righe al file Htaccess:

Header set X-Robots-Tag “noindex, nofollow”

Per indicare che il tuo sito web può essere indicizzato, ma mai mostrato nei risultati di ricerca di Google.