29 Lug Googlebot non riesce ad accedere ai file CSS e JS

Googlebot non riesce ad accedere ai file CSS e JS: cosa signifca esattamente?

Nella giornata di ieri è arrivata per email ad un gran numero di Webmaster la seguente comunicazione da parte di Google:

Questa comunicazione sta ad indicare che Googlebot non riesce a scansionare (cioè visualizzare) correttamente la homepage del sito in questione, e ciò può comportare una penalizzazione del ranking della pagina, e quindi una scarsa ottimizzazione ai fini della SEO.

Il realtà la questione era già nell’aria da tempo: più volte negli scorsi mesi i portavoce di Google avevano avvisato i Webmaster di permettere agli spider dei motori di ricerca l’accesso a tutti i file necessari alla corretta visualizzazione dei siti, ma ieri con un invio massivo di e-mail la questione è letteralmente esplosa.

Come verificare che effettivamente Google non visualizzi correttamente il tuo sito?

È semplice: è sufficiente accedere alla sezione “Strumenti per Webmaster” di Google tramite l’account su cui è arrivata la comunicazione -oppure cliccare sul link “Visualizza come Google” nella email-  per rendersi subito conto di come Google “vede” la nostra homepage.
I contenuti delle due sezioni dovrebbero essere uguali. Se invece sono differenti, e tipicamente nella sezione di sinistra “Ecco come la pagina è stata visualizzata da Googlebot” mancano delle componenti, significa che all’interno del file robots.txt abbiamo bloccato delle cartelle che servono al motore di ricerca per una corretta visualizzazione del nostro sito.

A questo punto diamo un’occhiata al file robots.txt

Il file robots.txt è un semplice documento di testo in cui vengono indicati ai crawler dei motori di ricerca quali cartelle, o sezioni del nostro sito, desideriamo o meno far scansionare ai motori di ricerca.

Tipicamente questo file può essere visualizzato all’indirizzo www.nometuosito.it/robots.txt . Se il tuo sito è stato realizzato attraverso un CMS come WordPress, Drupal o Joomla! il file robots.txt viene creato in automatico, e di default vengono escluse alcune cartelle, per evitare che i motori di ricerca scansionino cartelle non strettamente inerenti con il tuo sito.

Come includere i file CSS e JS all’interno di robots.txt?

Se è stato utilizzato un CMS come WordPress per la creazione del sito, tipicamente la cartella /wp-admin/ , insieme ad altre, è esclusa di default.

È sufficiente “dire” agli spider dei motori di ricerca di includere anche i file dei fogli di stile (CSS) e i JavaScript (JS) tra i file da scansionare. Un esempio di file robots.txt “corretto” per un sito in wordpress è questo:

Con la dicitura Disallow viene impedito a Googlebot di scansionare la determinata cartella, mentre con Allow vendono indicate le cartelle permesse, e con in questo caso si tratta di qualsiasi file che termini con l’estensione .js o .css.

Se abbiamo più righe di testo di allow e di disallow è bene ricordarsi che prima devono venire scritti i Disallow, e poi gli Allow, come viene riportato dalle linee guida di Google.

Come modificare il file robots.txt?

Per modificare il file robots.txt del proprio sito è possibile sfruttare il plugin che lo ha creato (nel caso se ne fosse utilizzato uno, come All in One SEO Pack) oppure scaricarne uno ad hoc, come WP Robots TXT.

Se invece si ha un po’ più di dimestichezza con i trasferimenti di file via FTP vi consigliamo di effettuare le modifiche direttamente dal file, essendo un semplice file di testo.

È sufficiente scaricare sul proprio computer con un client come FileZilla  per scaricare dal server il file robots.txt, modificarlo come necessario, e ricaricarlo sul server.

Se hai bisogno di aiuto o di ulteriori delucidazioni, contatta la nostra web agency: la prima consulenza è gratuita.