Google Sitemaps: Statistiche e analisi robots.txt

Il team di sviluppo di Google Sitemaps ha introdotto ieri alcune nuove funzionalità di controllo in aggiunta a quelle attualmente disponibili, inaugurate a metà di novembre.

I nuovi strumenti, presentati sul blog, offrono un'interfaccia per l'analisi del file robots.txt ed alcune nuove statistiche legate a Page Rank e contenuti.

L'area per il robots.txt fornisce, se presente, l'URL del file, la data dell'ultimo download e lo status HTTP restituito dal server. In aggiunta, un controllo documenta se il crawling dell'homepage del sito è stato disabilitato o meno, consentendo di correre ai ripari se per caso è stato uploadato un robots.txt con direttive errate.

Test aggiuntivi consentono di analizzare il contenuto del robots.txt oltre che specificare un elenco di URL e verificare lo status del crawling scegliendo di emulare i principali bot made by Google come GoogleBot o Google Image. Una serie di funzionalità tanto semplici quanto utili soprattutto per agevolare quanti hanno poca dimestichezza con le direttive di questo speciale file. Questi strumenti si rivelano poi particolarmente efficaci per controllare eventuali direttive che impediscono a crawler specifici di lavorare, come ad esempio lo spider di Google AdSense.

L'area Common Words riepiloga un elenco delle parole più comuni nel sito (In your site's content) o, report molto interessante, nelle etichette dei link esterni che puntano al sito in analisi (In external anchors to your site).

Infine, il report Your page with the highest PageRank contiene uno storico della pagina con il page rank più alto nel sito negli ultimi 3 mesi.

Update: Ne parla anche Matt Cutts.