... che contrariamente a quanto affermato, BlogBabel sembrerebbe ignorare il file robots.txt
. Mentre il bot analizza con regolarità i feed XML, non c'è traccia di alcun download del file robots.txt, anche andando indietro nei log fino ad un anno.
$ zgrep -c -e '/robots\.txt.*?BlogBabel http://it\.blogbabel\.com/' access.log.* access.log.2008-07-14.gz:0 access.log.2008-07-15.gz:0 access.log.2008-07-16.gz:0 # ... continua access.log.2008-08-10.gz:0 access.log.2008-08-11.gz:0 access.log.2008-08-12.gz:0
L'accesso al feed è invece regolare.
$ zgrep -e '/blog/index\.xml.*?BlogBabel http://it\.blogbabel\.com/' access.log.* access.log.2008-07-14.gz:212.35.215.119 - - [14/Jul/2008:02:19:31 -0700] "GET /blog/index.xml HTTP/1.1" 302 546 "-" "BlogBabel +http://it.blogbabel.com/" access.log.2008-07-14.gz:212.35.215.119 - - [14/Jul/2008:04:19:16 -0700] "GET /blog/index.xml HTTP/1.1" 302 546 "-" "BlogBabel +http://it.blogbabel.com/" access.log.2008-07-14.gz:212.35.215.119 - - [14/Jul/2008:06:21:23 -0700] "GET /blog/index.xml HTTP/1.1" 302 546 "-" "BlogBabel +http://it.blogbabel.com/" # ... continua
Anche una ricerca per IP, meno restrittiva, conferma le analisi precedenti.
$ zgrep '212.35.215.119' access.log.* | grep -c 'robots.txt' 0 $ zgrep '212.35.215.119' access.log.* | grep -c 'index.xml' 319
Non avendo motivo di ritenere che quanto affermato sia un bluff, presumo ci possa essere un bug nel bot di Blogbabel.