Leggendo i log ho scoperto... #4

... che c'è un nuovo tipo di crawler in casa Yahoo! che si identifica come Mozilla/5.0 (Yahoo-MMCrawler/4.0; mailto:vertical-crawl-support@yahoo-inc.com).
La comparsa di questo bot risale alla prima settimana di Luglio 2008 e sembra prediligere esclusivamente file multimediali, nello specifico immagini.

68.142.212.211 - - [15/Aug/2008:02:57:14 -0700] "GET /robots.txt HTTP/1.0" 200 405 "-" "Mozilla/5.0 (Yahoo-MMCrawler/4.0; mailto:vertical-crawl-support@yahoo-inc.com)"
68.142.212.211 - - [15/Aug/2008:02:57:14 -0700] "GET /uploads/2007/05/come-segnalare-phishing/opera-report-phishing.png HTTP/1.0" 200 85650 "-" "Mozilla/5.0 (Yahoo-MMCrawler/4.0; mailto:vertical-crawl-support@yahoo-inc.com)"

Questo crawler sembrerebbe aderire al protocollo di esclusione basato su robots.txt.