[StefanT]

Der Googlebot (der das Internet für Google durchsucht) lädt nun nicht mehr nur die HTML-Seite, sondern nun auch CSS- und Javascript-Dateien, sowie Bilder, um damit die Seiten wie ein moderner Browser erkennen zu können. Deshalb hat Google seine Richtlinien für Webmaster aktualisiert und weist darauf hin, dass diese zusätzlichen Dateien nicht in der robots.txt gesperrt sein sollten; sonst droht ein schlechteres Ranking:

Bisher ähnelten Google-Indexierungssysteme alten textbasierten Browsern wie Lynx, und so stand es auch in unseren Richtlinien für Webmaster. Da die Indexierung jetzt auf der Seitendarstellung basiert, sind unsere Indexierungssysteme nun nicht mehr mit einem textbasierten Browser vergleichbar. Stattdessen handelt es sich eher um einen modernen Webbrowser.

http://googlewebmastercentral-de.blogspo...inien.html

Weitere Informationen:
http://t3n.de/news/google-guidelines-css...pt-574763/
http://googlewebmastercentral.blogspot.d...etter.html