W pradziejach istnienia internetu, pozycjonerzy namiętnie blokowali roboty Yahoo przed zbieraniem informacji o witrynie. Był to skuteczny sposób na ukrywanie swojego zaplecza przed oczami osób postronnych (złych ludzi np. spam donosicieli). Kurz po usunięciu Yahoo Site Explorer już dawno opadł i na rynku prym wiodą obecnie głownie dwa systemy analizy linków: Ahref oraz MajesticSEO.
Przed robotami powyższych systemów możesz się bronić na dwa sposoby:
- Za pomocą plików robots.txt, htaccess
- Na poziomie httpd.conf
1) Prawidłowo roboty rozpoznasz za pomocą:
Ahrefs: (compatible; AhrefsBot/2.0; +http://ahrefs.com/robot/) MajesticSEO: (compatible; MJ12bot/v1.4.0; http://www.majestic12.co.uk/bot.php?+)
2) Blokada za pomocą httpd.confNależy do pliku httpd.conf dodać poniższe linie + restart serwera apache
SetEnvIfNoCase User-Agent "DotBot" bad_bot SetEnvIfNoCase User-Agent "MJ12bot" bad_bot SetEnvIfNoCase User-Agent "AhrefsBot" bad_bot SetEnvIfNoCase User-Agent "sitebot" bad_bot SetEnvIfNoCase User-Agent "LexxeBot" bad_bot SetEnvIfNoCase User-Agent "Yandex" bad_bot SetEnvIfNoCase User-Agent "Ezooms" bad_bot SetEnvIfNoCase User-Agent "ichiro" bad_bot SetEnvIfNoCase User-Agent "AppEngine-Google" bad_bot < Location / > Order Allow,Deny Deny from env=bad_bot Allow from all < / Location >
