Probabil știți cu toții ce este un spider/bot și nu are rost să intru în detalii. Recent, am avut o problemă la un site de content și se pare că cineva îl adăugase în gsa și tot primeam comentarii spam, traffic ciudat chiar și clicuri pe link/reclame. Iar când ai reclame de la adnetwork precum adsense, un click cu referal nașpa sau fără referal poate însemna banarea ta din cadrul acelei rețele.
Cum le blocăm? Retineți ca metoda nu este 100% sigură. Depinde foarte mult de ce tip de bot aveți
Varianta 1 - folosindu-ne de .htaccess
Varianta 2 - instalarea pluginului StopBadBots (doar pentru site-uri wordpress)
Se poate opta să se actualizeze lista automat, se poate seta ce bot să permiteți și ce să nu permiteți.
Varianta 3 - blocare din robots.txt
Eu personal am decis să blochez și din robots.txt și din .htaccess . Momentan spike-ul primit s-a oprit, nu mai am clicuri și comentarii aiurea.
Varianta 4 - trecerea site-ului în modul under attack pe cloudflare
Chiar dacă e de luat în calcul, personal nu recomand decât în ultimă fază atunci când lucrurile au scăpat definit de sub control. Se mai poate bloca și accesarea site-ului pe baza unui GeoIP.
Dacă aveți și alte soluții puteți completa! Cu cât mai multe soluții cu atât mai bine!
Cum le blocăm? Retineți ca metoda nu este 100% sigură. Depinde foarte mult de ce tip de bot aveți
Varianta 1 - folosindu-ne de .htaccess
Lista este atașată fiind mult prea mare pentru a o posta aici
Varianta 2 - instalarea pluginului StopBadBots (doar pentru site-uri wordpress)
Se poate opta să se actualizeze lista automat, se poate seta ce bot să permiteți și ce să nu permiteți.
Varianta 3 - blocare din robots.txt
User-agent: *
Disallow: /wp-admin/
Disallow: /trackback/
Disallow: /xmlrpc.php
Disallow: /feed/
Disallow: /wp-login.php
Disallow: /activate/ # har har
Disallow: /cgi-bin/ # MT refugees
Disallow: /mshots/v1/
Disallow: /next/
Disallow: /public.api/
Allow: /wp-admin/admin-ajax.php
User-agent: gsa-crawler
Disallow: /
Eu personal am decis să blochez și din robots.txt și din .htaccess . Momentan spike-ul primit s-a oprit, nu mai am clicuri și comentarii aiurea.
Varianta 4 - trecerea site-ului în modul under attack pe cloudflare
Chiar dacă e de luat în calcul, personal nu recomand decât în ultimă fază atunci când lucrurile au scăpat definit de sub control. Se mai poate bloca și accesarea site-ului pe baza unui GeoIP.
Dacă aveți și alte soluții puteți completa! Cu cât mai multe soluții cu atât mai bine!