Tutorial Cum blochezi un bad spider

Naruto9

VIP Club
Registered
Full Member
Web Designer
VIP Club
Probabil știți cu toții ce este un spider/bot și nu are rost să intru în detalii. Recent, am avut o problemă la un site de content și se pare că cineva îl adăugase în gsa și tot primeam comentarii spam, traffic ciudat chiar și clicuri pe link/reclame. Iar când ai reclame de la adnetwork precum adsense, un click cu referal nașpa sau fără referal poate însemna banarea ta din cadrul acelei rețele.

Cum le blocăm? Retineți ca metoda nu este 100% sigură. Depinde foarte mult de ce tip de bot aveți

Varianta 1 - folosindu-ne de .htaccess

Lista este atașată fiind mult prea mare pentru a o posta aici

Varianta 2 - instalarea pluginului StopBadBots (doar pentru site-uri wordpress)


Se poate opta să se actualizeze lista automat, se poate seta ce bot să permiteți și ce să nu permiteți.

Varianta 3 - blocare din robots.txt

User-agent: *
Disallow: /wp-admin/
Disallow: /trackback/
Disallow: /xmlrpc.php
Disallow: /feed/
Disallow: /wp-login.php
Disallow: /activate/ # har har
Disallow: /cgi-bin/ # MT refugees
Disallow: /mshots/v1/
Disallow: /next/
Disallow: /public.api/
Allow: /wp-admin/admin-ajax.php

User-agent: gsa-crawler
Disallow: /

Eu personal am decis să blochez și din robots.txt și din .htaccess . Momentan spike-ul primit s-a oprit, nu mai am clicuri și comentarii aiurea.

Varianta 4 - trecerea site-ului în modul under attack pe cloudflare

Chiar dacă e de luat în calcul, personal nu recomand decât în ultimă fază atunci când lucrurile au scăpat definit de sub control. Se mai poate bloca și accesarea site-ului pe baza unui GeoIP.

Dacă aveți și alte soluții puteți completa! Cu cât mai multe soluții cu atât mai bine!
 

Atașamente

  • de adaugat in htaccess.txt
    12,6 KB · Vizualizări: 1
Eu personal am decis să blochez și din robots.txt și din .htaccess . Momentan spike-ul primit s-a oprit, nu mai am clicuri și comentarii aiurea.
E de ajuns din robots.txt, nu are rost sa 'dublezi' blocarea.

In practica am vazut multe siteuri care blocheaza tot in afara de google.
Pt cine vrea sa faca asta puteti sa utilizati codul:
Cod:
User-agent: Googlebot
Disallow:

User-agent: *
Disallow: /
Codul se pune in robots.txt
 
De vreo 3 saptamani am si eu problema asta cu spam-ul. Reclame la tot felul de produse. Am incercat StopBadBots, dar nu a dat rezultate wow. Mai erau mesaje pe ici pe colo. Recomand celor care folosesc wordpress Google Captcha by Bestwebsoft. Atasez un mic tutorial cum sa-l puneti in functiune:
 
Ultima editare:
Loading...
Back
Sus