Cum blochezi bad bots?

[AnoniMouse]

Salut!
Voi cum blocati "bad bots"?
Vreau sa nu mai primesc mesaje precum ca mi-au fost scoase din cautari anumite postari de pe google. Toate acestea sunt cauzate de acesti boti care scaneaza url-urile si verifica daca exista vreun material cu drepturi.
Utitlizez wordpress si cloudflare. Am incercat sa setez in cloudflare, dar imi blocheaza si boti buni.

 

[AlexH]

Pentru cloudflare foloseste aceste reguli.

(http.user_agent contains "Yandex") or (http.user_agent contains "muckrack") or (http.user_agent contains "Qwantify") or (http.user_agent contains "Sogou") or (http.user_agent contains "BUbiNG") or (http.user_agent contains "knowledge") or (http.user_agent contains "CFNetwork") or (http.user_agent contains "Scrapy") or (http.user_agent contains "SemrushBot") or (http.user_agent contains "AhrefsBot") or (http.user_agent contains "Baiduspider") or (http.user_agent contains "python-requests") or (http.user_agent contains "crawl" and not cf.client.bot) or (http.user_agent contains "Crawl" and not cf.client.bot) or (http.user_agent contains "bot" and not http.user_agent contains "bingbot" and not http.user_agent contains "Google" and not http.user_agent contains "Twitter" and not cf.client.bot) or (http.user_agent contains "Bot" and not http.user_agent contains "Google" and not cf.client.bot) or (http.user_agent contains "Spider" and not cf.client.bot) or (http.user_agent contains "spider" and not cf.client.bot)

Inainte era o lista foarte mare cu boti dmca dar vad ca nu o mai gasesc, sau este ascunsa.
vezi in cloudflare sa activezi la bot optiunea Bot Fight Mode.

Si apoi la securitate >> ddos sa faci configurarea.

O alta chestie care poti face este in functie de valoarea de amenitare care o are userul sau botul, sa ii ceara verificare.
Eu folosesc mai mica sau egla cu 5, iar daca vat ca tot trece, scad.

Un alt truc este sa pui valorea mai mica sau egala cu 2 si las asa o zi, apoi verifici logurile si vezi cine si cum iti acceseaza site.
Apoi banezi din cloudflare.

 

[bog91]

Pentru cloudflare foloseste aceste reguli.

(http.user_agent contains "Yandex") or (http.user_agent contains "muckrack") or (http.user_agent contains "Qwantify") or (http.user_agent contains "Sogou") or (http.user_agent contains "BUbiNG") or (http.user_agent contains "knowledge") or (http.user_agent contains "CFNetwork") or (http.user_agent contains "Scrapy") or (http.user_agent contains "SemrushBot") or (http.user_agent contains "AhrefsBot") or (http.user_agent contains "Baiduspider") or (http.user_agent contains "python-requests") or (http.user_agent contains "crawl" and not cf.client.bot) or (http.user_agent contains "Crawl" and not cf.client.bot) or (http.user_agent contains "bot" and not http.user_agent contains "bingbot" and not http.user_agent contains "Google" and not http.user_agent contains "Twitter" and not cf.client.bot) or (http.user_agent contains "Bot" and not http.user_agent contains "Google" and not cf.client.bot) or (http.user_agent contains "Spider" and not cf.client.bot) or (http.user_agent contains "spider" and not cf.client.bot)

am folosit eu aceste setari si tot primeam dmca pe un cont adsense, din pacate am site-ul pe blogger si nu alta modalitate de blocare boti decat prin claudflare, care nu functioneza in cazul meu! pe wordpress se poate bloca prin .htaccess, ceea ce pe blogger nu se poate accesa !

 

[AlexH]

In AdSense fie că blochezi sau nu, tot iti va apare notificare pentru ca identifica singur fara alti boti.
Există app in cloudflare care iti permite sa rulezi diverse coduri in site tau fara sa te atingi de sursa.

 

[bog91]

In AdSense fie că blochezi sau nu, tot iti va apare notificare pentru ca identifica singur fara alti boti.
Există app in cloudflare care iti permite sa rulezi diverse coduri in site tau fara sa te atingi de sursa.

Ce app din claudflare poate face sa nu mai primesc notificări dmca in adsense? Mi-a fost închis un cont pentru dmca.

 

[AnoniMouse]

Pentru cloudflare foloseste aceste reguli.

(http.user_agent contains "Yandex") or (http.user_agent contains "muckrack") or (http.user_agent contains "Qwantify") or (http.user_agent contains "Sogou") or (http.user_agent contains "BUbiNG") or (http.user_agent contains "knowledge") or (http.user_agent contains "CFNetwork") or (http.user_agent contains "Scrapy") or (http.user_agent contains "SemrushBot") or (http.user_agent contains "AhrefsBot") or (http.user_agent contains "Baiduspider") or (http.user_agent contains "python-requests") or (http.user_agent contains "crawl" and not cf.client.bot) or (http.user_agent contains "Crawl" and not cf.client.bot) or (http.user_agent contains "bot" and not http.user_agent contains "bingbot" and not http.user_agent contains "Google" and not http.user_agent contains "Twitter" and not cf.client.bot) or (http.user_agent contains "Bot" and not http.user_agent contains "Google" and not cf.client.bot) or (http.user_agent contains "Spider" and not cf.client.bot) or (http.user_agent contains "spider" and not cf.client.bot)

Cum adaug aceste reguli? Create firewall rule -> request si Block?

 

[AlexH]

Ce app din claudflare poate face sa nu mai primesc notificări dmca in adsense? Mi-a fost închis un cont pentru dmca.

Nu stiu exact cum se numește.
Pentru AdSense nu poti face nimic, orice ai face el tot vede conținutul.
Singura metoda este sa blochezi botul google AdSense dsr nu cred ca vrei sa faci asta.

Ai acolo opțiune bot, pui regulile si apoi poți pune challenge, eu nu le am pus cu block.

 

[Martin]

O opțiune pentru a reduce încărcarea serverului de la roboți, păianjeni și alte crawler-uri este crearea unui roboți. txt la rădăcina site-ului dvs. web. Acest lucru le spune motoarele de căutare ce conținut de pe site-ul dvs. ar trebui și nu ar trebui să indexeze.

 

[AlexH]

O opțiune pentru a reduce încărcarea serverului de la roboți, păianjeni și alte crawler-uri este crearea unui roboți. txt la rădăcina site-ului dvs. web. Acest lucru le spune motoarele de căutare ce conținut de pe site-ul dvs. ar trebui și nu ar trebui să indexeze.

Real insa nu mereu tine cont.
Google chiar specificat in TOS ca indiferent daca ai regula in robots.txt pusa el tot va accesa si chiar indexa site,link.

Pentru a nu consuma resurse, cea mai buna metoda este nulle route la orice ce nu este in lista tau.

 

[fashion]

Pentru cloudflare foloseste aceste reguli.

(http.user_agent contains "Yandex") or (http.user_agent contains "muckrack") or (http.user_agent contains "Qwantify") or (http.user_agent contains "Sogou") or (http.user_agent contains "BUbiNG") or (http.user_agent contains "knowledge") or (http.user_agent contains "CFNetwork") or (http.user_agent contains "Scrapy") or (http.user_agent contains "SemrushBot") or (http.user_agent contains "AhrefsBot") or (http.user_agent contains "Baiduspider") or (http.user_agent contains "python-requests") or (http.user_agent contains "crawl" and not cf.client.bot) or (http.user_agent contains "Crawl" and not cf.client.bot) or (http.user_agent contains "bot" and not http.user_agent contains "bingbot" and not http.user_agent contains "Google" and not http.user_agent contains "Twitter" and not cf.client.bot) or (http.user_agent contains "Bot" and not http.user_agent contains "Google" and not cf.client.bot) or (http.user_agent contains "Spider" and not cf.client.bot) or (http.user_agent contains "spider" and not cf.client.bot)

Inainte era o lista foarte mare cu boti dmca dar vad ca nu o mai gasesc, sau este ascunsa.
vezi in cloudflare sa activezi la bot optiunea Bot Fight Mode.

Si apoi la securitate >> ddos sa faci configurarea.

O alta chestie care poti face este in functie de valoarea de amenitare care o are userul sau botul, sa ii ceara verificare.
Eu folosesc mai mica sau egla cu 5, iar daca vat ca tot trece, scad.

Un alt truc este sa pui valorea mai mica sau egala cu 2 si las asa o zi, apoi verifici logurile si vezi cine si cum iti acceseaza site.
Apoi banezi din cloudflare.

Salutare, aceasta regula blochează si google bot, sau Bing sa indexeze/acceseze site-ul? As dori ca ei sa fie exclusi. Multumesc mult.