Welkom gast! Aanmelden Registreren


Waardering:
  • 0 stemmen - gemiddelde waardering is 0
  • 1
  • 2
  • 3
  • 4
  • 5
ongewenste crawlers
#1

hey retronet,

Ik heb een vraag hoe kan ik het beste ongewenste crawlers tegen gaan? in de afgelopen maand heb ik 1000 unieke bezoekers erbij op me website door crawlers wat dus niet fijn voor mij is.

cloudflare stats:
https://i.imgur.com/wP7cVTO.png
https://i.imgur.com/s5J7ClK.png

google analytics stats:
(Komt er nog aan heb het kennelijk dus niet de code erin gepropt Sad opes...)

Als ik de ip adressen ga na tracken van mijn bezoekers dan kom ik dezelfde ip ranges tegen en 9 van de 10 keer zijn het ovh ip adressen...
Dus kan iemand mij helpen?

Gestopt met retro's bied enkel matige support dus enkel als ik zin in heb en alleen hier op retronet. Niet meer op social media.
Verveel je? Bezit je minecraft? Neem dan een kijk je op me minecraft server: play.lgn.yt (hacken of mod gebruik is niet toegestaan)

discord: slaapkopamy#4202 Let op dat je geen spam verstuurd naar me discord want ik blok je zonder pardon.
 
Reageer
#2

Waarom is 1k unieke bezoekers per maand extra een probleem als ik vragen mag? Tongue

 
Reageer
#3
(13-02-2018, 15:11)sydneyxd schreef: Waarom is 1k unieke bezoekers per maand extra een probleem als ik vragen mag? Tongue

omdat de andere 1k bezoekers ook crawlers zijn Sad
Gestopt met retro's bied enkel matige support dus enkel als ik zin in heb en alleen hier op retronet. Niet meer op social media.
Verveel je? Bezit je minecraft? Neem dan een kijk je op me minecraft server: play.lgn.yt (hacken of mod gebruik is niet toegestaan)

discord: slaapkopamy#4202 Let op dat je geen spam verstuurd naar me discord want ik blok je zonder pardon.
 
Reageer
#4
in je .htaccess:

Code:
RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot|Baiduspider) [NC]
RewriteRule .* - [R=403,L]

Mocht je googlebot wel willen behouden delete je gewoon uit het rijtje googlebot:

Code:
RewriteCond %{HTTP_USER_AGENT} (bingbot|Baiduspider) [NC]
Some people like to rock, some people like to roll.
 
Reageer
  




Leden die dit momenteel bekijken: 1 gast(en)