Enorm veel data verkeer

[AnnaTEFka]

• Wat is het probleem? Enorm veel data verkeer.
  Wanneer ontstond het probleem? Een paar maanden geleden
  Adres van je forum: https://www.annatefka.nl/phpBB/index.php
  Waar is je forum gehost: protagonist
  Heb je onlangs iets veranderd aan je forum?

Nee

Vorig jaar 2 maanden gehad waarbij de data limit van de provider was overschreden.
Dit jaar sinds maart is dat al iedere maand het geval.
Ik kan het niet verklaren door de inhoud van de website.

Wat me wel opvalt, is dat ik veel gasten op het forum heb. Kijk ik wat die gasten doen, dan is het vooral downloaden.
Het gaat om een crawler. Hoe kan ik dat voorkomen.

Alvast bedankt voor het meedenken.

[AnnaTEFka]

Opnieuw naar de gasten gekeken.
Zijn continue aan het downloaden.

IP: 54.255.218.6 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:25

Deze actie staat er op met wel 50 downloads per minuut van verschillende IP adressen.
Zie een deel van de lijst hieronder.

Kan ik ergens instellen dat gasten niet mogen downloaden. Bekijken is prima.


Gast IP: 13.250.227.154 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
admin IP: 84.247.45.71 » Whois
Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:142.0) Gecko/20100101 Firefox/142.0 Bekijkt wie is er online wo 10 sep 2025 05:29
Gast IP: 52.220.99.112 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 13.251.83.43 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 47.130.30.119 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 13.250.87.217 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 54.151.185.30 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 13.213.84.21 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 13.214.244.23 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 54.169.145.89 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 46.137.206.146 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 18.143.56.174 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 54.169.131.194 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 47.130.76.37 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 13.229.16.251 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 13.213.93.162 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 47.130.61.219 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Semrush [Bot] IP: 85.208.96.198 » Whois
Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html) Bekijkt gebruikerspaneel wo 10 sep 2025 05:29
Gast IP: 47.130.45.182 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 3.0.166.8 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 13.250.138.232 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 47.130.61.192 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 52.74.58.47 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 54.169.227.4 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 13.229.33.21 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 18.142.233.159 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 18.142.166.146 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 13.213.127.104 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 146.174.191.11 » Whois
Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_4; en-US) AppleWebKit/534.3 (KHTML, like Gecko) Chrome/6.0.458.1 Safari/534.3 Forumoverzicht wo 10 sep 2025 05:29
Gast IP: 54.254.54.29 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 47.130.79.23 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 18.139.61.118 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 54.254.110.64 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 54.169.160.27 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 52.220.130.120 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:29
Gast IP: 13.229.165.132 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:28
Gast IP: 54.255.157.237 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:28
Gast IP: 54.255.26.49 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:28
Gast IP: 52.221.108.21 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:28
Gast IP: 18.143.82.121 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:28
Gast IP: 52.76.105.201 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:28
Gast IP: 52.74.129.116 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:28
Gast IP: 52.220.174.74 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:28
Gast IP: 18.143.72.152 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:28
Gast IP: 18.140.152.11 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:28
Gast IP: 46.137.241.255 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:28
Gast IP: 18.136.83.96 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:28
Gast IP: 3.1.55.166 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:28
Gast IP: 18.142.191.196 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:28
Gast IP: 18.141.136.97 » Whois
Mozilla/5.0 (compatible; crawler) Bestand wordt gedownload wo 10 sep 2025 05:28

[El torro]

Beste oplossing is mijn inziens door Cloudflare tussen je domeinnaam en de server te zetten.
Is gratis en redelijk eenvoudig.
Ik heb dat op al mijn websites draaien en crawlers onder controle.

[AnnaTEFka]

Het is me gisteren niet gelukt met cloudflare.
Vandaag is me wel gelukt om een cloudflare account aan te maken voor mijn website.
Helaas is het probleem met het permanent downloaden van bestanden van het forum nog niet opgelost.
Ik heb nu het forum maar even uitgezet.

Morgen of zaterdag nog maar eens wat proberen.

[El torro]

Alleen een account aanmaken is niet genoeg, als je hulp wilt moet je het hier maar even vragen.

[nl1sms]

Kan het niet veel simpeler door, via ACP, bots geen rechten te geven bestanden te downloaden?

[El torro]

Kan het niet veel simpeler door, via ACP, bots geen rechten te geven bestanden te downloaden?

Dat werkt alleen als ze zich als bots identificeren en als ze in de lijst met bots staan.

[nl1sms]

Hmm... ik neem aan dat het om attachements gaat in een topic ?!?! Dat kun je toch zo instellen dat alleen geregistreerde en ingelogde leden ze kunnen downen? Of kan dat ook niet ?
Heb ik ook gedaan..... ik heb veel bezoek van semrush en ahrefs (zitten 24/7 online) maar ik merk niet een hogere datatransfer dan normaal. Sowieso moet daar geen limiet op zitten vind ik. Beetje hoster heef geen limiet maar dit terzijde. Mij valt het op dat facebook een soort van eigen crawler heeft de laatste tijd, net als amazon en alibaba. Zolang alles snel blijft draaien vind ik het best eigenlijk.

[AnnaTEFka]

Hoi Allemaal,

Ik heb cloudflare aan de gang gekregen. El Torro bedankt voor de tip hiervoor.

Het aantal gasten dat download is gezakt van 250 in 5 minuten is gezakt naar 1 die continu aan het downloaden is.
Dat is er nog steeds een te veel. Dus vannacht het forum maar weer uitzetten.

Ik kon 1 setting niet vinden bij mijn provider.
DNSSEC

De nameserver instellingen heb ik wel aan kunnen passen.

Ik ga nog even in het ACP kijken wat ik daar nog kan doen. Downloads voor gasten uitzetten is blijkbaar niet voldoende.

[AnnaTEFka]

Helaas,
Na twee uur wachten met steeds maar 1 gast aan het downloaden toch weer ineens 220 gasten die aan het downloaden zijn.

Als iemand nog tips heeft?

Moet je de extensie van cloudflare nu of wel niet installeren op het forum?
Het lijkt er op dat als ik de extensie aanzet, er juist veel meer gasten downloaden.

[El torro]

Je moet als Cloudflare werkt, regels maken in => domain => jouw domain => Security => zoek naar "Manage costum rules"
Maak regels om bots of landen te blokkeren of te beperken.

De extensie moet je installeren, anders komt iedereen van hetzelfde IP adres. (waarvan jij denkt dat het 1 gast is)

[AnnaTEFka]

Hoi El torro,

Bedankt voor tip weer.
Ik heb het gevonden.
Heb nu twee landen geblokkeerd.

Ga morgen weer verder met testen.
Forum blijft vannacht uit.

Als je nog meer tips hebt, hoor ik het graag.
Dit is compleet nieuw voor mij.

MVG.
AnnaTEFka.

[AnnaTEFka]

Cloudflare doet zijn werk.

De hele dag nog geen downloaders uit Singapore gehad.
Alleen jammer dat ik heel Singapore nu blokkeer.

[El torro]

Als je leden uit Singapore hebt moet je dat land niet blokkeren maar "manage challange" of "js Challance" instellen.
De leden moeten dan zelf aangeven dat ze menselijk zijn of Cloudflare controleert dat automatisch (denk dat de js de automatische is)

[AarClay]

Hoeveel dataverkeer heeft je hostingpakket momenteel? Vaak zijn deze limieten zo groot dat je haast geen last van overschrijdingen hebt.

[AnnaTEFka]

Ik heb een dataverkeer van 100 GB per maand.
Door het permanent downloaden van een robot/crawler/oid ga ik daar met een factor 4 tot 5 overheen.
Augustus was het 551 GB en September zou nog meer geworden zijn als ik niets had veranderd.
Ik zit nu weer rond 0,8 GB per dag (rond de 25 GB per maand). Dat is normaal voor mijn website (historisch gezien).

Ook het aantal gasten is van rond de 250 terug naar 6 op het forum.
En geen enkele gast is meer aan het downloaden van het forum.

[AnnaTEFka]

Even een update.

Ik heb de downloadende robot kunnen blokkeren op basis van het AS nummer.
Singapore als land is daarmee niet meer geblokkeerd.
Bij cloudflare zie ik dat de robot nog steeds actief is maar door cloudflare geblokkeerd wordt.