Andrea is een wandelgids en maker van een blog om de Sierra de Gredos te bezoeken. Jarenlang is deze autonome toegewijd aan het voorbereiden van gedetailleerde items op routes, tips voor toeristen en onderdak beoordelingen van het gebied. Werk bestemd voor Trek potentiële lezers en klanten naar uw website Voor de excursies die u organiseert.
In de afgelopen maanden heeft hij gezien hoe die bezoeken instorten. De inhoud ervan blijft in de topposities verschijnen bij het zoeken op internet, maar veel gebruikers bereiken hun portal niet langer. De reden: de aanwezigen en diensten van AI die, zoals de samenvattingen van Google,, Ze bieden rechtstreeks de antwoorden op het overleg zonder de pagina's te doorlopen Waaruit deze tools informatie extraheren.
Erger nog, je server wordt belegerd door Bots die beperkt zijn tot het kopiëren van complete vermeldingen om taalmodellen te voeden. Dit fenomeen wordt geassocieerd met proliferatie van robots geassocieerd met kunstmatige intelligentieen is al kwantificeerbaar en versneld. Aldus duidt op internetverkeersanalyse duidt op een snelle toename van de tracker -activiteit (Crawlers) En in aanwezigheid van Bots bestemd voor massieve extractie van inhoud (Schrapen).
Elke autonome of MKB die afhankelijk is van de zichtbaarheid van haar website wordt beïnvloed
De zaak van Andrea is fictief, maar weerspiegelt een echt voorbeeld van een veelheid van kleine bedrijven die minder echt gebruikersverkeer naar hun pagina's hebben ervaren.
En het probleem is niet alleen bloggers, maar ook beïnvloedt Elke MKB of autonoom die afhankelijk is van de zichtbaarheid van haar website Om klanten te vangen.
- Professionals die “frequente antwoorden” publiceren om klanten aan te trekken, zoals Fiscale adviseurs, advocaten of consultants die publicaties maken over twijfels en praktische gidsen.
- Landelijke huizen en kleine hotels Dat genereert hun eigen inhoud over routes, gastronomie of toeristische bezoeken om zich in zoekmachines te positioneren.
- die recepten of gerechten beschrijvingen publiceren om diners en reserves aan te trekken.
- Elektronische handelswinkels en ambachtslieden die hun blogs gebruiken Om processen uit te leggen, producten te tonen en biologisch verkeer vast te leggen.
- Digitale tijdschriften of portals Regio's die evenementen en nieuws behandelen die meestal niet in nationale media zijn.
- en cursussen platforms die gratis tutorials bieden, zoals Hook.
In al deze gevallen, als een AI -assistent het antwoord rechtstreeks of een boerderij van biedt Schrapers Kopieer de inhoud van het web, het bedrijf in kwestie ontvangt niet meer het bezoek dat eerder uit de zoekmachine is aangekomen. Dat vertaalt zich in minder ingevulde formulieren, minder reserveringen en Lagere advertentie -inkomsten of abonnementen.
De cijfers op Bots Van de urgentie van maatregelen is duidelijk
Dat gezegd hebbende: verschillende recente rapporten laten zien dat de aanwezigheid van Bots In het netwerk is het opmerkelijk gegroeid in een korte termijn van slechts enkele maanden. De meest prominente afkomstig van Cloudflare, het platform dat 20% van alle pagina's op internet serveert en enorme verkeersvolumes bewaakt.
Dus tussen mei 2024 en mei 2025 heeft het dat gedetecteerd Totaal trackers -verkeer groeide met 18% (en tot 48% als de uitbreiding van het klantenbestand is inbegrepen). In het bijzonder de Bot Geassocieerd met Chatgpt (GPTBOT) verhoogde het aantal toepassingen in die periode met 305%, geconcentreerd in de eerste helft van dit jaar.
In die mate zijn ze toegenomen dat, volgens de gegevens van de Franse consultant die Thales weerspiegelt in haar studie '2025 Bad Bot Report', verkeer gegenereerd door Bots In het netwerk overschrijdt al de overeenkomstige met mensen In de wereldwijde berekening van 2024. Met een ander zorgwekkend aspect, is de toename van het aandeel kwaadwillende robots, dat wil zeggen die bestemd zijn om aanvallen op webpagina's uit te voeren.
Tegelijkertijd hebben editors en media gevoelige valpartijen geregistreerd in organisch verkeer die toe te schrijven is aan samenvattingen van zoekmachines (zoals de bovengenoemde Google AI -overzichten). Met schattingen die spreken over valpartijen van de orde van 25 tot 30% in verschillende onafhankelijke media. Dit heeft direct invloed op Bedrijfsmodellen op basis van bezoeken en advertenties.
Deze cijfers tonen aan dat in de afgelopen maanden de dynamiek van wie de inhoud “verbruikt” is veranderd: het is niet langer alleen een mens die een website bereikt, maar een groeiend mengsel (en in veel gevallen, meerderheid) van Geautomatiseerde programma's die die inhoud extraheren, indexeren en hergebruiken.
Hoe werken deze inhoudsdieven voor AI?
A Schraper of Kruipen Het is een programma dat op het web circuleert dat het gedrag van een browser imiteert, met als doel opnieuw pagina's voor zoekmachines te indexeren. Dat wil zeggen, maak een inhoudsindex om te weten wat te vinden is.
Vroeger gehoorzaamden de meeste de regels die de pagina's zelf kunnen aangeven aan deze bots (via het bekende bestand robots.txt). Maar nu gebruiken veel modellen en services die AI -antwoorden aanbieden ze rechtstreeks om grote hoeveelheden tekst te verkrijgen en Train of voer uw antwoorden.
Sommigen identificeren zichzelf als herkenbare agenten (bijvoorbeeld de bovengenoemde GPTBOT), anderen camouflage; Sommigen respecteren de aanwijzingen daarvan robots.txt, En anderen niet. Het resultaat: inhoud gekopieerd zonder toestemming, minder reële bezoeken en extra belastingen op servers.
Oplossingen voor zelfstandige en MKB -bedrijven via CloudFlare
Cloudflare is een service die fungeert als een tussenpersoon tussen een website en degenen die deze bezoeken; En onder de functies zijn de Geautomatiseerd verkeer identificeren en beheren. Het heeft dus verschillende tools gelanceerd en uitgebreid die zijn ontworpen om de eigenaren van portales te besturen online over wat Bots Ze hebben toegang tot hun inhoud.
Deze functies zijn ontworpen om zelfs voor gratis plannen toegankelijk te zijn, en hun aanbevelingen omvatten deze stappen:
- Controleer welk verkeer de site bereikt. Ten eerste is het handig om een algemene foto van het verkeer te verkrijgen, welk percentage van mensen of robots komt. Cloudflare biedt in zijn statistiekenpaneel een specifiek gedeelte over hen (botverkeer) waar het laat zien welke agenten verzoeken doen en met welke intensiteit.
- Activeer het beheer van Bots. In het bedieningspaneel zijn verschillende managementfuncties van Botswaaronder de Bob Fight -modus, die het maken van automatische regels omvat die hun toegang blokkeren of beperken zonder echte bezoekers te beïnvloeden.
- Beheer het bestand robots.txt. Het platform biedt de optie om het te beheren om alleen betonnen secties te blokkeren (bijvoorbeeld beschermde inhoud of pagina's met advertenties) en dus de indexering van de essentiële door legitieme zoekmachines mogelijk te maken.
- Controleer en pas continu aan. Als de configuratie tegen de Bots Het is te beperkend, er is een risico om legitieme indexering (zoals Google) te voorkomen. Daarom wordt aanbevolen om de statistieken periodiek te beoordelen en de regels aan te passen aan de resultaten van de resultaten.
En, zoals ze ook waarschuwen, niet alles Bot Het is slecht. Internet is dankzij hen gebouwd. Dat is waarom, zonder onderscheid blokkeren kan de positionering van zoekmachines beïnvloeden en legitieme diensten.
Aan de andere kant gaat de AI -technologie elke dag voort. Daarom zijn deze technische maatregelen vandaag nuttig, maar langetermijnbescherming zal ook wettelijke naleving doorlopen (zoals de wet van de EU), licenties en, in sommige gevallen, claimen of onderhandelen over toegang met grote leveranciers; als de goed bekende voorbeelden van Reddit of Hurd.
Wat duidelijk lijkt, is dat, gezien de groeisnelheid van AI -bots, zaken online Neem geen maatregelen kunnen zien hoe hun model voor klanten aantrekken door hun aanwezigheid op internet Het is geschaad.
