25 september 2025 Bescherm je website tegen AI-bots die jouw inhoud scrapen
Steeds vaker gebruiken grote techbedrijven AI-modellen die hun informatie halen van het web. De teksten, afbeeldingen en andere inhoud van websites worden gekopieerd en gebruikt om AI te trainen. Misschien wil je dat niet. Gelukkig kun je daar iets tegen doen.
Wat zijn AI-bots?
AI-bots zijn automatische programma’s die het internet afzoeken naar content. Denk aan bots van bedrijven als OpenAI, Google, Meta of Amazon. Ze verzamelen informatie om hun AI-systemen slimmer te maken. Dat kan handig zijn voor hen, maar als sitebeheerder heb je er niet altijd voordeel van dat jouw content wordt hergebruikt.
Hoe blokkeer je AI-bots?
Met een robots.txt-bestand kun je zoekmachines en bots vertellen wat ze wel en niet mogen ophalen van je site. Veel AI-bots houden zich aan deze regels. Als je het blokkeren van AI-bots aanzet in ons dashboard, voegen we automatisch de juiste regels toe aan je robots.txt.
Daarmee krijgen onder andere de volgende bots geen toegang meer tot je site:
# Block AI bots
User-agent: Amazonbot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: meta-externalagent
Disallow: /
Waarom dit belangrijk is?
- Controle over je inhoud: Jij bepaalt of je teksten en media door AI gebruikt mogen worden.
- Bescherming van je merk: Je voorkomt dat jouw unieke inhoud zomaar in AI-modellen verdwijnt.
- Transparantie: Bezoekers en klanten waarderen dat je bewust omgaat met hun en jouw data.
AI en content scraping zijn ontwikkelingen die niet meer weggaan, maar met een simpele instelling houd je zelf de regie. Jij beslist of AI-bots toegang krijgen tot je site.
-
Sean Blommaert