Ik besteed een flink deel van mijn werk aan AI-vindbaarheid: zorgen dat bedrijven niet alleen in Google verschijnen, maar ook in de antwoorden van ChatGPT, Claude en Perplexity. Mijn eigen product SEO God draait daar zelfs volledig om. Des te pijnlijker was de ontdekking van deze week: een deel van mijn eigen WordPress-sites bleek voor de meeste AI-crawlers simpelweg niet te bestaan. Niet door iets in WordPress, niet door een plugin, maar door de hosting zelf.
In dit artikel lees je wat er precies aan de hand was, hoe je in tien seconden test of jouw site hetzelfde probleem heeft, en hoe we het met een gratis Cloudflare-account hebben opgelost.
De ontdekking: 403 voor AI-bots, 200 voor iedereen
Tijdens het doormeten van een aantal sites die op Nederlandse shared hosting draaien (Vimexx-pakketten, technisch op zxcs-infrastructuur met een HAProxy aan de rand) viel iets vreemds op. Voor gewone bezoekers en voor Googlebot deed alles het perfect. Maar zodra een request binnenkwam met de User-Agent van een AI-crawler, kwam er geen pagina terug maar dit:
403 Forbidden
Request forbidden by administrative rules.Geweigerd werden onder andere GPTBot, ClaudeBot, Claude-User, Claude-SearchBot, anthropic-ai, CCBot, Amazonbot, Bytespider, meta-externalagent en cohere-ai. Wel doorgelaten werden Googlebot, ChatGPT-User, OAI-SearchBot en PerplexityBot. De blokkade keek puur naar de User-Agent-string: zelfde URL, zelfde server, ander visitekaartje, ander resultaat.
Het venijnigste: dit is niet instelbaar. Het zit niet in wp-admin, niet in .htaccess en niet in robots.txt. Het filter draait vóór je website, op hostingniveau. Je kunt er als site-eigenaar met geen enkele WordPress-instelling bij.
Waarom dit ertoe doet
GPTBot en CCBot voeden de trainingscorpora van grote taalmodellen. ClaudeBot en Claude-SearchBot bepalen wat Claude over jouw bedrijf kan vinden en citeren. Als die crawlers structureel een 403 krijgen, besta je in die wereld gewoon niet. Geen vermeldingen in AI-antwoorden, geen citaties, geen doorverwijzingen.
En het gemene is dat je er niets van merkt. Je site werkt, je bezoekers zien niets, je uptime-monitoring is groen. Ondertussen investeer je misschien in content, structuur en AI-vindbaarheid, terwijl de voordeur voor de helft van de AI-wereld op slot zit.
Test het zelf in tien seconden
Open een terminal en doe je voor als GPTBot:
curl -A "GPTBot/1.0 (+https://openai.com/gptbot)" -I https://jouwdomein.nl/Krijg je een HTTP/1.1 403 terug terwijl dezelfde URL in je browser gewoon laadt? Dan blokkeert iets tussen het internet en jouw site AI-crawlers op User-Agent. Herhaal de test gerust met ClaudeBot of CCBot als agent-string; bij ons was het patroon overal hetzelfde.
De oplossing: Cloudflare als tussenlaag, in drie stappen
De blokkade zit vóór de site, dus de oplossing moet ook vóór de site zitten. Wij hebben de betreffende domeinen achter Cloudflare gezet en daar het verkeer genormaliseerd voordat het bij de hosting aankomt. Het gratis plan van Cloudflare was hiervoor voldoende.
Stap 1: domein achter Cloudflare
Maak een gratis Cloudflare-zone aan, neem alle DNS-records één op één over en wissel de nameservers bij je registrar om naar die van Cloudflare. Let op je mail: zet MX-gerelateerde records (mailserver, autodiscover en dergelijke) op DNS-only, zodat mailverkeer niet door de Cloudflare-proxy gaat. De webrecords zet je juist wél op proxied.
Stap 2: zet Cloudflare’s eigen AI-blokkades uit
Dit wordt vaak vergeten: Cloudflare blokkeert bij nieuwe zones zelf óók AI-bots, deels standaard. Wie stap 1 doet en hier stopt, ruilt de ene blokkade in voor de andere. Controleer daarom:
- Block AI bots (onder Security / Bots): uitzetten.
- Managed robots.txt: uitschakelen of zo instellen dat er geen AI-disallows in staan.
- Bot Fight Mode: uit, want die vecht ook tegen de bots die je juist wilt ontvangen.
- AI-crawlerbeleid (Cloudflare’s AI Audit / crawler-policies): alles op Allow.
Stap 3: omzeil het hostingfilter met een Header Transform Rule
Nu komt het verkeer via Cloudflare binnen, maar de hosting kijkt nog steeds naar de User-Agent en gooit de deur dicht. De truc: laat Cloudflare voor precies die bot-User-Agents de header richting de server herschrijven naar een neutrale relay-string. Maak onder Rules een Request Header Transform Rule die matcht op de geblokkeerde agent-strings (GPTBot, ClaudeBot, CCBot, enzovoort) en de User-Agent-header naar de origin vervangt door een eigen herkenbare waarde, bijvoorbeeld een relay-string met je eigen domein erin. Het hostingfilter ziet dan geen AI-bot meer en laat het request gewoon door.
Het resultaat bij ons: na deze drie stappen gaven alle sites een nette 200 voor alle geteste AI-crawlers, geverifieerd met dezelfde curl-test als hierboven. De inhoud die de bots te zien krijgen is identiek aan wat bezoekers zien.
Eerlijke kanttekeningen
Een paar dingen wil ik er wel eerlijk bij zeggen. Ten eerste: de nette route blijft je hoster vragen om de blokkade voor jouw pakket uit te zetten. De Cloudflare-aanpak is een werkende omweg, geen structurele fix. Ten tweede: je hostinglogs zien deze bots voortaan als jouw relay-string, niet meer onder hun eigen naam; ook plugins die op bot-User-Agents reageren zien het originele token niet meer. En ten derde: ik snap waarom hosters dit doen. AI-crawlers kunnen agressief crawlen en op druk bezette shared servers echte overlast veroorzaken. Maar of jouw site wel of niet vindbaar is voor AI hoort een keuze van de site-eigenaar te zijn, geen stille standaardinstelling ergens in een load balancer.
Conclusie
Wie vandaag serieus met online zichtbaarheid bezig is, kan niet meer alleen naar Google kijken. AI-assistenten worden een steeds belangrijker startpunt voor zoekvragen, en de crawlers achter die assistenten moeten bij je site kunnen. Shared hosting die deze bots stilletjes blokkeert maakt je onzichtbaar op precies de plek waar de groei zit, en je komt er alleen achter als je het actief test.
Dit is exact het soort werk dat ik voor klanten doe: meten of je zichtbaar bent voor AI, de blokkades vinden en ze aantoonbaar oplossen, met een before en after die je zelf kunt controleren.
Wil je weten of jouw site AI-crawlers blokkeert? Stuur me een bericht via het contactformulier, dan voer ik de check gratis voor je uit en krijg je het resultaat per bot teruggekoppeld.
Terug naar overzicht