# ===================================================================== # GEBLOKKEERD: SEO-crawlers zonder meerwaarde (respecteren robots.txt) # ===================================================================== User-agent: SemrushBot Disallow: / User-agent: AhrefsBot Disallow: / User-agent: MJ12bot Disallow: / User-agent: DotBot Disallow: / User-agent: rogerbot Disallow: / User-agent: BLEXBot Disallow: / User-agent: DataForSeoBot Disallow: / User-agent: Barkrowler Disallow: / User-agent: SeekportBot Disallow: / User-agent: serpstatbot Disallow: / User-agent: SEOkicks Disallow: / User-agent: SISTRIX Crawler Disallow: / # ===================================================================== # GEBLOKKEERD: shopping-/prijsvergelijkers en product-aggregators # ===================================================================== User-agent: GeedoShopProductFinder Disallow: / User-agent: GeedoProductSearch Disallow: / # ===================================================================== # OPTIONEEL: AI-crawlers (training/scraping). Verwijder wat je toch wil toelaten. # Google-Extended blokkeert enkel Gemini-training, NIET je Google Search-indexering. # ===================================================================== User-agent: CCBot Disallow: / User-agent: PerplexityBot Disallow: / User-agent: Bytespider Disallow: / User-agent: Amazonbot Disallow: / User-agent: meta-externalagent Disallow: / User-agent: Diffbot Disallow: / User-agent: ImagesiftBot Disallow: / User-agent: Omgilibot Disallow: / # ===================================================================== # OPTIONEEL: buitenlandse zoekmachines zonder relevante markt voor BE/NL. # Alleen blokkeren als je zeker geen bezoekers uit die regio's verwacht. # ===================================================================== User-agent: YandexBot Disallow: / User-agent: Baiduspider Disallow: / User-agent: PetalBot Disallow: / Disallow: /nl/product/*/*/