User-agent: *
Disallow: /*?page=$
Disallow: /*&page=$
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?route=extension/module/smartsearch/livesearch
Disallow: /*?route=extension/module/notifywhenavailable/
Disallow: /search
Disallow: /index.php?route=product/search
Disallow: /index.php?route=product/special
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=account/
Disallow: /*'123
Crawl-delay: 10

# 21-9-2026 Mooiwurk: eigen groep voor de citatie- en AI-bots.
# Ze vielen hiervoor onder "User-agent: *" met Crawl-delay 10. Bij ruim 25.000
# producten kost een volledige ronde dan bijna drie dagen per bot. Ze krijgen nu
# 2 seconden. De Disallow-regels zijn LETTERLIJK dezelfde als hierboven en moeten
# hier herhaald worden: een bot met een eigen groep negeert de *-groep volledig,
# dus zonder deze regels zouden juist de dure filter- en sorteer-URL's opengaan.
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: PerplexityBot
Disallow: /*?page=$
Disallow: /*&page=$
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?route=extension/module/smartsearch/livesearch
Disallow: /*?route=extension/module/notifywhenavailable/
Disallow: /search
Disallow: /index.php?route=product/search
Disallow: /index.php?route=product/special
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=account/
Disallow: /*'123
Crawl-delay: 2

# Blocks specific bots that cause high load
User-agent: Bytespider
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: GeedoProductSearch
Disallow: /

User-agent: Scrapy
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: Go-http-client
Disallow: /

# Allow only relevant bots (optional)
User-agent: Googlebot
Disallow:

User-agent: Bingbot
Disallow:
Crawl-delay: 5

User-agent: AdsBot-Google
Disallow:
Crawl-delay: 5

# Toegevoegd 7-7-2026: hoge-last crawlers zonder shop-waarde
User-agent: TikTokSpider
Disallow: /

User-agent: IbouBot
Disallow: /

# 21-9-2026 Mooiwurk: de sitemaps stonden nergens aangekondigd.
# Beide winkels draaien uit dezelfde docroot en delen dus dit bestand; daarom
# staan ze er allebei in. Elke host honoreert zijn eigen regel.
Sitemap: https://www.vliegeruit.com/sitemap.xml
Sitemap: https://www.spellekijn.nl/sitemap.xml