Een robots.txt-bestand is klein, tekstueel simpel, en precies daarom makkelijk om per ongeluk verkeerd in te stellen. Een enkele verkeerd geplaatste regel kan een deel van je webshop, of in het ergste geval de hele site, onbedoeld afsluiten voor zoekmachines.
In het kort
- Een vergeten "Disallow: /" na een migratie of test-omgeving kan de hele live site blokkeren.
- CSS- en JavaScript-bestanden blokkeren belemmert Google om je pagina correct te renderen en beoordelen.
- Een regel die te breed is geformuleerd, sluit soms per ongeluk relevante pagina's mee uit.
- Controleer robots.txt na elke grote wijziging aan je site, niet alleen bij de eerste inrichting.
De klassieker: een vergeten blokkade na een migratie
Een test- of staging-omgeving wordt vaak bewust volledig geblokkeerd voor zoekmachines met "Disallow: /". Gaat diezelfde instelling per ongeluk mee naar de live omgeving, dan blokkeer je zonder het te merken je hele, daadwerkelijk live webshop voor Google.
CSS en JavaScript blokkeren werkt averechts
Zoekmachines renderen een pagina tegenwoordig grotendeels zoals een browser dat doet, en hebben daarvoor toegang tot je CSS- en JavaScript-bestanden nodig. Deze bestanden blokkeren in robots.txt, wat vroeger soms gangbaar was, belemmert nu juist een correcte beoordeling van je pagina's.
Te breed geformuleerde regels
Een regel die bedoeld is om één specifieke map te blokkeren, maar per ongeluk breder is geformuleerd dan bedoeld, kan onbedoeld ook relevante, waardevolle pagina's meenemen. Test een nieuwe of gewijzigde regel altijd expliciet tegen de paginatypes die je juist wél geïndexeerd wilt hebben.
Controleer bij elke grote wijziging
Robots.txt wordt vaak bij de eerste inrichting van een site ingesteld en daarna nooit meer bekeken. Een grote sitewijziging, een platformmigratie of een nieuwe map-structuur is een goed moment om te controleren of het bestand nog steeds klopt met de huidige situatie.
Dit is één onderdeel van een bredere Shopify SEO-checklist, naast sitemap-beheer en canonical tags.
Conclusie
Een robots.txt-fout is klein in bestandsgrootte maar groot in mogelijke impact, en verdient daarom periodieke controle in plaats van eenmalige instelling. Wil je je huidige robots.txt laten checken? Vraag een gratis scan aan.