Hoe stel je robots.txt in bij een Magento 2 webshop?

Zo stel je robots.txt in via Magento 2 backend

Je kunt de inhoud van het robots.txt bestand op deze manier aanpassen:

1. Login in jouw Magento backend.
2. Ga naar Inhoud > configuratie.
3. Kies de gewenste website door op bewerken te klikken.
4. Open het tabblad Search Engine Robots.
5. Bij Standaard Robots maak een keuze uit deze opties:
   • Index, Follow: Vertelt botjes om de webshop te indexeren. Als de pagina links bevat naar andere pagina’s dan mogen die wel gevolgd worden. Dit is voor een website die online is in bijna alle gevallen de juiste keuze.
   • Noindex, follow: Vertelt botjes om de webshop niet te indexeren. Als de pagina links bevat naar andere pagina’s dan mogen die wel gevolgd worden.
   • Index, Nofollow: Vertelt botjes om de webshop te indexeren. Als de pagina links bevat naar andere pagina’s dan mogen die niet gevolgd worden.
   • Noindex, nofollow: Vertelt botjes om de webshop niet te indexeren. Als de pagina links bevat naar andere pagina’s dan mogen die niet gevolgd worden.
6. Nadat je bij stap 5 een keuze hebt gemaakt klik je op “Terugzetten op standaardwaarden”.
7. De inhoud van het robots.txt bestand is nu zichtbaar in het tekstvak boven de button. Indien gewenst kan deze handmatig aangepast worden.

Voorbeeld mappen uitsluiten in Robots.txt

Het is voor Magento 2 aan te bevelen om diverse mappen, bestanden en url parameters uit te sluiten.
Onderstaand voorbeeld is een mooie basis die je kan gebruiken voor elke Magento 2 webshop.

# Directories
Disallow: /app/
Disallow: /bin/
Disallow: /dev/
Disallow: /lib/
Disallow: /phpserver/
Disallow: /pkginfo/
Disallow: /report/
Disallow: /setup/
Disallow: /update/
Disallow: /var/
Disallow: /vendor/

# Paths
Disallow: /index.php/
Disallow: /catalog/product_compare/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/
Disallow: /catalogsearch/
Disallow: /checkout/
Disallow: /control/
Disallow: /contacts/
Disallow: /customer/
Disallow: /customize/
Disallow: /newsletter/
Disallow: /review/
Disallow: /sendfriend/
Disallow: /wishlist/

# Files
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /CONTRIBUTING.md
Disallow: /CONTRIBUTOR_LICENSE_AGREEMENT.html
Disallow: /COPYING.txt
Disallow: /Gruntfile.js
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /nginx.conf.sample
Disallow: /package.json
Disallow: /php.ini.sample
Disallow: /RELEASE_NOTES.txt

# Do not index pages that are sorted or filtered.
Disallow: /*?*product_list_mode=
Disallow: /*?*product_list_order=
Disallow: /*?*product_list_limit=
Disallow: /*?*product_list_dir=

# Do not index session ID
Disallow: /*?SID=
Disallow: /*?
Disallow: /*.php$

# CVS, SVN directory and dump files
Disallow: /*.CVS
Disallow: /*.Zip$
Disallow: /*.Svn$
Disallow: /*.Idea$
Disallow: /*.Sql$
Disallow: /*.Tgz$\

Je kan dit eventueel nog uitbreiden met onderstaande. Je sluit hiermee diverse bekende botjes uit waar je niets aan hebt. Dit bespaart onnodig verkeer op je webshop.

User-agent: MJ12bot
Disallow: /
User-agent: Vagabondo
Disallow: /
User-agent: BaiDuSpider
Disallow: /
User-agent: Exabot
Disallow: /
User-agent: Yandex
Disallow: /
User-agent: BSpider
Disallow: /