Magento & E-commerce

Tips & stap voor stap uitleg
Magento 2

Hoe stel je robots.txt in bij een Magento 2 webshop?

11 december 2019

Magento 2 biedt de mogelijkheid om via de Magento 2 admin een robots.txt bestand te genereren. Het is dus niet meer nodig om deze handmatig aan te maken maar mag wel.

Zo stel je robots.txt in via Magento 2 backend

Je kunt de inhoud van het robots.txt bestand op deze manier aanpassen:

  1. Login in jouw Magento backend.
  2. Ga naar Inhoud > configuratie.
  3. Kies de gewenste website door op bewerken te klikken.
  4. Open het tabblad Search Engine Robots.
  5. Bij Standaard Robots maak een keuze uit deze opties:
    • Index, Follow: Vertelt botjes om de webshop te indexeren. Als de pagina links bevat naar andere pagina’s dan mogen die wel gevolgd worden. Dit is voor een website die online is in bijna alle gevallen de juiste keuze.
    • Noindex, follow: Vertelt botjes om de webshop niet te indexeren. Als de pagina links bevat naar andere pagina’s dan mogen die wel gevolgd worden.
    • Index, Nofollow: Vertelt botjes om de webshop te indexeren. Als de pagina links bevat naar andere pagina’s dan mogen die niet gevolgd worden.
    • Noindex, nofollow: Vertelt botjes om de webshop niet te indexeren. Als de pagina links bevat naar andere pagina’s dan mogen die niet gevolgd worden.
  6. Nadat je bij stap 5 een keuze hebt gemaakt klik je op “Terugzetten op standaardwaarden”.
  7. De inhoud van het robots.txt bestand is nu zichtbaar in het tekstvak boven de button. Indien gewenst kan deze handmatig aangepast worden.

Voorbeeld mappen uitsluiten in Robots.txt

Het is voor Magento 2 aan te bevelen om diverse mappen, bestanden en url parameters uit te sluiten. Onderstaand voorbeeld is een mooie basis die je kan gebruiken voor elke Magento 2 webshop.

# Directories

Disallow: /app/

Disallow: /bin/

Disallow: /dev/

Disallow: /lib/

Disallow: /phpserver/

Disallow: /pkginfo/

Disallow: /report/

Disallow: /setup/

Disallow: /update/

Disallow: /var/

Disallow: /vendor/




# Paths

Disallow: /index.php/

Disallow: /catalog/product_compare/

Disallow: /catalog/category/view/

Disallow: /catalog/product/view/

Disallow: /catalogsearch/

Disallow: /checkout/

Disallow: /control/

Disallow: /contacts/

Disallow: /customer/

Disallow: /customize/

Disallow: /newsletter/

Disallow: /review/

Disallow: /sendfriend/

Disallow: /wishlist/




# Files

Disallow: /composer.json

Disallow: /composer.lock

Disallow: /CONTRIBUTING.md

Disallow: /CONTRIBUTOR_LICENSE_AGREEMENT.html

Disallow: /COPYING.txt

Disallow: /Gruntfile.js

Disallow: /LICENSE.txt

Disallow: /LICENSE_AFL.txt

Disallow: /nginx.conf.sample

Disallow: /package.json

Disallow: /php.ini.sample

Disallow: /RELEASE_NOTES.txt




# Do not index pages that are sorted or filtered.

Disallow: /*?*product_list_mode=

Disallow: /*?*product_list_order=

Disallow: /*?*product_list_limit=

Disallow: /*?*product_list_dir=




# Do not index session ID

Disallow: /*?SID=

Disallow: /*?

Disallow: /*.php$




# CVS, SVN directory and dump files

Disallow: /*.CVS

Disallow: /*.Zip$

Disallow: /*.Svn$

Disallow: /*.Idea$

Disallow: /*.Sql$

Disallow: /*.Tgz$\

Je kan dit eventueel nog uitbreiden met onderstaande. Je sluit hiermee diverse bekende botjes uit waar je niets aan hebt. Dit bespaart onnodig verkeer op je webshop.

User-agent: MJ12bot
Disallow: /
User-agent: Vagabondo
Disallow: /
User-agent: BaiDuSpider
Disallow: /
User-agent: Exabot
Disallow: /
User-agent: Yandex
Disallow: /
User-agent: BSpider
Disallow: /