robots.txt beheer

Via het robots.txt bestand kunnen pagina's of mappen geblokkerd worden voor de zoekmachines.

1. Ga naar Systeem » Configuratie

2. Klik links op "Techtwo" » "Robots.txt beheer"

3. Vul het "Inhoud" veld aan met de gewenste regels.

Let op!

De Robots.txt bevat veel regels die daar met een specifieke reden in zijn geplaatst. Dit bestand wordt periodiek bijgewerkt op basis van eventuele nieuwe eisen vanuit de zoekmachines. 

Pagina's uitsluiten van indexatie

Wanneer je één specifieke pagina uit wilt sluiten, voeg dan het volledige adres (zonder de domeinnaam) toe aan het bestand.

Om de zoekmachine te blokkeren op de pagina 'http://www.mijnshop.nl/broeken', gebruik:

Disallow: /broeken

Deze regel zal niet alleen /broeken blokkeren, maar ook alle onderliggende pagina's zoals:

• /broeken/korte-broeken
• /broeken/pantalons
• - etc

Syntax controleren

Nadat je aanpassingen hebt gedaan aan het bestand en de wijzigingen hebt opgeslagen dan kan je controleren of er geen syntax fouten in het bestand staan door te klikken op "Controleer syntaxis".

Tip: Controleer zelf ook of je jouw wijzigingen in de robots.txt bestand ziet door op de link bovenaan te klikken. Zie je jouw aanpassingen niet, verwijder de robots.txt dan uit de varnish cache door die specifieke url te legen. Uitleg hierover is terug te vinden in dit artikel.