Favoris
← Tous les outils

Générateur robots.txt

Générez des directives de crawl à partir des chemins et du sitemap.

Exemple d’utilisation

Exemple : bloquez /private/ puis téléchargez robots.txt.

Limites de l’outil

robots.txt ne protège pas les fichiers privés et ne remplace pas le contrôle d’accès.

Les données sont-elles envoyées ?

Non. Calculs et fichiers sont générés localement. Le contact sur X ouvre une plateforme externe.

Outils associés