robots.txt-Tester
Rufen Sie die robots.txt-Datei jeder Website ab und testen Sie sie kostenlos online, um zu sehen, ob ein bestimmter Pfad erlaubt oder blockiert ist.
So konvertieren Sie robots.txt-Tester
- 1
Geben Sie die URL der Website ein.
- 2
Geben Sie optional einen zu testenden Pfad und einen User-Agent ein.
- 3
Klicken Sie auf "Prüfen", um robots.txt abzurufen und zu sehen, ob der Pfad erlaubt ist.