robots.txt Validator
Έλεγξε το robots.txt σου σε δευτερόλεπτα
Δωρεάν εργαλείο που ελέγχει το robots.txt για σφάλματα, σου δείχνει ποια AI bots (ChatGPT, Claude, Perplexity, Gemini) μπλοκάρονται και τεστάρει αν ένα URL επιτρέπεται ή όχι, με matching ίδιο με του Google. Τρέχει 100% στον browser σου.
Χωρίς εγγραφή · τίποτα δεν αποθηκεύεται ή στέλνεται σε server.
-
Σύνταξη & σφάλματα
Errors · warnings · deprecated & unknown directives
-
AI crawlers
GPTBot · ClaudeBot · PerplexityBot · Google-Extended…
-
URL tester
Allowed / Blocked ανά user-agent, με Google-accurate matching
Δοκίμασε τον robots.txt Validator
Βάλε ένα domain για να φέρεις το live robots.txt, ή κάνε paste το δικό σου. Θα το ελέγξει, θα επισημάνει τα προβλήματα και θα σου δείξει τι μπλοκάρεται, για search και AI crawlers.
Ένας πλήρης έλεγχος για SEO και AI ορατότητα
Το robots.txt καθορίζει τι βλέπουν οι μηχανές αναζήτησης και τα AI μοντέλα. Ένα λάθος μπορεί να κρύψει ολόκληρο το site, ή να αφήνει ανοιχτό ό,τι ήθελες να προστατέψεις.
-
Έλεγχος σύνταξης
Εντοπίζει σφάλματα, deprecated (π.χ. Noindex) και άγνωστες οδηγίες, με εξήγηση σε κάθε γραμμή.
-
AI crawlers matrix
Δες με μια ματιά αν GPTBot, ClaudeBot, PerplexityBot, Google-Extended κ.ά. επιτρέπονται ή μπλοκάρονται.
-
URL tester
Τεστάρει αν ένα συγκεκριμένο URL είναι Allowed ή Blocked ανά user-agent, με τους κανόνες του Google.
-
Content-Signal
Αποκωδικοποιεί το νέο Cloudflare Content-Signal (search / ai-train / ai-input) σε απλά λόγια.
Πώς λειτουργεί σε 4 βήματα
Χωρίς εγκατάσταση, χωρίς λογαριασμό. Παίρνεις αποτέλεσμα σε δευτερόλεπτα.
-
Βήμα 1
Βάλε το site
Γράψε ένα domain για να φέρεις αυτόματα το live robots.txt, ή κάνε paste το περιεχόμενο.
-
Βήμα 2
Δες τα ευρήματα
Χρωματισμένες γραμμές: κόκκινο για σφάλματα, πορτοκαλί για warnings, με tips σε κάθε γραμμή.
-
Βήμα 3
Τέσταρε URLs
Έλεγξε αν ένα path είναι Allowed/Blocked για κάθε bot. Τα AI bots ενημερώνονται αυτόματα.
-
Βήμα 4
Διόρθωσε
Πάτα «Edit content», κάνε τις αλλαγές και ξανα-τρέξε validate μέχρι να είναι καθαρό.
Τι είναι το robots.txt;
Το robots.txt είναι ένα αρχείο κειμένου στο root domain του site σου (π.χ. https://example.com/robots.txt) που λέει στους crawlers ποιες σελίδες επιτρέπεται να διαβάσουν. Δείτε αναλυτικά τι είναι το robots.txt και πώς να το χρησιμοποιήσετε σωστά.
Πώς μπλοκάρω τα AI bots (ChatGPT, Claude κ.λπ.);
Με ξεχωριστά blocks ανά user-agent, π.χ. User-agent: GPTBot και Disallow: /. Το εργαλείο δείχνει το AI crawlers matrix ώστε να επιβεβαιώσεις ποια bots είναι όντως μπλοκαρισμένα.
Υποστηρίζει wildcards και το $;
Ναι. Ο URL tester χρησιμοποιεί τους ίδιους κανόνες με το Google: * για οποιαδήποτε ακολουθία, $ για τέλος URL, longest-path precedence και συγχώνευση groups με ίδιο user-agent.
Στέλνονται τα δεδομένα μου κάπου;
Όχι. Ο έλεγχος τρέχει 100% στον browser σου. Όταν φέρνεις robots.txt από URL, χρησιμοποιείται δημόσιο read-only proxy μόνο για να παρακαμφθεί το CORS. Τίποτα δεν αποθηκεύεται.
Γιατί ένα URL βγαίνει Allowed ενώ περίμενα Blocked;
Το Disallow: κάνει match από την αρχή του path. Π.χ. το Disallow: /filters/ πιάνει μόνο URLs που ξεκινούν με /filters/, όχι όταν το /filters/ είναι στη μέση. Για να το πιάσεις παντού χρειάζεσαι */filters/.
Θέλεις πλήρη τεχνικό SEO έλεγχο του site σου;
Το robots.txt είναι μόνο η αρχή. Στην Aurora ελέγχουμε crawlability, indexation, ταχύτητα, δομή και AI ορατότητα, και τα μετατρέπουμε σε πλάνο με προτεραιότητες.