Επίσης γνωστό ως: προϋπολογισμός crawling, crawling budget, προϋπολογισμός σάρωσης
Ορισμός
Το crawl budget είναι ο συνδυασμός δύο μεγεθών: του crawl rate limit (πόσες αιτήσεις μπορεί ο Googlebot να στείλει στον server σας χωρίς να τον υπερφορτώσει) και του crawl demand (πόσο η Google θεωρεί ότι αξίζει να ξανασαρώσει τις σελίδες σας). Πρακτικά ορίζει πόσες σελίδες θα σαρώνει η Google καθημερινά και ποιες. Για μικρά sites (< 1.000 σελίδες) πρακτικά δεν είναι πρόβλημα. Για μεγάλα sites, eshop με 10.000+ SKUs, news sites και enterprise platforms, γίνεται κρίσιμος παράγοντας: αν η Google σαρώνει σελίδες χαμηλής αξίας ή διπλότυπες, δεν προλαβαίνει να ανακαλύψει και να indexάρει τις σημαντικές.
Πού χρησιμοποιείται
Σε eshop με 5.000+ προϊόντα, news sites με ημερήσια δημοσίευση, marketplaces, real estate portals, job boards, και οποιοδήποτε site με χιλιάδες σελίδες. Στη Symbols House of Brands το crawl budget είναι σημαντικό μέρος του [technical SEO audit](/glossario/technical-seo/) για κάθε [eshop](/kataskevi-eshop/) υλοποίησή μας, ειδικά σε migrations με πολλαπλά product variants, filter combinations, και faceted navigation URLs που πολλαπλασιάζουν το URL space.
Πλεονεκτήματα
- Σε βελτιστοποιημένο crawl budget, οι νέες και ενημερωμένες σελίδες indexάρονται ταχύτερα (ώρες αντί για ημέρες)
- Καλύτερη κατανομή Googlebot resources σε high-value σελίδες
- Μειωμένο server load από αχρείαστες crawl requests σε low-value URLs
- Ταχύτερη ανίχνευση νέων προϊόντων σε eshop και άρθρων σε news sites
- Καλύτερα Search Console indexing metrics και faster ranking response σε αλλαγές
Συνηθισμένα λάθη
- Faceted navigation με άπειρα filter combinations που παράγουν εκατομμύρια crawlable URLs
- Duplicate URLs μέσω session IDs, tracking parameters (?utm=…), ή sort/filter params
- Slow server response times (>2s) που ρίχνουν το crawl rate limit
- Λανθασμένο robots.txt που είτε αποκλείει σημαντικά paths είτε επιτρέπει crawling σε άχρηστα
- Παλαιά 404 και soft 404 σελίδες που εξακολουθούν να σαρώνονται
- Redirect chains (301 → 301 → 200) που ξοδεύουν requests χωρίς λόγο
- Λείπει sitemap.xml ή περιέχει URLs με noindex/canonical σε άλλη σελίδα
Ενδεικτικό κόστος
Το crawl budget optimization είναι κομμάτι του τεχνικού SEO. Από €800 για crawl audit + βασικές διορθώσεις σε eshop 1.000-5.000 σελίδων, έως €3.500+ για ολοκληρωμένο crawl budget project σε enterprise site με 50.000+ URLs (log file analysis, robots.txt strategy, canonical hygiene, faceted navigation cleanup, redirect chain reduction).
Πότε αξίζει
Αν έχετε site με 5.000+ σελίδες και βλέπετε νέες σελίδες να μην indexάρονται εγκαίρως, όταν το Search Console αναφέρει «Discovered, not indexed» ή «Crawled, not indexed» σε μαζικές ποσότητες, όταν κάνετε migration μεγάλου eshop, ή όταν προσθέτετε faceted navigation και θέλετε να αποφύγετε explosion των crawlable URLs.
Συχνές ερωτήσεις
Έχει το site μου πρόβλημα crawl budget;
Πόσες σελίδες σαρώνει η Google καθημερινά στο site μου;
Επηρεάζει το crawl budget το ranking μου;
Πώς μειώνω τον αριθμό των crawlable URLs σε site με faceted navigation;
Ποιος έχει το μεγαλύτερο crawl budget;
Πώς επηρεάζει η ταχύτητα του server το crawl budget;
Χρειάζομαι crawl budget optimization σε site 300 σελίδων;
Πώς κάνω log file analysis για crawl budget;
Σχετικοί όροι