Crawling
Proces, w którym roboty wyszukiwarek (np. Googlebot) skanują strony internetowe, podążając za linkami, żeby odkryć nowe i zaktualizowane treści.
Crawling to proces automatycznego skanowania stron internetowych przez roboty wyszukiwarek (crawlery/pająki). Googlebot odwiedza Twoją stronę, podąża za linkami i zbiera dane o treściach.
Jak działa crawling?
- Googlebot odkrywa URL (z sitemap, linków, GSC)
- Wysyła żądanie HTTP do serwera
- Pobiera kod HTML strony
- Renderuje JavaScript (jeśli jest)
- Podąża za linkami na stronie, odkrywając kolejne URL-e
Crawl budget
Google przydziela każdej stronie "budżet crawlowania" – limit stron, które odwiedzi w danym czasie. Dla małych stron (do kilkuset podstron) to nie problem. Dla dużych witryn optymalizacja crawl budget jest kluczowa: szybki serwer, brak duplikatów, poprawny robots.txt i sitemap.
Powiązane pojęcia
SEOOptymalizacja strony internetowej pod kątem wyszukiwarek, mająca na celu uzyskan…SERPStrona wyników wyszukiwania Google wyświetlana po wpisaniu zapytania. Zawiera wy…SEMMarketing w wyszukiwarkach internetowych obejmujący zarówno działania organiczne…Słowo kluczowe (keyword)Fraza wpisywana przez użytkownika w wyszukiwarkę Google. Podstawowy element stra…