Robots.txt
Plik tekstowy w katalogu głównym strony, który informuje roboty wyszukiwarek, które części witryny mogą indeksować, a które powinny pominąć.
Robots.txt to plik tekstowy umieszczony w głównym katalogu strony (np. kbmarketing.pl/robots.txt), który daje instrukcje robotom wyszukiwarek (crawlerom) odnośnie tego, które strony mogą skanować i indeksować.
Jak działa?
Plik zawiera reguły Allow (pozwól) i Disallow (zablokuj) dla określonych ścieżek URL. Przykładowo, możesz zablokować indeksowanie panelu administracyjnego WordPress (/wp-admin/) lub stron z wynikami wyszukiwania wewnętrznego.
Ważne zasady
- Robots.txt to "prośba", nie blokada – Google zazwyczaj ją respektuje, ale nie jest to gwarancja
- Nie używaj robots.txt do ukrywania wrażliwych treści – użyj do tego hasła lub noindex
- Zawsze wskaż lokalizację sitemap.xml w pliku robots.txt
Powiązane pojęcia
SEOOptymalizacja strony internetowej pod kątem wyszukiwarek, mająca na celu uzyskan…SERPStrona wyników wyszukiwania Google wyświetlana po wpisaniu zapytania. Zawiera wy…SEMMarketing w wyszukiwarkach internetowych obejmujący zarówno działania organiczne…Słowo kluczowe (keyword)Fraza wpisywana przez użytkownika w wyszukiwarkę Google. Podstawowy element stra…