robots.txt, mapa witryny i Search Console bez bólu głowy
· Zaktualizowano · 2 min czytania
Te trzy rzeczy decydują, czy Google w ogóle zobaczy Twoje strony. Konfiguracja zajmuje pół godziny, a błędy są tu najdroższe.
Co robots.txt robi, a czego nie robi
robots.txt mówi robotom wyszukiwarek, których części serwisu nie odwiedzać. Ważne: steruje skanowaniem, a nie indeksowaniem. Strona zablokowana w robots.txt może mimo to pojawić się w wynikach, jeśli prowadzą do niej linki. Aby zakazać indeksowania, użyj tagu noindex, a strona musi być dostępna, by robot go zobaczył.
Prosty poprawny przykład:
- User-agent: *
- Disallow: /admin/
- Sitemap: https://twoja-strona.pl/sitemap.xml
Nigdy nie zostawiaj "Disallow: /" po uruchomieniu strony: to klasyczny błąd, gdy wersja testowa trafia na produkcję.
Co wpisać do sitemap.xml
W mapie mają być tylko adresy, które chcesz widzieć w wyszukiwarce: kanoniczne, zwracające kod 200, bez noindex. Jeden plik mieści do 50 000 adresów lub 50 MB, więcej podziel na kilka.
Pola priority i changefreq Google ignoruje, a lastmod uwzględnia tylko wtedy, gdy odzwierciedla realne zmiany. W serwisach wielojęzycznych dodaj linki hreflang.
Search Console: co zrobić od razu
Zweryfikuj domenę (rekordem DNS), zgłoś sitemap.xml i obejrzyj raport "Strony". Najważniejsze narzędzie to "Inspekcja adresu URL": pokazuje, czy Google widzi stronę, jaki adres kanoniczny wybrał i czy są problemy.
Najczęstsze problemy z indeksowaniem
"Wykryto, nie zaindeksowano" często wskazuje na słabą lub powtarzalną treść albo brak linków wewnętrznych. "Zeskanowano, nie zaindeksowano" oznacza, że Google zobaczył stronę, ale nie uznał jej za dość użyteczną. Pomaga unikalna treść, linki wewnętrzne z mocnych stron i szybsze ładowanie: zobacz /pl/blog/szybkosc-strony-core-web-vitals/.
Kontrola po zmianach
Po edycji robots.txt lub mapy sprawdź je w przeglądarce i w Search Console. Darmowy audyt na tej stronie sprawdza też robots.txt, sitemap, adresy kanoniczne i noindex. Ogólny plan znajdziesz w /pl/blog/audyt-seo-za-darmo/.
Najczęstsze pytania
Czy robots.txt chroni stronę przed Google?
Nie zawsze. Blokuje skanowanie, ale adres może się nadal pojawić bez opisu. Do zakazu indeksowania użyj noindex.
Czy sitemap.xml jest obowiązkowa?
Nie, ale pomaga Google szybciej znaleźć strony, zwłaszcza w nowym lub dużym serwisie.
Jak szybko Google zaindeksuje nową stronę?
Od kilku godzin do kilku tygodni. Przyspieszają to linki wewnętrzne i zgłoszenie w Inspekcji adresu URL.