robots.txt, svetainės žemėlapis ir Search Console be galvos skausmo
· Atnaujinta · 2 min. skaitymo
Šie trys dalykai nulemia, ar „Google“ apskritai pamatys jūsų puslapius. Jie nustatomi per pusvalandį, o klaidos čia brangiausios.
robots.txt: ką jis daro ir ko nedaro
robots.txt rodo paieškos robotams, kurių svetainės dalių nelankyti. Svarbu: jis valdo nuskaitymą, o ne indeksavimą. Puslapis, užblokuotas robots.txt, vis tiek gali atsirasti rezultatuose, jei į jį veda nuorodos. Norėdami neleisti indeksuoti, naudokite „noindex“ žymą, o puslapis turi būti prieinamas, kad robotas ją pamatytų.
Paprastas teisingas pavyzdys:
- User-agent: *
- Disallow: /admin/
- Sitemap: https://jusu-svetaine.lt/sitemap.xml
Niekada nepalikite „Disallow: /“ po svetainės paleidimo: tai dažna klaida, kai kūrimo versija perkeliama į gyvą svetainę.
sitemap.xml: ką į jį dėti
Žemėlapyje turi būti tik adresai, kuriuos norite matyti paieškoje: kanoniniai, atsakantys 200 kodu, be „noindex“. Vienas failas gali turėti iki 50 000 adresų ar 50 MB, daugiau – skaidykite į kelis.
Laukai „priority“ ir „changefreq“ „Google“ ignoruoja, o „lastmod“ naudojama tik tada, kai jis atspindi tikrus pakeitimus. Daugiakalbėms svetainėms pridėkite hreflang nuorodas.
Search Console: ką padaryti iškart
Patvirtinkite domeną (DNS įrašu), pateikite sitemap.xml ir peržiūrėkite ataskaitą „Puslapiai“. Svarbiausias įrankis – „URL tikrinimas“: jis parodo, ar „Google“ mato puslapį, kurį kanoninį adresą pasirinko ir ar yra problemų.
Dažniausios indeksavimo problemos
„Rasta, bet neindeksuota“ dažnai rodo silpną ar pasikartojantį turinį arba trūkstamas vidines nuorodas. „Nuskaityta, bet neindeksuota“ – kad „Google“ puslapį matė, bet neįvertino jo naudingu. Čia padeda unikalus turinys, vidinės nuorodos iš stiprių puslapių ir greitesnis puslapis: žr. /tinklarastis/svetaines-greitis-core-web-vitals/.
Patikra po pakeitimų
Pakeitus robots.txt ar žemėlapį, patikrinkite juos naršyklėje ir „Search Console“. Šios svetainės nemokamas auditas taip pat patikrina robots.txt, sitemap, kanoninius adresus ir „noindex“. Bendrą planą rasite /tinklarastis/seo-auditas-nemokamai/.
Dažni klausimai
Ar robots.txt neleidžia puslapiui patekti į „Google“?
Ne visada. Jis blokuoja nuskaitymą, bet puslapis vis tiek gali būti rodomas be aprašymo. Indeksavimui uždrausti naudokite „noindex“.
Ar privalomas sitemap.xml?
Ne, bet jis padeda „Google“ greičiau rasti puslapius, ypač naujoje ar didelėje svetainėje.
Kaip greitai „Google“ indeksuos naują puslapį?
Nuo kelių valandų iki kelių savaičių. Pagreitinti padeda vidinės nuorodos ir „URL tikrinimo“ užklausa.