Robots.txt failas yra instrukcijų, skirtų internetinių paieškos sistemų botams (automatizuotoms kompiuterinėms programoms, sąveikaujančioms su svetainėmis ir programomis), rinkinys. Šį failą šiandien galima rasti daugelio svetainių šakiniame (pradiniame) failų kataloge. Robots.txt failą galima suprasti kaip robotų elgesio taisykles, nurodančias, kaip jie turėtų elgtis.

Žiniatinklio naršyklės botai naršo po internetines svetaines ir indeksuoja jose esantį turinį, kuris vėliau yra parodomas vartotojams internetinės paieškos sistemos rezultatų puslapiuose (SERP). Robots.txt failas, savo ruožtu, padeda valdyti šių robotų veiklą, užtikrinant, kad jie neapkrautų žiniatinklio serverio ir neindeksuotų tų dalykų, kurių nenorite, kad būtų matomi viešai.

Kaip veikia Robots.txt failas?

Robots.txt failas yra paprasčiausias tekstinis failas, kuriame nėra HTML kodo, ir kuris laikomas svetainės serverio failuose. Nors vartotojams šis failas nėra aktualus ir jie paprastai jo nemato, žiniatinklio naršyklės robotai pirmiausia ieško būtent jo. Tačiau nors Robots.txt faile yra pateikti nurodymai, kaip robotai turėtų elgtis, ne visi robotai yra vienodi, todėl ne visuomet tie nurodymai yra vykdomi. Geri robotai pirmiausia apsilanko Robots.txt faile ir sužino, kokių nurodymų jie turėtų laikytis, tačiau blogi robotai šiame faile pateiktą informaciją ignoruoja, tokiu būdu apsilankydami puslapiuose, kurie neturėtų būti viešai prieinami ir matomi.

Robots.txt failas yra labai svarbus, jei norima, kad paieškos sistemos neindeksuotų tam tikrų svetainės puslapių, pvz., neveikiančių arba besidubliuojančių svetainės puslapių, vidinių paieškos rezultatų puslapių, tam tikrų svetainės sričių ar failų, pvz., paveikslėlių, prisijungimo puslapių, bandomosios svetainės versijos ar kt.

Robots.txt failuose naudojami keli skirtingi protokolai, iš kurių pagrindinis yra tas, kuris nurodo, kad robotai turėtų vengti tam tikrų svetainių arba jose esančių puslapių bei informacijos. Robots.txt faile yra įtraukiami pastarajam protokolui sukurti reikalingi nurodymai. Kitas protokolas yra „Sitemaps“ (svetainės žemėlapiai), kuris informuoja robotus, kuriuose svetainės puslapiuose jie gali naršyti, užtikrinant, kad visi svarbiausi puslapiai būtų indeksuoti.

Robots.txt naudojimo būdai

Robots.txt failas gali būti naudojamas įvairiais būdais (be to, į jį galima įtraukti ir komentarus). Jei svetainėje nėra puslapių, kuriuos žūtbūt norima paslėpti ir nerodyti savo auditorijai, Robots.txt faile galima leisti viską, kartu pateikiant ir savo svetainės žemėlapį. Tokiu atveju visos paieškos sistemos gali pilnai nuskaityti svetainę ir indeksuoti joje pateikiamus duomenis. Tai ypatingai svarbu, kai svetainėje atsiranda naujų puslapių, nes Robots.txt faile yra nurodoma, kur yra svetainės žemėlapis, todėl robotai, reguliariai jį tikrindami, gali matyti, kada svetainėje vyksta pokyčiai ir atsiranda naujų išteklių.

Tačiau kartais svetainėje būna puslapių ar elementų, kurių nenorima rodyti paieškos sistemos rezultatų puslapiuose. Todėl tokiais atvejais Robots.txt faile galima nurodyti, kad atitinkami puslapiai nebūtų įtraukti į paieškos sistemoje rodomus rezultatus.

Taigi, Robots.txt faile galite nurodyti, kad robotams yra leidžiama viskas, išskyrus tam tikrus failus. Vienas iš pavyzdžių gali būti tuomet, kai svetainėje yra pateikiami tam tikri dokumentai (PDF failai), animuoti GIF failai ir kt., tačiau nenorima, kad jie atsispindėtų vaizdų paieškos rezultatuose ar kur nors kitur.

Lygiai taip pat galima nurodyti, kad robotams būtų pasiekiama visas svetainės turinys, išskyrus tam tikrus joje esančius puslapius. Toks tikslas gali atsirasti tuomet, kai konkretūs vidiniai puslapiai nėra tinkami rodyti internetinėje paieškoje, todėl Robots.txt failo pagalba juos galima lengvai užblokuoti. Tačiau verta pabrėžti, kad net jei šiame faile robotams bus nurodyta jų neindeksuoti, nepateikiant paieškos sistemos rezultatų puslapiuose, jie niekur nepradingsta. Tai reiškia, kad vartotojai visuomet galite pamatyti Robots.txt faile draudžiamais nurodytus puslapius, net jei jie nėra rodomi paieškos rezultatuose (juose jie gali apsilankyti tiesiogiai).

Nereikia pamiršti ir netinkamų svetainės URL adresų, kuriuos norima uždrausti dėl įvairių priežasčių, pvz., dėl to, kad jie dubliuoja turinį arba nėra susiję su tiksliniais rezultatais paieškos sistemoje. Todėl, pavyzdžiui, jei po svetainės sukūrimo joje yra likę įvairių bandomųjų puslapių, Robots.txt faile galima nurodyti, kad internetinės paieškos sistemos rezultatuose tokių puslapių URL nebūtų rodomi.

Kas nutinka, jei Robots.txt failo nebūna?

Kai svetainėje nėra Robots.txt failo, paieškos sistemos gali nevaržomai naršyti ir indeksuoti viską, kas yra jų lankomoje internetinėje svetainėje. Ir nors didžiajai daliai svetainių tai visiškai priimtina ir nesukelia jokių problemų, Robots.txt faile vis dėlto vertėtų nurodyti bent jau tai, kur yra XML svetainės žemėlapis, tokiu būdu paieškos sistemoms suteikiant galimybę lengviau ir greičiau atrasti naują svetainės turinį, kuris būtų indeksuotas ir pateiktas internetinės paieškos sistemos rezultatuose.

Pabaigai

Robots.txt failas yra svarbi svetainės dalis kuria turėtų pasirūpinti jūsų techninis SEO specialistas. Labai svarbu šį failą reguliariai atnaujinti, kai atsiranda naujų puslapių arba failų, jeigu nenorima, kad internetinės paieškos sistemos jų indeksuotų arba prie kurių turėtų prieigą kiti vartotojai. Tokiu būdu galima efektyviau optimizuoti savo svetainę ir pasiekti geresnių rezultatų.