Nezabíjetete nás, prosí zakladatelé Googlu

Nezabíjetete nás, prosí zakladatelé Googlu

Robots.txt letos slaví dvacáté výročí. Pokud netušíte, oč se jedná, nejspíše jste nikdy nespustili vlastní web, jednoduchý skript totiž dává vyhledávacím robotům najevo, co mají na daném webu indexovat a co mají naopak ignorovat.

Když tedy stránky navštíví robot Googlu, nejprve se podívá, jestli je v kořenovém adresáři webu kýžený textový soubor a případně si jej přečte.

Pokud v něm bude následující záznam, znamená to, že daný web může navštívit libovolný robot a indexovat vše, co najde:

User-agent: *
Disallow:

Následující záznam naopak všem robotům zakáže cokoliv indexovat, lomítko totiž označuje kořenový adresář webu:

User-agent: *
Disallow: /

Robots.txt toho samozřejmě umí mnohem více, takže můžete robotům omezit třeba indexování fotografií, vybraných složek apod. Rozsáhlejší dokumentaci najdete třeba na webu Jak psát web a k dispozici je i validátor.

Larryho a Sergeje nechte být!

Jeden takový robots.txt se nachází i v kořenovém adresáři samotného Googlu. Jmenuje se killer-robots.txt a je určen dvojici robotů T-1000 a T-800; tedy krvelačným terminátorům z budoucnosti. Skript vypadá takto:

User-Agent: T-1000
User-Agent: T-800
Disallow: /+LarryPage
Disallow: /+SergeyBrin

Skript tedy dává dvojici robotů na vědomí, aby „neindexovali“ (rozumějte nezabíjeli) zakladatele Googlu Larryho Page a Sergeje Brina. Nutno podotknout, že se jedná pouze o klasický easter egg věnovaný právě dvacátému výročí této techniky, nicméně člověk nikdy neví. Třeba se podobný skript bude za pár desítek let opravdu hodit.

Témata článku: Google, Web, Programování, Roboti, Bulvár a vtípky, Larry Page, 1000

11 komentářů

Nejnovější komentáře

  • Poltergeist 4. 7. 2014 18:32:01
    Armaniho voddelal kdo ?
  • akuhtr 4. 7. 2014 16:34:05
    Z praktického hlediska je to nedostatečné. Co třeba T-X? Nejlepší by bylo...
  • Matin Kukač 4. 7. 2014 13:49:02
    "skript – v informatice spustitelný soubor jako prostý (jednoduchý) text s...
Určitě si přečtěte

To tu ještě nebylo. Specialisté ukázali, že zavirované mohou být i titulky SRT

To tu ještě nebylo. Specialisté ukázali, že zavirované mohou být i titulky SRT

** Stáhnete si film a titulky třeba z OpenSubtitles.org ** A osud vás za ten warez záhy potrestá ** Specialisté totiž ukázali, že i v titulcích může být schovaný virus

24.  5.  2017 | Jakub Čížek | 58

Pojďme programovat elektroniku: Postavíme si bezdotykové ovládání PC za stokorunu

Pojďme programovat elektroniku: Postavíme si bezdotykové ovládání PC za stokorunu

** Vzpomínáte na Leap Motion? ** Dnes si postavíme něco podobného za zlomek ceny ** Pohrajeme si s optickým detektorem gest

Včera | Jakub Čížek | 7

WannaCry se neměl vůbec rozšířit. Stačilo, abychom používali Windows Update

WannaCry se neměl vůbec rozšířit. Stačilo, abychom používali Windows Update

** WannaCry se masivně rozšířil kvůli zranitelnosti ve Windows ** Ta mu umožnila, aby se pokusil sám napadnout další počítače ** Jenže ta chyba už je dva měsíce opravená!

22.  5.  2017 | Jakub Čížek | 97


Aktuální číslo časopisu Computer

Bojujeme proti Fake News

Dva velké testy: fotoaparáty a NASy

Co musíte vědět o změně evropského roamingu

Radíme s výběrem základní desky