Nezabíjetete nás, prosí zakladatelé Googlu

Nezabíjetete nás, prosí zakladatelé Googlu

Robots.txt letos slaví dvacáté výročí. Pokud netušíte, oč se jedná, nejspíše jste nikdy nespustili vlastní web, jednoduchý skript totiž dává vyhledávacím robotům najevo, co mají na daném webu indexovat a co mají naopak ignorovat.

Když tedy stránky navštíví robot Googlu, nejprve se podívá, jestli je v kořenovém adresáři webu kýžený textový soubor a případně si jej přečte.

Pokud v něm bude následující záznam, znamená to, že daný web může navštívit libovolný robot a indexovat vše, co najde:

User-agent: *
Disallow:

Následující záznam naopak všem robotům zakáže cokoliv indexovat, lomítko totiž označuje kořenový adresář webu:

User-agent: *
Disallow: /

Robots.txt toho samozřejmě umí mnohem více, takže můžete robotům omezit třeba indexování fotografií, vybraných složek apod. Rozsáhlejší dokumentaci najdete třeba na webu Jak psát web a k dispozici je i validátor.

Larryho a Sergeje nechte být!

Jeden takový robots.txt se nachází i v kořenovém adresáři samotného Googlu. Jmenuje se killer-robots.txt a je určen dvojici robotů T-1000 a T-800; tedy krvelačným terminátorům z budoucnosti. Skript vypadá takto:

User-Agent: T-1000
User-Agent: T-800
Disallow: /+LarryPage
Disallow: /+SergeyBrin

Skript tedy dává dvojici robotů na vědomí, aby „neindexovali“ (rozumějte nezabíjeli) zakladatele Googlu Larryho Page a Sergeje Brina. Nutno podotknout, že se jedná pouze o klasický easter egg věnovaný právě dvacátému výročí této techniky, nicméně člověk nikdy neví. Třeba se podobný skript bude za pár desítek let opravdu hodit.

Diskuze (10) Další článek: Testlab: Jak dobře vybrat světelný kompakt

Témata článku: Google, Web, Programování, Roboti, Bulvár a vtípky, Larry Page, Sergey Brin, 1000, Kořenový adresář, Zakladatel, Jednoduchý skript


Určitě si přečtěte

Apple dal do MacBooku procesor Core i9 a 4TB SSD. Ani se neptejte, co za to chce...

Apple dal do MacBooku procesor Core i9 a 4TB SSD. Ani se neptejte, co za to chce...

** Apple aktualizoval notebooky MacBook Pro, dostaly nový hardware ** Těšit se můžete na nové procesory a větší paměť ** Cena nejvybavenějšího modelu překročí 200 tisíc korun

Martin Miksa | 99

Nová zbraň Microsoftu proti iPadu: Levný tablet Surface Go bude stát jen deset tisíc

Nová zbraň Microsoftu proti iPadu: Levný tablet Surface Go bude stát jen deset tisíc

** Microsoft představil nový tablet Surface Go ** Nový model zaujme nízkou cenou, ale schopnostmi zařízení Surface ** Microsoft nepoužil čip ARM, ale klasický procesor od Intelu 

Karel Javůrek | 116

Porno insider: Jak virtuální realita vstupuje do filmů pro dospělé

Porno insider: Jak virtuální realita vstupuje do filmů pro dospělé

** Pornografie údajně představuje třetinu internetové obsahu a je technologický tahounem ** Do erotického obsahu postupně zasahuje i virtuální realita ** Kromě vizuálního vjemu se pracuje také na virtuálním uspokojení toho hmatového

Jan Dudek | 28

Takhle zemřete, když asteroid dopadne na vaše město

Takhle zemřete, když asteroid dopadne na vaše město

** Jak by to dopadlo, kdyby na světovou metropoli či do nedalekého moře dopadl velký asteroid? ** Simulovali to odborníci z University of Southampton ** Výsledky jsou velmi zajímavé

Petr Kubala | 32

Nechcete platit za Total Commander? Těmito bezplatnými programy ho můžete nahradit

Nechcete platit za Total Commander? Těmito bezplatnými programy ho můžete nahradit

** Total Commander je na Windows takřka legendou ** Licence však stojí více než tisíc korun ** Našli jsme pro vás deset alternativ dostupných zdarma

Karel Kilián | 141


Aktuální číslo časopisu Computer

Velký test 18 bezdrátových sluchátek

Vše o přechodu na DVB-T2

Procesory AMD opět porážejí Intel

7 NVMe M.2 SSD v přímém souboji