Nezabíjetete nás, prosí zakladatelé Googlu

Robots.txt letos slaví dvacáté výročí. Pokud netušíte, oč se jedná, nejspíše jste nikdy nespustili vlastní web, jednoduchý skript totiž dává vyhledávacím robotům najevo, co mají na daném webu indexovat a co mají naopak ignorovat.

Když tedy stránky navštíví robot Googlu, nejprve se podívá, jestli je v kořenovém adresáři webu kýžený textový soubor a případně si jej přečte.

Pokud v něm bude následující záznam, znamená to, že daný web může navštívit libovolný robot a indexovat vše, co najde:

User-agent: *
Disallow:

Následující záznam naopak všem robotům zakáže cokoliv indexovat, lomítko totiž označuje kořenový adresář webu:

User-agent: *
Disallow: /

Robots.txt toho samozřejmě umí mnohem více, takže můžete robotům omezit třeba indexování fotografií, vybraných složek apod. Rozsáhlejší dokumentaci najdete třeba na webu Jak psát web a k dispozici je i validátor.

Larryho a Sergeje nechte být!

Jeden takový robots.txt se nachází i v kořenovém adresáři samotného Googlu. Jmenuje se killer-robots.txt a je určen dvojici robotů T-1000 a T-800; tedy krvelačným terminátorům z budoucnosti. Skript vypadá takto:

User-Agent: T-1000
User-Agent: T-800
Disallow: /+LarryPage
Disallow: /+SergeyBrin

Skript tedy dává dvojici robotů na vědomí, aby „neindexovali“ (rozumějte nezabíjeli) zakladatele Googlu Larryho Page a Sergeje Brina. Nutno podotknout, že se jedná pouze o klasický easter egg věnovaný právě dvacátému výročí této techniky, nicméně člověk nikdy neví. Třeba se podobný skript bude za pár desítek let opravdu hodit.

Témata článku: Google, Web, Programování, Bulvár a vtípky, Roboti, Larry Page, 1000

11 komentářů

Nejnovější komentáře

  • Poltergeist 4. 7. 2014 18:32:01
    Armaniho voddelal kdo ?
  • akuhtr 4. 7. 2014 16:34:05
    Z praktického hlediska je to nedostatečné. Co třeba T-X? Nejlepší by bylo...
  • Matin Kukač 4. 7. 2014 13:49:02
    "skript – v informatice spustitelný soubor jako prostý (jednoduchý) text s...
Určitě si přečtěte

Operační systém běžným počítačům nedal Bill Gates, ale Gary Kildall

Operační systém běžným počítačům nedal Bill Gates, ale Gary Kildall

** Gary Kildall pochopil, že levné výpočetní čipy mohou posloužit jako univerzální počítače pro všechny ** Připravil pro ně proto první operační systém ** Později mu systém vyfoukl Microsoft a nazval ho MS DOS

23.  4.  2017 | Pavel Tronner | 51

Umělá inteligence je sice v plenkách, už teď ale přestáváme rozumět, jak vlastně funguje. To je problém

Umělá inteligence je sice v plenkách, už teď ale přestáváme rozumět, jak vlastně funguje. To je problém

** Už je to tady, lidé přestávají chápat počítače ** Systémy neuronových sítí začínají pracovat tak, že ani jejich tvůrci přesně neví, co se uvnitř děje ** Do budoucna to může být závažný problém

24.  4.  2017 | Jakub Čížek | 110

Před 35 lety měl premiéru legendární počítač ZX Spectrum. Připomeňte si „Gumáka“

Před 35 lety měl premiéru legendární počítač ZX Spectrum. Připomeňte si „Gumáka“

** Slavný osmibitový počítač Sinclair ZX Spectrum byl uveden právě před 35 lety ** Připomeňte si tento průkopnický počítač v tematických článcích ** Podívejte se, jak funguje dnes

23.  4.  2017 | Pavel Tronner | 13

Správný počítač má alespoň dva monitory. Anebo je to jinak?

Správný počítač má alespoň dva monitory. Anebo je to jinak?

** David si nedokáže představit práci bez dvou a více monitorů ** Kubovi naopak stačí jeden a ve více displejích se ztrácí ** Jaký přístup je lepší?

23.  4.  2017 | Jakub Čížek | 59

Český Google Překladač začal používat umělou inteligenci. Konec „drahoušků zákazníků“

Český Google Překladač začal používat umělou inteligenci. Konec „drahoušků zákazníků“

** Google ve svém překladači roky používal statistickou technologii ** Nyní zavádí strojové učení a neuronové sítě ** Rozdíl by měl být zvláště na větších textech patrný už nyní

20.  4.  2017 | Jakub Čížek | 31

Brno otevřelo největší českou dílnu pro bastlíře. Kladívka, vrtačky, 3D tiskárny, laserové řezačky. Je tu vše

Brno otevřelo největší českou dílnu pro bastlíře. Kladívka, vrtačky, 3D tiskárny, laserové řezačky. Je tu vše

** Máte nápad, ale chybí vám stroje a pořádná dílna? ** Chcete postavit ptačí budku, nebo krabičku pro Arduino? ** Brno otevřelo svůj FabLab – laboratoř pro bastlíře

19.  4.  2017 | Jakub Čížek | 31


Aktuální číslo časopisu Computer

První test AMD Ryzen

Velké testy: 22 powerbank a 8 bezdrátových setů

Radíme s koupí Wi-Fi routeru

Co dokáží inteligentní domy?