Nezabíjetete nás, prosí zakladatelé Googlu

Nezabíjetete nás, prosí zakladatelé Googlu

Robots.txt letos slaví dvacáté výročí. Pokud netušíte, oč se jedná, nejspíše jste nikdy nespustili vlastní web, jednoduchý skript totiž dává vyhledávacím robotům najevo, co mají na daném webu indexovat a co mají naopak ignorovat.

Když tedy stránky navštíví robot Googlu, nejprve se podívá, jestli je v kořenovém adresáři webu kýžený textový soubor a případně si jej přečte.

Pokud v něm bude následující záznam, znamená to, že daný web může navštívit libovolný robot a indexovat vše, co najde:

User-agent: *
Disallow:

Následující záznam naopak všem robotům zakáže cokoliv indexovat, lomítko totiž označuje kořenový adresář webu:

User-agent: *
Disallow: /

Robots.txt toho samozřejmě umí mnohem více, takže můžete robotům omezit třeba indexování fotografií, vybraných složek apod. Rozsáhlejší dokumentaci najdete třeba na webu Jak psát web a k dispozici je i validátor.

Larryho a Sergeje nechte být!

Jeden takový robots.txt se nachází i v kořenovém adresáři samotného Googlu. Jmenuje se killer-robots.txt a je určen dvojici robotů T-1000 a T-800; tedy krvelačným terminátorům z budoucnosti. Skript vypadá takto:

User-Agent: T-1000
User-Agent: T-800
Disallow: /+LarryPage
Disallow: /+SergeyBrin

Skript tedy dává dvojici robotů na vědomí, aby „neindexovali“ (rozumějte nezabíjeli) zakladatele Googlu Larryho Page a Sergeje Brina. Nutno podotknout, že se jedná pouze o klasický easter egg věnovaný právě dvacátému výročí této techniky, nicméně člověk nikdy neví. Třeba se podobný skript bude za pár desítek let opravdu hodit.

Diskuze (10) Další článek: Testlab: Jak dobře vybrat světelný kompakt

Témata článku: Google, Web, Programování, Roboti, Bulvár a vtípky, Larry Page, 1000, Zakladatel, Jednoduchý skript, Kořenový adresář, Sergey Brin


Určitě si přečtěte

Vyzkoušeli jsme eObčanku a přihlásili se s ní na weby úřadů. Vážně to funguje!

Vyzkoušeli jsme eObčanku a přihlásili se s ní na weby úřadů. Vážně to funguje!

** Máme eObčanku, máme čtečku, vyzkoušeli jsme přihlášení na weby úřadů. ** Objevily se drobné problémy, podařilo se nám je vyřešit. ** Používání eObčanky pro online identifikaci je velmi pohodlné.

Marek Lutonský | 35

Porno insider: Jak Greg Lansky mění internet pro dospělé

Porno insider: Jak Greg Lansky mění internet pro dospělé

** Erotický obsah generoval ohromné peníze, pak ale přišel internet... ** Pornografie dostupná všude a zdarma uvedla tvůrce do krize ** Někteří ale dokázali potenciál internetu využít i v tomto oboru

Jan Dudek | 12

Na Zemi je nejtepleji za posledních více než 100 tisíc let. Co nám hrozí?

Na Zemi je nejtepleji za posledních více než 100 tisíc let. Co nám hrozí?

** Letošní červenec byl třetím nejteplejším měsícem od roku 1880 ** Teplota naší planety roste raketovým tempem ** Co lidstvu hrozí v období, které v minulosti nemá obdoby?

Karel Kilián | 70

Američtí mariňáci si tisknou kasárna z betonu na 3D tiskárně

Američtí mariňáci si tisknou kasárna z betonu na 3D tiskárně

** Americká námořní pěchota nedávno představila 3D tištěná kasárna pro vojáky ** Ty jim tiskne velká 3D tiskárna na beton ** Výsledkem je solidní obytný prostor, který je slušně chráněný před nepřátelskou palbou

Stanislav Mihulka | 18

Šmírování kamerami Googlu: Koukněte se, co zachytily na Street View

Šmírování kamerami Googlu: Koukněte se, co zachytily na Street View

Google stále fotí celý svět do své služby Street View. A novodobou zábavou je hledat v mapách Googlu vtipné záběry. Podívejte se na výběr nejlepších!

redakce | 44


Aktuální číslo časopisu Computer

Jak vytvořit a spravovat vlastní web

Velký test herních klávesnic a DVB-T2 tunerů

Vše o formátu RAW

Vybíráme nejlepší základní desku