reklama

Seznam zlepšil podporu souboru robots.txt

Správci webových stránek se zajisté setkali se souborem robots.txt. Jeho účel je „říct“ vyhledávacím robotům (GoogleBot, SeznamBot aj.), jak se mají chovat a se stránkou naložit. Pomocí vhodných direktiv můžete například zakázat indexování celého webu.

Nedávná aktualizace indexovacího robota přinesla zvýšenou rychlost indexace zcela nových domén. Současně vývojáři zlepšili podporu pro soubor robots.txt, o které nyní informovali. Jednou z novinek je možnost určit maximální rychlost procházení stránek robotem. Omezení lze stanovit v závislosti na čase.

Pokud jste zakázali indexaci některého adresáře, můžete nyní povolit indexaci některému z jeho podadresářů. Adresu můžete zapsat ve tvaru bashovského regulárního výrazu. Podrobné informace, možnosti a parametry naleznete v nápovědě k souboru robots.txt.

Zdroj: Seznam Blog

Témata článku: Web, Internet, Robota

Nejnovější komentáře

Přidat příspěvek
reklama
Určitě si přečtěte

Pojďme programovat elektroniku: Sestavíme si mobil a pošleme SMS

Pojďme programovat elektroniku: Sestavíme si mobil a pošleme SMS

** Kolik stál váš mobilní telefon? ** Základní GSM modem koupíte za stovku ** Umí telefonovat, posílat SMS a zvládne i GPRS

13.  1.  2017 | Jakub Čížek | 27

Auta budoucnosti: V tomto se budete za pár let vozit

Auta budoucnosti: V tomto se budete za pár let vozit

** Velký prostor patřil na letošním veletrhu CES automobilům ** Automobilová budoucnost je elektrická a inteligentní ** Podívejte se, jak je vývoj futuristických autonomních aut daleko

12.  1.  2017 | David Polesný | 34

Český státní blacklist už funguje. Ministerstvo financí se pochlubilo s detaily

Český státní blacklist už funguje. Ministerstvo financí se pochlubilo s detaily

** Dva týdny po Novém roce zajím zeje prázdnotou ** Ministerstvo vydalo metodický pokyn ** Takhle to bude fungovat v praxi

16.  1.  2017 | Jakub Čížek | 44

Opera Neon: Takto prý bude vypadat prohlížeč budoucnosti. Chcete to?

Opera Neon: Takto prý bude vypadat prohlížeč budoucnosti. Chcete to?

** Opera představila Neon ** Koncepci prohlížeče budoucnosti ** Připomíná Chrome OS

16.  1.  2017 | Jakub Čížek | 34


Aktuální číslo časopisu Computer

99 nejlepších programů pro váš počítač

Zvykejte si na umělou inteligenci

Velké testy PC zdrojů a gamepadů

Alternativní zdroje energie

reklama
reklama