Seznam zlepšil podporu souboru robots.txt

Správci webových stránek se zajisté setkali se souborem robots.txt. Jeho účel je „říct“ vyhledávacím robotům (GoogleBot, SeznamBot aj.), jak se mají chovat a se stránkou naložit. Pomocí vhodných direktiv můžete například zakázat indexování celého webu.

Nedávná aktualizace indexovacího robota přinesla zvýšenou rychlost indexace zcela nových domén. Současně vývojáři zlepšili podporu pro soubor robots.txt, o které nyní informovali. Jednou z novinek je možnost určit maximální rychlost procházení stránek robotem. Omezení lze stanovit v závislosti na čase.

Pokud jste zakázali indexaci některého adresáře, můžete nyní povolit indexaci některému z jeho podadresářů. Adresu můžete zapsat ve tvaru bashovského regulárního výrazu. Podrobné informace, možnosti a parametry naleznete v nápovědě k souboru robots.txt.

Zdroj: Seznam Blog

Témata článku: Web, Internet, Robota

Nejnovější komentáře

Přidat příspěvek
Určitě si přečtěte

ASUS ZenBook 3 se začal prodávat v Česku. Je ve všem lepší než MacBook, ale bude to stačit?

ASUS ZenBook 3 se začal prodávat v Česku. Je ve všem lepší než MacBook, ale bude to stačit?

** Novinka od Asusu míří přímo proti MacBooku od Applu ** Nabídne daleko více výkonu za stejné peníze

2.  12.  2016 | David Polesný | 129

Sbíječky vyměnili za klávesnice. Nový projekt má za cíl přeučit horníky na programátory

Sbíječky vyměnili za klávesnice. Nový projekt má za cíl přeučit horníky na programátory

** Programátorů je málo a horníků bez práce po uzavření dolu Paskov bude moc ** Problém řeší unikátní projekt ** Pilotní kurz dává naději, že by z horníků mohli být použitelní kodéři

28.  11.  2016 | David Polesný | 79