Seznam zlepšil podporu souboru robots.txt

Správci webových stránek se zajisté setkali se souborem robots.txt. Jeho účel je „říct“ vyhledávacím robotům (GoogleBot, SeznamBot aj.), jak se mají chovat a se stránkou naložit. Pomocí vhodných direktiv můžete například zakázat indexování celého webu.

Nedávná aktualizace indexovacího robota přinesla zvýšenou rychlost indexace zcela nových domén. Současně vývojáři zlepšili podporu pro soubor robots.txt, o které nyní informovali. Jednou z novinek je možnost určit maximální rychlost procházení stránek robotem. Omezení lze stanovit v závislosti na čase.

Pokud jste zakázali indexaci některého adresáře, můžete nyní povolit indexaci některému z jeho podadresářů. Adresu můžete zapsat ve tvaru bashovského regulárního výrazu. Podrobné informace, možnosti a parametry naleznete v nápovědě k souboru robots.txt.

Zdroj: Seznam Blog

Témata článku: Web, Internet

Určitě si přečtěte

Nebuďte jako Emma Watson. Poradíme, jak nepřijít o hanbaté fotky

Nebuďte jako Emma Watson. Poradíme, jak nepřijít o hanbaté fotky

** Pokud už choulostivé snímky vyfotíte, dbejte na jejich zabezpečení ** Útočníci je nejčastěji získají z cloudového úložiště ** Pozor si dejte i na phishing a řádné zabezpečení telefonu

25.  3.  2017 | Stanislav Janů | 52

Špičkoví hackeři útočili na prohlížeče. Chrome odolal, ale Edge je tragédie

Špičkoví hackeři útočili na prohlížeče. Chrome odolal, ale Edge je tragédie

** Do Vancouveru se sjeli hackeři ** Soutěžili v útocích na prohlížeče ** Chrome odolal, ale Edge to projel na celé čáře

22.  3.  2017 | Jakub Čížek | 79


Aktuální číslo časopisu Computer

Supertéma o počítačové bezpečnosti

AMD Ryzen přichází

Velké testy kinoprojektorů a levných sluchátek

Příslušenství do USB-C