Seznam zlepšil podporu souboru robots.txt

Správci webových stránek se zajisté setkali se souborem robots.txt. Jeho účel je „říct“ vyhledávacím robotům (GoogleBot, SeznamBot aj.), jak se mají chovat a se stránkou naložit. Pomocí vhodných direktiv můžete například zakázat indexování celého webu.

Nedávná aktualizace indexovacího robota přinesla zvýšenou rychlost indexace zcela nových domén. Současně vývojáři zlepšili podporu pro soubor robots.txt, o které nyní informovali. Jednou z novinek je možnost určit maximální rychlost procházení stránek robotem. Omezení lze stanovit v závislosti na čase.

Pokud jste zakázali indexaci některého adresáře, můžete nyní povolit indexaci některému z jeho podadresářů. Adresu můžete zapsat ve tvaru bashovského regulárního výrazu. Podrobné informace, možnosti a parametry naleznete v nápovědě k souboru robots.txt.

Zdroj: Seznam Blog

Témata článku: Web, Internet

Určitě si přečtěte

Původní Starcraft: Brood War je nyní zdarma. Konec práce! Jde se pařit

Původní Starcraft: Brood War je nyní zdarma. Konec práce! Jde se pařit

** Legendární hra Starcraft je nyní k dispozici zdarma ** Chystá se i nová remasterovaná verze s hezčí grafikou

19.  4.  2017 | Jakub Čížek | 25

Brno otevřelo největší českou dílnu pro bastlíře. Kladívka, vrtačky, 3D tiskárny, laserové řezačky. Je tu vše

Brno otevřelo největší českou dílnu pro bastlíře. Kladívka, vrtačky, 3D tiskárny, laserové řezačky. Je tu vše

** Máte nápad, ale chybí vám stroje a pořádná dílna? ** Chcete postavit ptačí budku, nebo krabičku pro Arduino? ** Brno otevřelo svůj FabLab – laboratoř pro bastlíře

19.  4.  2017 | Jakub Čížek | 31

Operační systém běžným počítačům nedal Bill Gates, ale Gary Kildall

Operační systém běžným počítačům nedal Bill Gates, ale Gary Kildall

** Gary Kildall pochopil, že levné výpočetní čipy mohou posloužit jako univerzální počítače pro všechny ** Připravil pro ně proto první operační systém ** Později mu systém vyfoukl Microsoft a nazval ho MS DOS

Včera | Pavel Tronner | 19


Aktuální číslo časopisu Computer

První test AMD Ryzen

Velké testy: 22 powerbank a 8 bezdrátových setů

Radíme s koupí Wi-Fi routeru

Co dokáží inteligentní domy?