Seznam zlepšil podporu souboru robots.txt

Seznam zlepšil podporu souboru robots.txt

Správci webových stránek se zajisté setkali se souborem robots.txt. Jeho účel je „říct“ vyhledávacím robotům (GoogleBot, SeznamBot aj.), jak se mají chovat a se stránkou naložit. Pomocí vhodných direktiv můžete například zakázat indexování celého webu.

Nedávná aktualizace indexovacího robota přinesla zvýšenou rychlost indexace zcela nových domén. Současně vývojáři zlepšili podporu pro soubor robots.txt, o které nyní informovali. Jednou z novinek je možnost určit maximální rychlost procházení stránek robotem. Omezení lze stanovit v závislosti na čase.

Pokud jste zakázali indexaci některého adresáře, můžete nyní povolit indexaci některému z jeho podadresářů. Adresu můžete zapsat ve tvaru bashovského regulárního výrazu. Podrobné informace, možnosti a parametry naleznete v nápovědě k souboru robots.txt.

Zdroj: Seznam Blog

Témata článku: Web, Internet

Určitě si přečtěte

Pojďme programovat elektroniku: Postavíme si titěrnou Wi-Fi meteostanici s lepším teploměrem než Netatmo

Pojďme programovat elektroniku: Postavíme si titěrnou Wi-Fi meteostanici s lepším teploměrem než Netatmo

** Dnes se podíváme na maličkou Wi-Fi destičku Wemos D1 mini ** A připojíme k ní barometrický a teplotní shield ** Poběží na ní web a nabídne i JSON API

18.  6.  2017 | Jakub Čížek | 27

Jak vybrat monitor k počítači: nenechte se zlákat nepodstatnými parametry

Jak vybrat monitor k počítači: nenechte se zlákat nepodstatnými parametry

** Na jaké parametry se zaměřit a kde vás výrobci chtějí nachytat ** Monitory se stále více specifikují pro konkrétní určení ** Náročný hráč nebo profesionální grafik mají různé požadavky

20.  6.  2017 | Tomáš Holčík | 31

Dlouhodobý test HTC Vive: co vám recenze o virtuální realitě neřeknou

Dlouhodobý test HTC Vive: co vám recenze o virtuální realitě neřeknou

** Ani hry se sebelepší grafikou vás nevtáhnou tolik, jako ve virtuální realitě ** Pro sledování filmů není VR ani zdaleka ideální ** I první generace je skvělá, stále však působí jako prototyp

20.  6.  2017 | Stanislav Janů | 19

Jak unikají informace o nových iPhonech? Třeba podprsenkami čínských pracovnic

Jak unikají informace o nových iPhonech? Třeba podprsenkami čínských pracovnic

** Na černém trhu mohou zaměstnanci továren za kradené součástky inkasovat částku ve výši ročního platu ** Velké množství informací je vyneseno i z centrály Applu ** Díly jsou pašovány v botách, podprsenkách i odpadem

21.  6.  2017 | Stanislav Janů | 20


Aktuální číslo časopisu Computer

Bojujeme proti Fake News

Dva velké testy: fotoaparáty a NASy

Co musíte vědět o změně evropského roamingu

Radíme s výběrem základní desky