Před rokem Seznam přišel s novým robotem pro procházení a indexaci webů. Sliboval vyšší rychlost indexace a větší počet indexovaných webů. Možná si vzpomenete na někdejší prohlášení, že má Seznam v plánu indexovat každé vlákno každého diskuzního fóra na českém internetu.
Nyní Seznam přichází s informacemi o nové verzi robota (SeznamBota). Toho v létě otestovali a nasadili do ostrého provozu. Největší novinkou je přepracování zakládání nových URL v databázi, což nyní slibuje rychlejší indexaci zcela nových domén.
Seznam současně přiznává, že dřívější robot měl s indexací nových domén velké problémy. Důvodem bylo zanoření se do hloubky struktury webu, přičemž si vybral mnoho nepodstatných stránek a na ty důležité zapomněl.
Vývojáři dále dodávají: „Kromě uvedených úprav se nám daří robota neustále zrychlovat, od začátku roku jsme naši databázi téměř zdvojnásobili, do konce roku se plánujeme dostat na více než trojnásobek.“
Zdroj: Seznam Blog