na to jsou appky, které zkopírují celou strukturu webu do lokální kopie. Kdysi jsem používal HTTrack Website Copier, to si vygooglíš. Zadáš adresu a hloubku, kolik odkazů daleko to má jít a ono se to stáhne. Automatizaci už vymyslíš, dá se to ovládat i z command lajny, takže bez problémů.