Teknologien bak nettarkivet

For å arkivere nettsteder trenger man et innhøstingverktøy (crawler/robot). Oppgaven til denne er å navigere seg rundt på Internett, trykke på lenker for deretter å lagre innholdet.