Teknologi i Bokhylla-prosjektet

Trond Teigen

Arbeidet med Bokhylla.no har fem hovedaktivitetsområder:
1. Utplukk av materiale til digitalisering
2. Digitalisering
3. Etterbehandling
4. Tilgjengeliggjøring
5. Digital bevaring

Det benyttes både egenutviklet programvare, åpen kildekode og innkjøpte standardløsninger som SAM-FS, Docworks og Colorfactory.

Alle serverne har flere Intelprosessorer (2 – 8 kjerner), og er godt utstyrt med RAM. Serverne kjører forskjellige operativsystemplattformer som Linux, Windows2003/ Windows2008 og Solaris.
Totalt benyttes:

• 46 servere, derav 31 fysiske og 15 virtuelle
• Ca 50 Terabyte mellomlager disk
• 10 skannere
• 6 arbeidsstasjoner

Produsjonsløypa er i stand til å håndtere ca 250 bøker i døgnet.

(1 Terabyte = 1 000.000.000 kB. Rundt regnet tilsvarer
50 Terabyte lagringskapasiteten på 500 vanlige PC’er)

Mer detaljert oversikt
Her følger en oversikt over teknologi som er etablert. Basisinfrastruktur som nettverk og generelle tjenester som benyttes av alle produksjonsløypene i NB, er ikke tatt med i denne oversikten:

1. Utplukk av materiale
Mesteparten av det materialet som blir digitalisert kommer fra Depotbiblioteket.
a. Automatlagerserver benyttes til å hente ut bøker som bestilles.

b. Bibsys benyttes for å generere bestillinger.

2. Digitalisering
Det er 10 skannerenheter i NB som benyttes til å digitalisere bøker. Alle bøker digitaliseres i 400 dpi i farger (24 bits). Totale investeringskostnader for skannerne har vært ca 10 mill. kroner.
a. 2 stk høyytelses autoskannere i Rana. Her produseres gjennomsnittlig 450 GB data pr skanner pr dag. Det utgjør ca 90 bøker pr skanner pr dag. Skannerne som brukes i dag er Microform S655.
b. 2 stk Perm og omslagsskannere i Rana. Her brukes i dag Copibook fra I2S.
c. 1 stk autoblaskanner i Rana. Denne DL3000-skanneren fra 4digitalBooks støtter også store formater (opptil 2*A2).
d. 5 stk blaskannere i Oslo og Rana. Alle disse er Suprascan-skannere fra I2S.

3. Etterbehandling
I etterbehandlingen inngår sammenstilling av skannede filer til digitale bøker, OCR-behandling, strukturgjenkjenning, fargekorrigering, JPEG2000-konvertering og pakking for bevaring og formidling. Serverne som inngår i denne delen av prosessen er:
a. Produksjon5, hovedmottak av digitaliserte filer og sentral i forhold til DocWorks
b. Produksjon7, sentral i forhold til fargekorrigering, JPEG2000-konvertering og pakking for bevaring og formidling.
c. Docworksservere 1-18. Kjører på 3 ESX og 8 fysiske blades. Benyttes til OCR-behandling og strukturgjenkjenning,
d. Docworks arbeidsstasjoner 1-5. Benyttes til etterbehandling av avviste bøker fra docworks.
e. Colorfactoryservere 1-4. Kjører på 3 ESX servere. Benyttes til fargekorrigering av autoskannede bøker.
f. En ColorFactory arbeidsstasjon for kvalitetssikring av CF-behandlede bøker
g. Diverse mellomlager på til sammen 52 TeraByte rå disk der minimum 18 TB er i bruk til enhver tid.

4. Tilgjengeliggjøring
Her inngår alle servere som er nødvendig for å kunne vise frigitte bøker i NBs visningstjeneste på nett.

a. WWW1. HÃ¥ndterer kommunikasjon mot eksterne klienter
b. Appserv1. Administrerer utleveringen av bøker
c. MySql2. Databaseserver
d. Fast1-5. Søkeindeks
e. DSMUTV1. Holder rede på alle digitaliserte bøker som kan vises i NB.
f. Accessmanager1-2. HÃ¥ndterer autentisering og autorisering

5. Digital bevaring
Her inngår infrastruktur for å lagre digitaliserte data på en sikker måte
a. Samson1-2, Solaris-servere som administrer innlegging og uthenting av bevaringsverdige data fra NBs digitale arkiv
b. Aceton1-2, Solaris-servere som styrer innlegging og uthenting av bevaringsverdige data fra tape
c. Sun 6540 1-2 FC-cache disk til SAM-FS
d. Sun 6140 1-6 SATA-lagringsdisk
e. 2 stk SL85000 Tapebiblioteker med 3 stk T10K tapedriver hver.