Laaturaportti 2016
PAS-palvelun ylläpidon vuosi 2016
Kansallisen digitaalisen kirjaston pitkäaikaissäilytyspalvelu (KDK:n PAS-palvelu) on jatkuvasti kehittyvä palvelu ja kehittämistä jatketaan läheisessä yhteistyössä arkistojen, kirjastojen ja museoiden kanssa. Tavoitteena on, että KDK:n PAS-palvelussa merkittävimmät digitoidut ja alkujaan digitaaliset kulttuuriperintöaineistot säilyvät myös tuleville sukupolville ja mahdollistaa aineistojen pitkäaikainen hyödyntäminen.
KDK:n PAS-palvelun tuottamiseksi tarvitaan monenlaisia toimia: ylläpidollista tehtäviä, menetelmien ja mallien kehittämistä, ohjelmistokehitystä, laiteinfrastruktuurin kehittämistä ja hallinnollista työtä. Tässä raportissa keskitytään erityisesti KDK:n PAS-palvelun ylläpidollisiin tehtäviin mukaillen IT-palveluiden tuotantotoiminnan laaturaportointia, joissa usein keskitytään tietyn ajanjakson tuotannolliseen toteumaan, poikkeustilanteisiin ja niistä toipumiseen.
KDK:n PAS-palvelun ylläpidon päätavoitteet ovat:
- varmistaa säilytyksessä olevien säilytyspakettien eheys ja saatavuus
- valvoa palvelun toimivuutta ja
- tukea organisaatioita PAS-palvelun hyödyntämisessä (mm. vastaanotossa havaittujen virheellisten tai puutteellisten siirtopakettien korjaamisessa).
KDK:n PAS-palvelua hyödyntävät organisaatiot
Kansallisen digitaalisen kirjaston pitkäaikaissäilytyspalvelussa aloitettiin kulttuuriperintöaineistojen säilyttäminen vuonna 2015. Säilytettävän aineiston määrä kasvaa tasaisesti uusien organisaatioiden liittyessä PAS-palvelun hyödyntäjiin. Vuoden 2016 loppuun mennessä sopimus KDK:n PAS-palvelun hyödyntämisestä on laadittu Kansallisarkiston, Kansalliskirjaston, Museoviraston ja Yhteiskuntatieteellisen tietoarkiston kanssa. Aineistojen säilyttämisen KDK:n PAS-palvelussa vuonna 2016 ehtivät aloittaa Kansallisarkisto ja Kansalliskirjasto.
Aineistokertymä vuonna 2016
Vuonna 2016 aikana KDK:n PAS-palvelu otti säilytysvastuun yli 800 000 aineistopaketista. Datamääränä aineistoa saatiin säilytykseen vuoden aikana noin 90 teratavua. Aineistojen kertymä vuoden 2016 aikana on esitetty alla olevassa kuvassa.
PAS-palvelun valvonta
PAS-palvelun valvonta on automatisoitu mahdollisimman pitkälle. Tämä valvonta tarjoaa ylläpidolle, mutta myös hyödyntäville organisaatioille, tila- ja tapahtumatietoa, jonka pohjalta asiantuntijat pystyvät päättelemään palvelun tilan ja ryhtyvät tarvittaviin toimenpiteisiin.
PAS-palvelussa valvotaan automattisesti tällä hetkellä seuraavia kohteita: Laiteviat (kuten rikkoontuneet kiintolevyt), rikkoontuneet nauha-asemat, palvelimien saatavuus, levyalueiden täyttöaste, hajautettujen tallennusalueiden näkyvyys eri palvelimilla, virustarkastuksen virustietokannan ajantasaisuus, tallennuskerroksen eheys, nauhakirjastojen saatavuus, SSL-sertifikaattien elinkaari, ja edustapalvelimien SFTP-portin epäonnistuneet kirjautumisyritykset.
Lisäksi seuraavia kohteita valvotaan manuaalisesti: Vastaanoton työjonon eteneminen, työjonoon jumiutuneiden siirtopakettien selvittely, säilytyspakettien eheyden tarkastus, hylättyjen siirtopakettien ongelmien analysointi ja pimeän arkiston kopioiden luonti.
Osana PAS-palvelun kehitystyötä parannetaan myös palvelun valvontaa ja uusia osuuksia automatisoidaan. Tämä mahdollistaa palvelun kustannustehokkaan ylläpitämisen myös tulevaisuudessa, vaikka säilytettävän aineiston määrää kasvaa.
Säilytyksessä olevaan aineistoon kohdistuneet laatupoikkeamat vuonna 2016
KDK:ssa mukana olevien organisaatioiden kanssa on yhdessä pohdittu mitä laatu aineistojen pitkäaikaisen säilyttämisen kannalta tarkoittaa. On päädytty yhteisymmärrykseen, että erityisen tärkeää on aineistojen eheys ja säilytyksen luotettavuus. Tällöin laatupoikkeamia ovat tilanteet, joissa aineistojen säilyminen on ollut uhattuna, eivätkä niinkään tilanteet, joissa esim. palvelun vastaanotto ei ole hetkellisesti saatavilla. Näistä lähtökohdista palvelun laadun raportointi on haasteellista, sillä totutut IT-ympäristöjen mittarit (esim. palvelun saavutettavuusprosentit) eivät osoita poikkeamia tai varsinaisia uhkia aineistojen säilyvyydessä. Uhkaavia tilanteita säilyvyyden varmistamiseksi ovat tilanteet, joissa säilytyspaketista on vähemmän kuin kolme varmasti eheää kopiota. Tyypillisesti tällaisista tilanteesta toivutaan toisella medialla olevan datakopion avulla ja KDK:n PAS-palvelun ylläpito kykenee osana normaalia toimintaansa palauttamaan säilytyksen tilanteen normaaliksi.
Vuoden 2016 aikana oli vain yksi tilanne, jossa kahdesta teratavusta aineistoa oli hetkellisesti vain kaksi kopiota. Tilanne johtui yksittäisen nauhamedian rikkoontumisesta ja tilanteesta toivuttiin normaalina toimintana.
Muut laiterikot ja vastaavat eivät ole uhanneet säilyttämistä. Esimerkiksi kiintolevyjä järjestelmässä rikkoontui vuoden 2016 aikana 11 kappaletta, mutta kiintolevytallennuksessa ei tapahtunut varsinaisia säilytyspakettien vioittumista. Nämä rikkoontuneet kiintolevyt pystyttiin vaihtamaan ennen kuin RAID-ryhmien redundanssi tuli uhatuksi.
Hyödyntäville organisaatioille tarjottava tuki
KDK:n PAS-palvelu auttaa hyödyntäviä organisaatioita aineistojen pitkäaikaissäilytykseen liittyvissä kysymyksissä. Erityisesti tätä tukea tarjotaan PAS-palvelun käyttöönottoprosessin aikana, mutta organisaatiot voivat esittää palvelupyyntöjä myös muissa tilanteissa. Tukipyyntöjä vastaanotetaan PAS-palvelun tukiosoitteella: PAS-support@csc.fi.
Vuonna 2016 PAS-palvelua hyödyntäviltä organisaatioilta tuli yhteensä 70 palvelupyyntöä. Nämä käsittelivät erityisesti aineistojen paketointiin ja PAS-palvelun vastaanoton toimintaan liittyviä kysymyksiä. Palvelupyyntöjen lisäksi hyödyntävien organisaatioiden kanssa käydään keskustelua esimerkiksi KDK:n PAS-yhteistyöryhmän kautta.