PAS-palvelut

PAS-palveluiden vuosi 2022

Yleistä

PAS-palveluilla tarkoitetaan kulttuuriperintöaineistojen ja tutkimusaineistojen pitkäaikaissäilyttämiseen tuotettuja palveluita yhdessä. PAS-palvelut ovat jatkuvasti kehittyviä ja niiden kehittämistä jatketaan läheisessä yhteistyössä palveluita hyödyntävien organisaatioiden kanssa. Toiminnan tavoitteena on, että Kulttuuriperintö-PAS-palvelussa merkittävimmät digitoidut ja alkujaan digitaaliset kulttuuriperintöaineistot säilyvät myös tuleville sukupolville ja että niiden pitkäaikainen hyödyntäminen on mahdollista. Vastaavasti tutkimusaineistojen pitkäaikaissäilyttämiseen tuotettu Fairdata PAS-palvelu varmistaa digitaalisten, tutkimukseen liittyvien aineistojen saatavuuden ja pitkäaikaisen säilyvyyden. Molemmat palvelut käyttävät samaa PAS-ratkaisua, joka keskittyy PAS-palveluiden yhteisiin toiminnallisuuksiin, joita liittyy erityisesti aineistojen bittitason säilytykseen.

Kulttuuriperintö-PAS-palvelussa aloitettiin kulttuuriperintöaineistojen säilyttäminen 2015 ja Fairdata PAS-palvelussa loppuvuodesta 2019. Fairdata PAS-palvelua käyttävät organisaatiot voivat hyödyntää myös laajemmin Fairdata-palvelukokonaisuutta, mukaan lukien paketointipalvelu ja hallintaliittymä.

Vuoden keskeiset tulokset

Vuoden 2022 aikana säilytyksessä olevien aineistojen määrä ylitti kahden petatavun, vuosittaisen kasvun ollessa noin 419 teratavua, joka on hieman vähemmän kuin vuonna 2021. Uusia säilytyspaketteja kertyi säilytykseen yli 600 000 kappaletta

Vuoden 2022 aikana toteutettiin tutkimusaineiston pitkäaikaissäilyttämisen tietosuojan vaikutustenarvioinnin (DPIA) mallipohja, jota Fairdata PAS-palvelua hyödyntävät organisaatiot voivat hyödyntää arvioidessaan tietosuojan toteutumista säilyttäessään aineistojaan Fairdata PAS-palvelussa. Mallipohja on tehty tutkimustiedon pitkäaikaissäilyttämistä koskevan tietosuojan vaikutustenarvioinnin laatimisen yhteydessä. Mallipohjan tavoitteena on tukea rekisterinpitäjää tutkimustiedon pitkäaikaissäilyttämistä koskevan vaikutustenarvioinnin laatimisessa.

Vuoden 2022 aikana muodostettiin kansallisten digitaalisten pitkäaikaissäilytyspalveluiden kokonaisarkkitehtuuri. Kokonaisarkkitehtuuridokumentti julkaistaan alkuvuodesta 2023 ja se päivittää ja täsmentää Kansallisen digitaalisen kirjaston kokonaisarkkitehtuuria sekä Avoimen tieteen ja tutkimuksen viitearkkitehtuuria digitaalisen pitkäaikaissäilyttämisen osalta. Arkkitehtuuri tuotettiin OKM:n ohjauksen mukaisesti ja PAS-yhteistyöryhmää kuullen. PAS-palveluiden kokonaisarkkitehtuurin tavoitteena on kuvata PAS-palveluiden periaatteet, hyödyntäville organisaatioille tarjottavat palvelut, toimintaa ohjaavat tekijät sekä tukea PAS-palveluiden kehittämistä ja auttaa hyödyntävien organisaatioiden tarpeiden ja PAS-palveluiden tavoitteiden ja tuottamisen yhteensovittamisessa.

PAS-palveluiden hiilijalanjälki laskettiin vuoden 2022 aikana. Laskelmassa otettiin huomioon laiteinfran tuotannon päästöt, päivittäisessä käytössä syntyvä jalanjälki, sekä PAS-palveluiden ylläpidossa ja kehityksessä työskentelevien henkilöiden hiilijalanjälki. Laskelmat raportoitiin PAS-yhteistyöryhmälle ja niiden seuraamista jatketaan.

PAS-yhteistyöryhmälle ja muille sidosryhmille suunnattu asiakastyytyväisyyskysely toteutettiin loppuvuodesta 2022. Tyytyväisyys PAS-palveluihin oli edelleen varsin positiivista (ka. 5,0/6). Lisäksi organisaatiot olivat erityisen tyytyväisiä saamaansa asiakaspalveluun ja neuvontaan kokonaisuutena (ka. 5,3/6).

Vuonna 2022 PAS-ratkaisussa toteutettiin tallennuskapasiteetin laajentaminen 1,8 petatavulla, joka nosti tallennuskapasiteetin 5,4 petatavuun.

PAS-palveluita hyödyntävät organisaatiot

Vuoden 2022 loppuun mennessä opetus- ja kulttuuriministeriö (OKM) on myöntänyt seuraaville organisaatioille kapasiteettia PAS-palveluista:

Aineistokertymä vuonna 2022

Uusia aineistoja säilytykseen vastaanotettiin vuoden aikana noin 419 teratavua ja yhteensä säilytyksessä vuoden 2022 lopussa aineistoja oli yli 2 085 teratavua. Aineistojen kertymä vuoden 2022 aikana on esitetty alla olevassa kuvassa.

Vuonna 2022 aikana PAS-palvelut ottivat säilytysvastuun yli 600 000 aineistopaketista ja vuoden 2022 lopussa aineistopaketteja oli säilytyksessä yli 2,6 miljoonaa. Aineistopakettien kertymä vuoden 2022 aikana on esitetty alla olevassa kuvassa.

PAS-palvelun ylläpito

PAS-palveluiden tuottamiseksi tarvitaan monenlaisia toimia: ylläpidollista tehtäviä, menetelmien ja mallien kehittämistä, ohjelmistokehitystä, laiteinfrastruktuurin kehittämistä ja hallinnollista työtä. Tässä raportissa keskitytään erityisesti PAS-palveluiden ylläpidollisiin tehtäviin mukaillen IT-palveluiden tuotantotoiminnan laaturaportointia, joissa usein keskitytään tietyn ajanjakson tuotannolliseen toteumaan, poikkeustilanteisiin ja niistä toipumiseen.

PAS-palveluiden ylläpidon päätavoitteet ovat:

• varmistaa säilytyksessä olevien säilytyspakettien eheys ja saatavuus,
• valvoa palvelun toimivuutta ja
• tukea organisaatioita PAS-palvelun hyödyntämisessä (muun muassa vastaanotossa havaittujen virheellisten tai puutteellisten siirtopakettien korjaamisessa).

PAS-palveluiden valvonta

PAS-palveluiden valvonta on automatisoitu mahdollisimman pitkälle. Valvonta tarjoaa ylläpidolle, kuten myös hyödyntäville organisaatioille, tila- ja tapahtumatietoa, jonka pohjalta asiantuntijat pystyvät päättelemään palvelun tilan ja ryhtyvät tarvittaessa toimenpiteisiin.

PAS-palveluissa valvotaan automaattisesti tällä hetkellä seuraavia kohteita:

• laiteviat (kuten rikkoontuneet kiintolevyt),
• rikkoontuneet nauha-asemat,
• palvelimien saatavuus,
• levyalueiden täyttöaste,
• hajautettujen tallennusalueiden näkyvyys eri palvelimilla,
• virustarkastuksen virustietokannan ajantasaisuus,
• tallennuskerroksen eheys,
• nauhakirjastojen saatavuus,
• SSL-sertifikaattien elinkaari, ja
• edustapalvelimien SFTP-portin epäonnistuneet kirjautumisyritykset.

Lisäksi seuraavia kohteita valvotaan manuaalisesti:

• vastaanoton työjonon eteneminen,
• työjonoon jumiutuneiden siirtopakettien selvittely,
• säilytyspakettien eheyden tarkastus,
• hylättyjen siirtopakettien ongelmien analysointi,
• rikkoutuneiden medioiden replikointi ja
• pimeän arkiston kopioiden luonti.

Osana PAS-palveluiden kehitystyötä parannetaan myös palvelun valvontaa ja uusia osuuksia automatisoidaan. Tämä mahdollistaa palvelun kustannustehokkaan ylläpitämisen myös tulevaisuudessa, vaikka säilytettävän aineiston määrää kasvaa.

Säilytyksessä olevaan aineistoon kohdistuneet laatupoikkeamat vuonna 2022

PAS-palveluiden hyödyntäjien kanssa on yhdessä pohdittu, mitä laatu tarkoittaa aineistojen pitkäaikaisessa säilyttämisessä. On päädytty yhteisymmärrykseen, että erityisen tärkeää on aineistojen eheys ja säilytyksen luotettavuus. Tällöin laatupoikkeamina voidaan pitää tilanteita, joissa aineistojen säilyminen on ollut uhattuna, mutta ei niinkään tilanteita, joissa esimerkiksi palvelun vastaanotto ei ole hetkellisesti saatavilla.

Näistä lähtökohdista palvelun laadun raportointi on haasteellista, sillä totutut IT-ympäristöjen mittarit (esimerkiksi palvelun saavutettavuusprosentit) eivät osoita poikkeamia tai varsinaisia uhkia aineistojen säilyvyydessä. Uhkaavia tilanteita säilyvyyden varmistamiseksi ovat tilanteet, joissa säilytyspaketista on vähemmän kuin kolme varmasti eheää kopiota. Tyypillisesti tällaisista tilanteesta toivutaan toisella mediatyypillä olevan kopion avulla ja PAS-palveluiden ylläpito kykenee osana normaalia toimintaansa palauttamaan säilytyksen tilanteen normaaliksi.

Vuoden 2022 aikana kaksi elinkaarensa päähän todetun LTO-9 nauhamedian säilytyspaketit kopioitiin uusille LTO-9 medioille. Yhteensä näissä kopioinneissa kopioitiin 88350 säilytyspakettia.

Vuonna 2022 yksi levytallennuksen sadasta RAID6-levystä raportoi itsensä vikaantuneeksi. Vikaantuneen RAID6-levyn koko oli 32 teratavua. Levyn säilytyspaketit kopioitiin eheille RAID6-levyille ja niiden eheys tarkistettiin, jonka tuloksena kaikki vikaantuneen RAID6-levyn säilytyspaketit havaittiin eheiksi. Vikaantunut RAID6-levy alustettiin uudelleen ja otettiin käyttöön.

Vuonna 2022 yksi levytallennuksen säilytyspaketti tuhoutui ylläpidon inhimillisen erehdyksen vuoksi. Se pelastettiin eheänä nauhatallennuksesta takaisin levytallennukseen.

Säännöllinen eheydentarkastus löysi levytallennuksesta yhden vikaantuneen säilytyspaketin. Vikaantunut säilytyspaketti paljastui vastaanottovaiheessa kertaalleen epäonnistuneesti tallennetuksi säilytyspaketiksi, jonka vastaanottotyövuo oli myöhemmin automaattisesti tallentanut eheänä säilytyspakettina levytallennukseen.

Vuonna 2022 PAS-ratkaisun levytallennuksesta rikkoutui yhdeksän kiintolevyä. Yksikään levyrikko ei vaarantanut säilytyksessä olevaa aineistoa, vaan levyjärjestelmissä olevat RAID-levyt suojasivat säilytyksessä olevan datan korruptiolta.

Ohjelmistokehityksen uudet ominaisuudet

Kulttuuriperintö-PAS-palvelussa ja PAS-ratkaisussa tehtiin useita toimia ohjelmistokehityksen saralla vuonna 2022. Uusia nauhureita otettiin käyttöön, ja nauhatallennuksen laajentamiseksi tuotettiin tuki useille nauhakirjastoille. ARC/WARC-massamigraatiotyöhön toteutettiin työvuokoneisto sekä metatietojen käsittelyvaihe. Lisäksi toteutettiin määrittelymuutoksien vaatimia ohjelmistokehitysmuutoksia sekä korjattiin hakurajapintaan näkyvää metatietojen indeksointia.

Palvelussa laajennettiin validointikapasiteettia entisestään. Tiedostomuotojen osalta tuotettiin tuki EPUB-, DNG- ja AIFF-muodoille. Metatietojen hallintaan tehtiin muutoksia AudioMD- ja MIX-metatietoihin liittyen sekä muiden kuin säilytys- tai siirtokelpoisten tiedostomuotojen metatietokäsittelyyn liittyen.

Koko sovelluskerros siirrettiin Python 3 -ympäristöön, ja julkaistuihin työkaluihin lisättiin ohjeistus Python 3 -asennukselle. Lisäksi uuteen käyttöjärjestelmäsiirtymään liittyvä AlmaLinux-työ käynnistettiin.

Fairdata PAS-palvelussa myös tehtiin useita toimia vuonna 2022. Palvelun käyttämä paketointityökalu, joka on myös kaikille hyödyntäville organisaatioille saatavilla, on tullut lähes tiensä päähän. Paketoinnin vaatimukset aineistoille ovat nykyään sellaisia, että työkalu ei enää vastaa niihin riittävän hyvin. Tämän vuoksi palvelussa aloitettiin kehittämään kokonaan uutta työkalua, josta korkean tason suunnitelma sekä METS-metatiedon rakentajaosio saatiin valmiiksi. Työkalu julkaistaan valmistuessaan myös hyödyntävien organisaatioiden saataville.

Hallintaliittymään tehtiin mahdolliseksi lähettää aineistoa välivarastoon paketoitavaksi graafisen ympäristön kautta. Paketointivaiheiden näkyvyyttä selkeytettiin, sekä tehtiin määrittelymuutoksien vaatimia ohjelmistokehitysmuutoksia. Paketoinnissa automaattisesti muodostuva tapahtumahistoria sekä Metax-metatietovarantoon kirjatut aineistoa koskevat tapahtumat lisättiin PAS-paketointiin mukaan.

Hyödyntäville organisaatioille tarjottava tuki

PAS-palvelut auttavat hyödyntäviä organisaatioita aineistojen pitkäaikaissäilytykseen liittyvissä kysymyksissä. Erityisesti tätä tukea tarjotaan PAS-palvelun käyttöönottoprosessin aikana, mutta organisaatiot voivat esittää palvelupyyntöjä myös muissa tilanteissa. Tukipyyntöjä vastaanotetaan PAS-palveluiden tukiosoitteella: pas-support@csc.fi.

Vuonna 2022 PAS-palveluita hyödyntäviltä organisaatioilta tuli yhteensä 140 palvelupyyntöä. Nämä käsittelivät erityisesti aineistojen paketointiin ja PAS-palveluiden vastaanoton toimintaan liittyviä kysymyksiä. Toinen merkittävä tekijä oli käyttöönottojen tuen antaminen. Palvelupyyntöjen lisäksi hyödyntävien organisaatioiden kanssa käydään keskustelua esimerkiksi neljä kertaa vuodessa kokoontuvan PAS-yhteistyöryhmän kautta. Ryhmän työskentelyssä vakiintuneiden rutiininen lisäksi, kuten PAS-palveluiden ohjelmistokehityksen säännöllinen seuranta, jatkettiin loogisen säilyttämisen vaatimusmäärittelytyötä, jolla päivitetään ja täsmennetään aikaisemmin laadittuja suunnitelmia ja kuvauksia PAS-palveluiden toiminnasta. Vuonna 2020 käynnistettyjä virtuaalisia kuukausittaisia #PASKaffeja jatkettiin myös vuonna 2022. Lisäksi vuoden 2022 aikana jatkettiin #PASKlinikka toimintaa. #PASKlinikat ovat PAS-palveluita hyödyntäville, tai siitä kiinnostuneille, organisaatioille suunnattuja matalan kynnyksen keskustelutilaisuuksia, joissa organisaatio saa vain itselleen varatun keskusteluajan PAS-palvelun asiantuntijoiden kesken.

PAS-palveluiden tapahtumista ja ajankohtaisista asioista tiedotettiin digitalpreservation.fi sivustolla, Twitter-tilillä (@dpres_fi) ja tiedottamiseen tarkoitetulla sähköpostilistalla.