Laaturaportti 2023
PAS-palveluiden vuosi 2023
Yleistä
PAS-palveluilla tarkoitetaan kulttuuriperintöaineistojen ja tutkimusaineistojen pitkäaikaissäilyttämiseen tuotettuja palveluita yhdessä. PAS-palveluiden kehitys on jatkuvaa ja tapahtuu läheisessä yhteistyössä hyödyntävien organisaatioiden kanssa. Tavoitteena on, että Kulttuuriperintö-PAS-palvelussa merkittävimmät digitoidut ja alkujaan digitaaliset kulttuuriperintöaineistot säilyvät myös tuleville sukupolville ja että niiden pitkäaikainen hyödyntäminen on mahdollista. Vastaavasti tutkimusaineistojen pitkäaikaissäilyttämiseen tuotettu Fairdata PAS-palvelu varmistaa digitaalisten tutkimusaineistojen saatavuuden ja pitkäaikaisen säilyvyyden. Molemmat palvelut käyttävät yhteistä PAS-ratkaisua aineistojen bittitason säilyttämiseen.
Kulttuuriperintö-PAS-palvelussa aloitettiin kulttuuriperintöaineistojen säilyttäminen vuonna 2015 ja Fairdata PAS-palvelussa loppuvuodesta 2019. Fairdata PAS-palvelua käyttävät organisaatiot voivat aineistojen valmisteluun ja säilytykseen siirtoon hyödyntää myös laajemmin Fairdata-palvelukokonaisuutta, mukaan lukien paketointipalvelua ja hallintaliittymää.
Vuoden keskeiset tulokset
Vuoden 2023 aikana säilytyksessä olevien aineistojen vuosittainen kasvu oli 678 teratavua, mikä on uusi ennätys PAS-palveluiden historiassa. Uusia säilytyspaketteja kertyi säilytykseen yli 970 000 kappaletta, mikä sekin on ennätys vuosittaisessa kasvussa. Säilytyksessä olevan aineiston määrä ylitti 2,7 petatavua vuoden 2023 loppuun mennessä.
PAS-palveluiden tallennuskapasiteetti nostettiin 7,5 petatavuun, mikä takaa hyödyntäville organisaatioille riittävän tilan uusien aineistojen säilyttämiseksi. PAS-palveluiden laitteiston elinkaarta jatkettiin 2030-luvun alkuun asti.
Aineiston pitkäaikaissäilytykseen saattamisen nopeuttamiseksi ja helpottamiseksi julkaistiin digitaalisten objektien validointipalvelu. Validointipalvelun avulla kuka tahansa voi helposti tarkistaa aineistonsa säilytyskelpoisuuden PAS-palveluissa jo ennen aineiston paketointia ja lähettämistä PAS-palvelun vastaanottoon.
Fairdata PAS-palvelun käyttäjienhallinnalle toteutettiin auktorisointiuudistus. Uudistuksella helpotettiin palvelun käyttäjien, hyödyntävien organisaatioiden ja aineistojen säilytyspäätösten oikeuksien hallintaa. Tämä uudistus mahdollisti samalla aineistojen automatisoidun noudon Fairdata PAS-palvelun hallintaliittymän kautta.
Vuoden 2023 aikana jatkettiin PAS-palveluiden hiilijalanjäljen laskentaa edellisen vuoden laskelmien pohjalta. Säilytyskapasiteettia nostettiin ja laitteistojen elinkaarta jatkettiin kahdella vuodella. Uudeksi konesaliksi valittiin yksi Suomen ekologisimmista konesaleista CSC:ltä Kajaanin Renforsin rannassa. Näillä toimilla palveluiden hiilijalanjälki saatiin pidettyä lähes vuonna 2022 raportoidulla tasolla. Uuden konesalin käyttöönottamiseksi ensimmäinen petatavu säilytyksessä olevista aineistoista migroitiin uuteen infrastruktuuriin vuoden 2023 lopulla. Tästä eteenpäin pitkäaikaissäilytyksen palvelut tulevat olemaan vieläkin kestävämmällä pohjalla tulevaisuutta ajatellen.
PAS-palveluiden organisoitumista uudistettiin perustamalla PAS- ja Fairdata-palveluille yhteinen palvelupäällikön tehtävä palveluiden parantamiseksi ja Fairdata-kokonaisuuden tiivistämiseksi.
Vuoden aikana järjestettiin kaksi isoa tapahtumaa – hyödyntäville organisaatioille suunnattu PAS-seminaari sekä Open Preservation Foundationin (OPF) jäsenten vuosikokous. Kaksipäiväisessä PAS-seminaarissa käsiteltiin pitkäaikaissäilytykseen liittyviä kokemuksia ja näkökulmia kansainvälisten asiantuntijoiden voimin sekä järjestettiin aineistonhallinnan ja PAS-palveluiden käytön koulutusta. OPF:n vuosikokoukseen osallistuivat järjestön kansainvälisen jäsenistön edustajia, joihin myös CSC kuuluu. Tapahtumiin osallistui yhteensä 150 henkilöä.
PAS-yhteistyöryhmälle suunnattu asiakastyytyväisyyskysely toteutettiin loppuvuodesta 2023. Tyytyväisyys PAS-palveluihin oli varsin positiivista (5,2/6).
PAS-palveluita hyödyntävät organisaatiot
| Organisaatio | Käyttötarkoitus | Kapasiteetti (TT) |
|---|---|---|
| Celia | Master-arkisto ja pitkäaikaisesti säilytettävät valitut uudet äänikirjat | 110 |
| Kansallinen audiovisuaalinen instituutti | Valikoitu osa kotimaisen elokuvan digitoitavista aineistoista | 2400 |
| Kansallisarkisto | Kansallisarkiston vastaanottamat alkujaan digitaaliset valtionhallinnon asiakirjalliset aineistot | 41 |
| Kansallisarkisto | VAPA-järjestelmään siirretyt tietoaineistot | 1 |
| Kansallisarkisto | Kansallisarkiston massadigitointi-hankkeen aineistot | 114 |
| Kansallisarkisto | Kansallisarkiston digitaaliarkistosta siirrettävät aineistot ja takautuvan digitoinnin aineistot | 805 |
| Kansallisarkisto | Kansallisarkiston yksinomaan digitaalisessa muodossa olevat yksityisarkistoaineistot | 27 |
| Kansallisgalleria | Kiasman mediataiteen teosten pitkäaikaissäilytys | 20 |
| Kansalliskirjasto | Kansalliskirjaston digitoimat kulttuuriperintöaineistot | 1083 |
| Kansalliskirjasto | Kulttuuriaineistolain nojalla kerätyt aineistot | 355 |
| Kotimaisten kielten keskus Kotus | Kotuksen kielentutkimus- ja kulttuuriperintöaineistojen pitkäaikaissäilytys | 60 |
| Museovirasto | Kulttuuriympäristön tutkimusraportit | 1 |
| Musiikkiarkisto | Musiikkiarkiston pitkäaikaissäilytettävät aineistot | 70 |
| Postimuseo | Postimuseon filateelisen kokoelman pitkäaikaissäilytys | 2 |
| Svenska Litteratursällskapet SLS | SLS:n pitkäaikaissäilytettävät aineistot | 50 |
| Yhteiskuntatieteellinen tietoarkisto, FSD | Tietoarkiston arkistoimien tutkimusaineistojen kokoelman pitkäaikaissäilytys | 1 |
| Organisaatio | Käyttötarkoitus | Kapasiteetti (TT) |
|---|---|---|
| Geologian Tutkimuskeskus | GTK:n tomografialaitteen tuottamat tietoaineistot | 12 |
| Helsingin yliopisto | Helsingin yliopiston SMEAR-aineistojen valikoima meteorologisia - ja ilmanlaatumittauksia | 2 |
| Helsingin yliopisto | M. cinxia and C. melitaearum in the Åland metapopulation system | 2 |
| Helsingin yliopisto | FIRE (The Finnish Reflection Experiment) | 1 |
| Helsingin yliopisto | Luomuksen aineistot | 150 |
| Itä-Suomen yliopisto | SENSOTRA | 1 |
| Jyväskylän yliopiston kiihdytinlaboratorio | 250-Nobeliumin hajoamisspektroskopia | 1 |
| Oulun yliopisto, Sodankylän geofysikaalinen observatorio | Havaintoaineistot | 30 |
| Tampereen yliopisto | Yhteiskuntatieteiden tiedekunnan Kansanperinteen arkiston A-K-kokoelma | 2 |
| Turun yliopisto | Historian, kulttuurin ja taiteiden tutkimuksen arkiston aineistot (HKT-arkisto) | 20 |
| Åbo Akademi | Samlingar vid Åbo Akademis bibliotek | 10 |
Aineistokertymä vuonna 2023
Uusia aineistoja säilytykseen vastaanotettiin vuoden aikana noin 678 teratavua, ja yhteensä säilytyksessä vuoden 2023 lopussa aineistoja oli yli 2,7 petatavua. Aineistojen kertymä vuoden 2023 aikana on esitetty alla olevassa kuvassa.
Vuoden 2023 aikana PAS-palvelut ottivat säilytysvastuun yli 970 000 aineistopaketista, ja vuoden 2023 lopussa aineistopaketteja oli säilytyksessä yli 3 621 000. Aineistopakettien kertymä vuoden 2023 aikana on esitetty alla olevassa kuvassa.
PAS-palveluiden ylläpito
PAS-palveluiden tuottamiseksi tarvitaan monenlaisia toimia: ylläpidollista tehtäviä, menetelmien ja mallien kehittämistä, ohjelmistokehitystä, laiteinfrastruktuurin kehittämistä ja hallinnollista työtä. Seuraavassa keskitytään erityisesti PAS-palveluiden ylläpidollisiin tehtäviin mukaillen IT-palveluiden tuotantotoiminnan laaturaportointia, joissa usein keskitytään tietyn ajanjakson tuotannolliseen toteumaan, poikkeustilanteisiin ja niistä toipumiseen.
PAS-palveluiden ylläpidon päätavoitteet ovat:
- varmistaa säilytyksessä olevien säilytyspakettien eheys ja saatavuus
- valvoa palvelun toimivuutta ja
- tukea organisaatioita PAS-palveluiden hyödyntämisessä (mm. vastaanotossa havaittujen virheellisten tai puutteellisten siirtopakettien korjaamisessa).
PAS-palveluiden valvonta
PAS-palveluiden valvonta on automatisoitu mahdollisimman pitkälle. Tämä valvonta tarjoaa ylläpidolle, mutta myös hyödyntäville organisaatioille, tila- ja tapahtumatietoa, jonka pohjalta asiantuntijat pystyvät päättelemään palvelun tilan ja ryhtyvät tarvittaviin toimenpiteisiin.
PAS-palveluissa valvotaan automaattisesti tällä hetkellä seuraavia kohteita: laiteviat (kuten rikkoontuneet kiintolevyt), rikkoontuneet nauha-asemat, palvelimien saatavuus, levyalueiden täyttöaste, hajautettujen tallennusalueiden näkyvyys eri palvelimilla, virustarkastuksen virustietokannan ajantasaisuus, tallennuskerroksen eheys, nauhakirjastojen saatavuus, SSL-sertifikaattien elinkaari, ja edustapalvelimien SFTP-portin epäonnistuneet kirjautumisyritykset.
Lisäksi seuraavia kohteita valvotaan manuaalisesti: vastaanoton työjonon eteneminen, työjonoon jumiutuneiden siirtopakettien selvittely, säilytyspakettien eheyden tarkastus, hylättyjen siirtopakettien ongelmien analysointi, rikkoutuneiden medioiden replikointi ja pimeän arkiston kopioiden luonti.
Osana PAS-palveluiden kehitystyötä parannetaan myös palvelun valvontaa ja uusia osuuksia automatisoidaan. Tämä mahdollistaa palvelun kustannustehokkaan ylläpitämisen myös tulevaisuudessa, vaikka säilytettävän aineiston määrää kasvaa.
Säilytyksessä olevaan aineistoon kohdistuneet laatupoikkeamat vuonna 2023
PAS-palveluiden hyödyntäjien kanssa on yhdessä pohdittu, mitä laatu aineistojen pitkäaikaisen säilyttämisen kannalta tarkoittaa. On päädytty yhteisymmärrykseen, että erityisen tärkeää on aineistojen eheys ja säilytyksen luotettavuus. Tällöin laatupoikkeamia ovat tilanteet, joissa aineistojen säilyminen on ollut uhattuna, eivätkä niinkään tilanteet, joissa esim. palvelun vastaanotto ei ole hetkellisesti saatavilla. Näistä lähtökohdista palvelun laadun raportointi on haasteellista, sillä totutut IT-ympäristöjen mittarit (esim. palvelun saavutettavuusprosentit) eivät osoita poikkeamia tai varsinaisia uhkia aineistojen säilyvyydessä. Uhkaavia tilanteita säilyvyyden varmistamiseksi ovat tilanteet, joissa säilytyspaketista on vähemmän kuin kolme varmasti eheää kopiota. Tyypillisesti tällaisista tilanteesta toivutaan toisella mediatyypillä olevan kopion avulla, ja PAS-palveluiden ylläpito kykenee osana normaalia toimintaansa palauttamaan säilytyksen tilanteen normaaliksi.
Vuoden 2023 aikana PAS-ratkaisun laitteistoinfrassa koettiin seitsemän levyrikkoa, kolme virtalähteen hajoamista sekä kaksi nauha-aseman jumiutumista. Näiden lisäksi yksi nauha jumiutui asemaansa. Merkittävin laitteistoinfraan kohdistunut poikkeama oli yhden RAID-ohjaimen kaatuminen. Mikään näistä ongelmista ei ole johtanut AIP-säilytyskopioiden korruptoitumiseen eikä poikkeamia säilytyksessä olevan datan osalta olla havaittu.
Syksyllä 2023 IBM ilmoitti mahdollisista LTO9-nauhojen valmistusvirheestä ja on pyytänyt tarkistamaan, mikäli toimitetut nauhat kuuluvat virheellisiin eriin. Yksikään tarkistettu nauha ei ole kuulunut takaisinvedon piirissä oleviin nauhaeriin.
Ohjelmistokehityksen uudet ominaisuudet
PAS-palveluiden koodipohjaa uudistettiin laajasti ottaen huomioon vuonna 2024 tapahtuvaa käyttöjärjestelmämigraatiota CentOS 7 -käyttöjärjestelmän tullessa tiensä päähän. Samalla valmisteltiin uutta helppokäyttöisempää mallia tarjota PAS-palveluiden tuottamia työkaluja hyödyntävillä organisaatioille.
Fairdata PAS-palvelun hallintaliittymää uudistettiin vuoden 2023 aikana, minkä tuloksena hallintaliittymän ulkoasu seuraa tarkemmin Fairdata-palvelujen yhteistä linjaa. Uutta hyödyntäville organisaatioille tarjottavaa paketointityökalua kehitettiin, tavoitteena julkaista se vuoden 2024 alussa.
Kulttuuriperintö-PAS-palvelussa ARC/WARC-aineistojen massamigraation valmistelu eteni suunnitellusti.
Tiedostomuotojen osalta lisättiin tuki usean kuvan kuvatiedostoille, ja esimerkiksi MPEG-PS version tunnistamiseen ja tehtiin parannuksia validointituloksien käsittelyyn. Palveluiden vastaanottoon tarkennettiin myös käsittely ei-tuetuille tiedostomuodoille, kun mukana on säilytyskelpoinen versio. Koodipohjasta poistettiin Python 2 koodia, Python 3 -migraation valmistuttua.
Hyödyntäville organisaatioille tarjottava tuki
PAS-palvelut auttavat hyödyntäviä organisaatioita aineistojen pitkäaikaissäilytykseen liittyvissä kysymyksissä. Erityisesti tätä tukea tarjotaan PAS-palvelun käyttöönottoprosessin aikana, mutta organisaatiot voivat esittää palvelupyyntöjä myös muissa tilanteissa. Tukipyyntöjä vastaanotetaan PAS-palveluiden tukiosoitteella: pas-support@csc.fi.
Vuonna 2023 PAS-palveluita hyödyntäviltä organisaatioilta tuli yhteensä 110 palvelupyyntöä. Palvelupyyntöjen lisäksi hyödyntävien organisaatioiden kanssa käydään keskustelua esimerkiksi PAS-yhteistyöryhmän kautta, joka kokoontuu vuosittain 3-4 kertaa.
PAS-palveluiden tapahtumista ja ajankohtaisista asioista tiedotettiin digitalpreservation.fi -sivustolla, X-kanavalla (@dpres_fi) ja tiedottamiseen tarkoitetulla sähköpostilistalla.