IDA FAQ

Tämä sivu on IDA FAQ:n vanhentunut versio. Päivitetyn version löydät osoitteesta https://avointiede.fi/ida-faq

Käyttöönotto

Tallennettava aineisto

Tekniset ongelmat

Käyttöönotto

Missä vaiheessa palvelu on?
IDA on jatkuva palvelu jota on tarjottu vuodesta 2012. IDAa kehitetään jatkuvasti. Tutkimusaineistojen pitkäaikaissaatavuuden takaavan PAS-ratkaisun valmistuessa IDAa voidaan muokata toimimaan yhdessä tuon järjestelmän kanssa.

Kuka voi hakea IDA-käyttöoikeutta? Mitä tarkoittaa projektin vastuuhenkilö?
IDA-käyttöoikeutta voivat hakea suomalaisten korkeakoulujen tutkijat sekä Suomen Akatemian rahoittamat tutkijat. IDA-hakemukset tehdään nykyään verkossa Tutkijan käyttöliittymässä. Tunnistautuminen tapahtuu CSC- tai Haka-tunnuksilla. Mikäli sinulla ei ole kumpiakaan tunnuksia, voit jättää paperisen hakemuksen. Hakuohjeita löytyy sivulta IDAn käyttäjäksi.

IDA-hakemuksen jättäjästä tulee sen perusteella myönnetyn projektin vastuuhenkilö. Vastuuhenkilölle on palvelun käyttöehdoissa määritelty vastuita; hän esimerkiksi voi liittää ja poistaa henkilöitä projektista.  Sen vuoksi hakemuksen yhteydessä kysytään erikseen voiko hakija toimia vastuuhenkilönä, eli hän on senioritasoinen tutkija tai vastaava. Mikäli sinulla on tästä kysymyksiä, ole yhteydessä IDA-koordinaattoriin (idakoordinaattori at csc.fi).

Kuinka projektiin liitetään tai projektista poistetaan käyttäjiä?
Projektin vastuuhenkilö voi lisätä ja poistaa käyttäjiä itse. Tämän voi tehdä Tutkijan käyttöliittymässä jossa projektiakin haettiin. Omat projektit-näkymässä oikeasta alareunasta löytyy valinta "Projektin tiedot" jossa voi lisätä käyttäjiä kohdassa "Kutsu jäseniä". Liitetylle jäsenelle lähtee sähköpostitse ohjeistus IDA-käyttäjäksi tulosta. Osana ohjeistusta menee kehoitus rekisteröityä CSC:n asiakkaaksi. Liitettävillä käyttäjillä ei siis tarvitse olla Haka-tunnuksia.

Saako yliopisto tai sen yksikkö käyttöoikeuden IDA-palvelussa oleviin aineistoihin tarvittaessa? 
Aineiston omistaja määrittää käyttöoikeudet eikä IDAn käyttö muuta aineistojen omistajuutta. Projektin alkuvaiheessa on hyvä sopia aineistoon kohdistuvista oikeuksista, jotka määrittävät sen, miten toimitaan esimerkiksi silloin kun joku poistuu projektista.

Voiko tutkija tai korkeakoulu ostaa IDA-palvelua?
IDA on OKM:n tarjoama tuki korkeakouluille, eikä myytävänä oleva palvelu. CSC tuottaa palvelun teknisesti mutta ei voi myöntää esim. tallennustilaa, vaan OKM päättää korkeakoulujen kiintiöiden suuruudet ja korkeakoulut päättävät itse tallennustilan myöntämisestä omille tutkijoilleen.

Voiko tutkimusprojektin ulkomainen yhteistyökumppani saada käyttöoikeuden IDAan?
Suomalaisessa tutkimusjärjestelmässä toimiva ulkomainen yhteistyökumppani voi saada käyttöoikeuden, mikäli projekti kuuluu suomalaisen korkeakoulun tai muun IDA-käyttöön oikeutetun hankkeen piiriin. IDA-projektin vastuuhenkilö päättää mitkä käyttäjät saavat oikeuden projektiin. Erikoisratkaisuja (mm. käyttäjäfederaatioiden osalta) ei tehdä.

Vaihdan organisaatiota, voinko edelleen käyttää IDAa? Projektimme vastuuhenkilö vaihtuu, miten kannattaa toimia?
Pääsy IDAan voi olla niin kauan kuin on Haka-tunnus ja/tai CSC-tunnus. CSC:n yleisistä käyttöehdoista voi lukea lisää. Projektin vastuuhenkilö voi kutsua projektin jäseniksi myös muiden organisaatioiden edustajia, joilla on pääsy IDAan yllä mainitusti.

Vastuuhenkilön vaihtuessa kannattaa edetä seuraavasti:
1. Toivottu uusi vastuuhenkilö tekee IDA-hakemuksen (käyttöohjeisiin)
2. Uusi vastuuhenkilö ja vanhan, olemassa olevan projektin vastuuhenkilö pyytävät yhdessä asiakaspalvelusta (asiakaspalvelu@csc.fi) että vanhan projektin datat siirretään uuteen ja vanha projekti suljetaan
3. Uusi vastuuhenkilö kutsuu jäseniksi projektiin haluamansa käyttäjät

Tallennettava aineisto

Minkälaiselle datalle IDA on tarkoitettu?
IDA ei ole tarkoitettu raskaan laskennan levypalveluun, koska IDAlle ei taata tällaiseen rinnakkaisaksessiin tarvittavaa nopeutta. IDAa ei myöskään esimerkiksi kannata laittaa suoraan kiinni instrumenttiin, joka puskee jatkuvasti dataa levylle. IDAan voi tallentaa raakadataa ja datakokoelmia, sekä jo julkaistua dataa. Oleellista on siis miten IDAa käyttää, ei se millaista dataa tallettaa. Sensitiivisille aineistoille tarvitaan erillinen ratkaisu, jota ATT-hankkeessa edistetään.

Miten kannattaa viedä useita tiedostoja IDA-palveluun selaimen kautta? Voiko tiedostoja zipata?
IDAan voi hyvin viedä useita tiedostoja zipattuna yhteen kansioon. Tällöin on hyvä huomioida että tiedostot pysyvät IDAssa zipattuna eli kansiota ei pureta.

Haluaisin siirtää IDAan isoja datasettejä tai useita tiedostoja. Miten saan siirrot nopeutettua?
Suosittelemme lämpimästi aineistojen pakkaamista ennen siirtoa IDAan. Hyödyllisiä skriptejä ja wrappereita: https://github.com/ida-csc ja https://github.com/ida-csc/iput_wrapper

Onko metadatassa pakko käyttää kaikki kentät? Miten metadatat voisi täyttää helpommin?
Palvelu huomauttaa puutteista suositellussa metadatassa. Tiedoston tallentumiseen ja säilyttämiseen tämä ei vaikuta. Mikäli et halua täyttää metatietoja uudestaan jokaisen tiedoston kohdalla, voit kopioida metatietoja tiedostosta toiseen. Metatiedot voi myös täyttää kansion tasolla, jolloin ne ovat saatavissa esimerkiksi kun siirretään metatietoja Etsin-palveluun.

Kenen saatavissa IDAan tallennettu data on? Miten aineistoja voidaan jakaa IDAn ulkopuolelle?
Metadata on kaikkien nähtävissä IDAn sisällä, mutta itse dataan on oletusarvoisesti vain projektiryhmällä pääsy. Projekti voi myös lisätä omia metadatakenttiä jotka näkyvät myös kaikille. Selainkäyttöliittymässä on mahdollista katsoa tiedoston URL-osoite sen ominaisuuksista (properties). Tämä linkki toimii vain niille käyttäjille joilla on pääsy tiedostoon Tutkijan käyttöliittymässä.

Mikäli haluat jakaa IDAan tallennetun tiedoston IDAn ulkopuolelle, voit tehdä tämän muokkaamalla tiedoston metatietoja. IDAssa tiedoston voi merkitä täysin avoimeksi, jolloin kuka tahansa sen URL-osoitteen tietävä voi ladata tiedoston itselleen. Etsin-palvelun avulla voit avata tiedostoja IDAsta myös perustuen muiden jättämiin hakemuksiin, jotka voit tapauskohtaisesti hyväksyä tai hylätä. Ohje aineistojen jakamiselle löytyy tiedoston jakaminen selaimessa -osiosta.

Miksi IDA ei sovellu arkaluontoisen henkilötiedon tallennukseen?
IDA ei sovellu arkaluonteisia henkilötietoja sisältävälle tutkimusaineistolle koska iRODS-protokollalla tehtävissä siirroissa (komentorivi/ikomennot ja Cyberduck/iRODS) data liikkuu verkossa salaamattomana. Muilla käyttöliittymillä liikenne verkossa on salattu.

Edellä mainitusta syystä IDA ei ole valtionhallinnon tietoturvallisuusasetuksen korotetulla tasolla, vaan perustasolla.

Tekniset ongelmat

Windows 7 verkkohakemisto ilmoitti että siirrettävän tiedoston koko on liian suuri
Windows 7:n verkkohakemistoille WebDAV-rajapinnassa on siirrettävien tiedostojen maksimikolle oletuksena 50 MB raja. Rajaa voi myös muuttaa: ohjeet (Verkkohakemiston asentaminen Windows 7)

Miksi verkkohakemisto ei aina käyttäydy kuin koneeni muut hakemistot/levyt?
Verkkohakemisto ei ole sama asia kuin levyhakemisto. Verkkohakemisto vain tarjoaa normaalin levyllä olevan hakemiston tapaisen käyttöliittymän tiedostojen tallentamiseen IDAan ja hakemiseen IDAsta.

Verkkohakemiston käytössä "normaali" tiedostojärjestelmärajapinta on vain käyttäjän käyttöliittymän (esim Windows Explorer, OS X Finder, Gnome Nautilus) ja käyttäjän koneessa toimivan WebDAV-toteutuksen (esim Windows WebDAV MiniRedirector, linux davfs2) välillä. Kyseiset WebDAV-toteutukset lisäksi cacheavat vaihtelevalla menestyksellä itse tiedonsiirtoa verkon yli.

Käyttäjän koneen ja IDAn välinen protokolla on siis WebDAV joka on http-protokollan laajennus.

Periaatekuva Idan verkkohakemistokäytöstä:

Kun vastaava periaatekuva levynjaosta verkossa (esim NFS, iSCSI jne) on:

Mitä ovat pienet oudonnimiset tiedostot jotka alkavat pisteellä?
Todennäköisimmin Mac OS X:n Finderin eli tiedostojen hallinnnan verkkohakemistokäytössä IDAan luomia aputiedostoja.

Finder tallentaa ".DS_Store"-nimisiin tiedostoihin hakemistoon liittyviä määrityksiä kuten esim. näytetäänkö tiedostot ikoneina vai listana. ".DS_Store"-tiedostojen luonti verkkohakemistoihin kannattaa estää ja se voi tehdä Pääte-ikkunassa komennolla:

defaults write com.apple.desktopservices DSDontWriteNetworkStores true

Mac OS X tallentaessaan tiedostoja muihin kuin Macin omaan "HFS Plus" tyyppiseen tiedostojärjestelmään tekee aputiedostoja joiden nimi alkaa "._". Esimerkiksi tiedoston, jonka nimi on "MyFile" lisäksi voi tulla toinen tiedosto jonka nimi on "._MyFile". Kyseiset aputiedostot sisältävät sen lisädatan jota vain Macin oma tiedostojärjestelmä tukee mutta kyseisen volumen tiedostojärjestelmä ei. Esimerkiksi resource fork, Finder flags, file type, creator type.

Miksi jotkut tiedostonsiirrot verkkolevylle ovat kooltaan 0 ?
Itse siirto on jostain syystä epäonnistunut ja siirron aluksi joko käyttäjän kone tai IDA on luonut kyseisen tiedostonimen verkkohakemistossa varaamaan nimen siirron ajaksi ja jättänyt virhetilanteen jälkeen poistamatta kyseisen 0-kokoisen tiedoston.

Windows ympäristössä 0-tiedostojen jäämistä voi minimoida poistamalla lukitukset Windowsin WebDAV-toteutuksesta muuttamalla Windowsin registryä, muutosten teko registryyn käyttäjän omalla vastuulla. Registryn tietojen muuttaminen vaatii Windowsissa admin-oikeudet.

Registryä voi muokata esimerkiksi Windowsin mukana tulevalla regedit-ohjelmalla. Ohjelman käynnistäminen joko

Start > kirjoita avautuvaan hakukenttään regedit > paina <enter>
Tai
Avaa hakemisto <käynnistyslevy>\Windows > tuplaklikkaa regedit-ohjelmaa

Lukituksia säätelevä parametri on:

HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\services\WebClient\Parameters\SupportLocking

ja sen oletusarvo on 1 eli käytetään lukituksia. Muuttamalla sen arvoksi 0 lukituksia ei käytetä.

Windows-verkkohakemiston koko on pienempi kuin pitäisi olla tai tiedosto ei mahdu Windows-verkkohakemistoon vaikka pitäisi
Windows näyttää virheellisesti verkkohakemiston kooksi koneesi käynnistyslevyn koon ja tarvitsee sillä riittävästi tilaa siirrolle. Siirto onnistuu kun teet tilaa paikalliselle käynnistyslevyllesi.

Linux/Gnome-ympäristössä tiedostojen kopiointi katkeaa kesken
Yhden ison tai useamman tiedoston kopionti Gnome/Nautilus/gvfs -ympäristössä katkeaa esim virheeseen:

Error in stream protocol: End of stream

Kyseinen WebDAV-toteutus käyttää koneen keskusmuistia cachena WebDAV siirrolle ja kerralla siirrettäessä kumuloituvasti eli kaikkien tiedostojen pitää mahtua koneen muistiin.

Ongelman voi kiertää kopioimalla pienemmissä erissä tai käyttämällä Nautilus/gvfs:n sijaan esim. irodsin komentorivikäyttöliittymän iput-komentoa.

Tiedoston siirrossa verkkohakemistoon siirron edistyminen näyttää vaihtelevan suuresti
Verkkohakemistoon siirron edistyimisestä kertova käyttöliittymän komponentti ei osaa reagoida oikein siihen että siirto tapahtuu kahdessa vaiheessa, WebDAV-toteutuksen käyttäjän koneen paikalliseen cacheen ja verkon yli. Rakennetta havainnollistavat kuvat ovat kysymyksen "Miksi verkkohakemisto ei käyttäydy kuin muut koneeni muut hakemistot/levyt?" kohdalla.

Esimerkiksi Windows 7 ja kahden suuren tiedoston kopionti samalla kertaa, mitä tyypillisesti tapahtuu: Siirto näyttää tapahtuvan noin puoliväliin nopeasti jonka jälkeen se lähes pysähtyy. Sitten seuraa taas nopeammalta näyttävä osuus ja lopuksi taas ilmoitetut viimeiset sekunnit voivat venyä minuutiksi. Alun nopean siirron aikana Windows vasta kopioi ensimmäistä tiedostoa paikallisesti WebDAV-cacheen eikä varsinainen siirto ole vielä alkanut ollenkaan. Kun siirto oikeasti lähtee verkon yli seuraa hitaampi osuus ja sitten sama toistuu toisen tiedoston kohdalla.

Metadatan lisäys epäonnistuu Windows imeta -komennolla vaikka metadata on UTF-8:aa
Virheilmoitus on:

ERROR: rcModAVUMetadata failed with error -806000 CAT_SQL_ERR

Kyseinen virheilmoitus voi tulla myös muista syistä.

Windows imeta ei pysty käsittelemään UTF-8:n perus-ASCII:sta eroavia merkkejä kuten skandimerkit (åäöÅÄÖ) oikein vaan käyttäjän koneesta lähtevä data ei ole enää UTF-8:aa.

Ongelman voi kiertää käyttämällä metadatan lisäämiseen selainkäyttöliittymää tai jotain muuta käyttöjärjestelmää imeta-komennon kanssa, tai käyttämällä java-ohjelmaa Jmeta joka on saatavilla integrointi-sivulla.

Tiedosto kopioituu Linux/davfs2 -verkkohakemistoon 0 kokoisena
Poista lukitukset. Davfs2:n konfiguraatiotiedostossa, esim /etc/davfs2/davfs2.conf, pitää olla rivi:

use_locks  0

 

Tiedosto ei mahdu Linux/davfs2 -verkkohakemistoon vaikka pitäisi
davfs2 tarvitsee tilaa koneesi paikallisessa mount-pointissa siirrettävän tiedoston verran, siirto onnistuu kun teet kyseiselle alueelle tilaa.

Linux/Gnome hakemiston kopiointi IDA:sta tekee vain yhden tiedoston
Jotkin Nautilus-ohjelmiston - joka oletusarvoisesti hoitaa verkkohakemistot - versiot saattavat toimia virheellisesti hakemiston siirtämisessä IDA:sta paikalliselle koneelle ja siirron lopputulos on hakemiston sijaan yksi tiedosto. Tällöin vaihtoehtona on siirtää tiedostot yksitellen tai kokeilla Nautiluksen eri versiota tai esimerkiksi gnome-commander -ohjelmaa tai komentorivikäyttöliittymää.