keresés

2016. április 24., vasárnap

Benchmarking Forum IPRES 2015

2015. november 2-6-ig Észak-Karolinában, Chapel Hill-ben tartották a Benchmarking Fórum Nemzetközi Konferenciáját (iPres), ahol összehozták a civil szervezeteket és a szakembereket, hogy megvitassák milyen lehetőségekkel és kihívásokkal kell szembenéznie a digitális megőrzést vállaló szoftvereknek. Közösen kidolgoztak egy tervezetet, amit 2016-ban valósíthatnak meg.

Együttműködés a digitális megőrzésben

A kutatási és a technológiai fejlesztésekben a digitális megőrzésre, a karbantartási eszközökre jelentős forrásokat szánnak. A digitális megőrzésbe tartozik például a fájlformátum azonosítója, a migráció, az emulációs eszközök, a minőségbiztosítási rendszerek, az automatikus annotáció vagy a digitális bizonyítékok vizsgálata. Egy szisztematikus értékelő rendszerre van szükség, hogy könnyen összehasonlíthatók lehessenek a különböző rendszerek.

Az információ visszakeresés és a szoftverfejlesztés már rendelkezik elfogadott összehasonlító módszerekkel. Ezek a benchmarkok olyanok, hogy képesek összehasonlítani a különböző eszközöket és technikákat. A digitális megőrzésben viszont nem volt referenciaérték és nem álltak rendelkezésre olyan annotál adatok, amelyekkel létre lehetett volna hozni egy összehasonlító tesztet.

A benchmarkok lényege, hogy olyan szisztematikus, ismétlődő feladatok szerepeljenek benne, amelyekkel az adott szoftverekről megállapítható, hogy egy adott feladat elvégzésére mennyire hatékonyak. Ez esetben viszont nemcsak a sebességet, hanem a sikerességet is figyelembe kell venni. E célból lett megszerezve 2015-ben az iPres konferencia, hogy a digitális megőrzésre létrehozzanak egy referenciaértéket és egy megfelelő benchmarkot. Ez lett a BenchmarkDP.

Célkitűzések és résztvevők

A műhelyben a következő kérdések merültek fel:
•    Milyen típusú eszközök lennének a leghatékonyabbak a teljesítmény kiértékeléséhez?
•    Mi lenne alkalmas releváns mintafeladatoknak?
•    Milyen lehetőségek vannak a kapott eredmények megosztására?
•    Milyen konkrét intézkedéseket tehetünk egy hatékony benchmark létrehozása érdekében?

A résztvevők a különböző területeket a saját szemszögükből így határozták meg:

A DP rendszert használók bevonása a tanácskozásba azért hasznos, mert ez biztosítja, hogy a tesztek olyan problémakörben legyenek összehasonlíthatók, mint amelyre a használatukat szánják. Továbbá lehetővé teszik a szakemberek számára, hogy befolyásolják a meghatározott referenciaértékeket.

A fejlesztők nemcsak elkészítik, hanem tovább is fejlesztik a szoftvereket. A benchmarkok pedig lehetővé teszik, hogy az elkészített programok egy szigorú minőségi vizsgálaton essenek át, így összehasonlíthatók lehetnek, és a fejlődésük is nyomon követhető.

A kutatók nagyon változatos érdeklődési köröket fedtek le, de az megállapítható, hogy őket inkább a kérdések foglalkoztatták, mint maguk a válaszok. Egyesek a benchmarkokban a technológiai innováció szigorú mércéjét látták, míg mások a társadalmi együttműködés és különböző módszertani kérdések felől közelítették meg a témát.

A közösségek (pl.: Digital Preservation Coalition és az Open Preservation Foundation (OPF)) egy közös ütemterv és egy szisztematikusan felépített összehasonlító rendszer megvalósítását hangsúlyozták.

A műhelyben rövid előadások sora követte egymást, majd lehetőséget biztosítottak a vitákra. A záró plenáris vitaülésen a résztvevők felvázolták az együttműködés lehetőségeit, majd megállapodtak számos konkrét intézkedésben.

A benchmarking elmélete és gyakorlata

Andreas Rauber az előadásában röviden áttekintett néhány különböző benchmarking kezdeményezést mint például: zenei információkeresés (MIREX), multimédia (LifeCLEF) és a szöveges visszakeresés (TREC). A digitális megőrzés szempontjából is fontos tapasztalatokat így foglalta össze:
•    Az adatok nyilvánosságra hozatala szerzői jogi akadályokba ütközhet, mint ahogyan a Music IR-nél történt. Továbbá problémát okozhat, ha egyes értékeléseket emberek végeznek, mint az Evalutron 6000-nél.
•    A benchmarknak elérhetőnek kell lennie az elterjedt platformokon, a központilag tárolt adatoknak pedig reprodukálhatóknak kell lennie.
•    Ha a közösség felkapja, akkor a benchmarkok eredményei gyorsan növekedni kezdenek. Ezeket a felhasználók értékelhetik és szavazhatnak rájuk.
•    A teljesítménymérés vitára adhat okot. Szükség van egy jól meghatározott kritériumrendszerre.
•    Pontosan meg kell határozni a határidőket és a közös feladatokat, majd a hatékony munkavégzés érdekében ezeket be is kell tartani, illetve végre kell hajtani.
Az előadást követő vitában összehasonlították az IR, SE ás a DP rendszereket.

Lehetőségek

Carl Wilson, az ODF technikai vezetője, azt hangsúlyozta az előadásában, hogy a szervezet legfontosabb célja, hogy különböző megoldások születhessenek a digitális megőrzés érdekében. Maga az ODF képes lenne olyan adatok tárolására, amit a közösség hoz létre. Továbbá az ODF már rendelkezik egy tesztelési platformmal, így megvan a hozzá szükséges infrastruktúrájuk és a szakértelmük is.

Carl Wilson, a veraPDF konzorcium tagja, a veraPDF programról beszélt, ami PDF/A fájlok validálására használható, aminek a specifikációját az ISO bizottsággal együttműködve dolgoztak ki.

Bengt Neiss, a svéd nemzeti könyvtár IT architect-je, a Preforma projektről számolt be, ami a szövegre, a videóra és a hangra van kihegyezve.

Benchmarkok

Artur Kulmukhametov a fényképek megőrzésére az ingyenesen elérhető Adobe Digital Negative (DNG) fájlformátumot mutatta be, ami képes több mint 350 fényképezőgép RAW formátumát kezelni.

Krešimir Ðuretec egy szöveges dokumentum adatait kinyerő benchmarkot mutatott be, hogy könnyen összehasonlíthatók lehessenek a különböző elektronikus dokumentumformátumok. Az előadásának a középpontjában az MS Word 2007-es formátuma állt (Megjegyzés: a docx fájlformátum valójában egy zip fájl, amiben XML dokumentumok is találhatóak).

Bengt Neiss a három Preforma benchmarkból egyet mutatott be, amelyiknél a formátum helyessége állt első helyen. Az eszköz a következő négy feladatra koncentrál:
•    Ellenőrzi, hogy a fájl megfelel-e a szabványok.
•    Ellenőrzi, hogy a fájlok megfelelnek-e az intézményi kritériumoknak.
•    Kiértékeli az eltéréseket az emberi és a gépi olvasási formátumok között.
•    Kijavítja az alapvető metaadat hibákat.

A tesztbe három forrásból kerültek be tesztadatok:
•    a referenciának megfelelő fájlok,
•    biztosan problémás fájlok,
•    olyan fájlok, amelyekről el kellett dönteni, hogy hibás-e, és ha az, akkor mi a hibája.

Ezután összeállítottak egy táblázatot, amelyben kiemelték, hogy melyek a hangsúlyos tényezők az összehasonlításban. A nap végére két forgatókönyv alapján kidolgoztak egy megoldástáblázatot. A cikkben 6.1 pontjában a PDF fájlformátumot részletezik a cikk írói.

A következő lépések
•    A konferencia eredményeként az Open Preservation Foundation megnyitotta a tesztplatformját, továbbá segíti automatizálni az összehasonlításokat és biztosítja az adatokhoz való hozzáférést.
•    A BenchmarkDP and Preforma szoros együttműködést kötött egy tárgyilagos összehasonlító rendszer létrehozása érdekében.
•    A Preforma Project csapata továbbra is együtt fog működni a BenchmarkDP-vel, hogy specifikáljak a benchmarkokat.
•    A BenchmarkDP koordinálja a szabványok megosztását.
•    A jövőbeli digitális megőrzés konferenciákon a digitális könyvtárak közösségei is szerepet kaphatnak.

Eredeti cím: Christoph Becker [et. al.] - The Benchmarking Forum at IPRES 2015 / D-Lib Magazine Volume 22, Number 1/2 (January/February 2016)/ (Forrás: http://www.dlib.org/dlib/january16/becker/01becker.html)

Nincsenek megjegyzések:

Megjegyzés küldése