DataAvenue

Mi a Data Avenue?

A Data Avenue egy olyan tároló menedzsment szolgáltatás, amely lehetővé teszi a különböző típusú tárolási források (beleértve S3, sftp, GridFTP, iRODS, SRM szerverek) elérését egy egységes felület segítségével. A rendelkezésre álló REST API lehetővé teszi az összes tipikus tárolási műveletet, mint például mappák/bucketek készítése, fájlok/mappák átnevezése vagy törlése, fájlok feltöltése/letöltése, fájlok/mappák másolása vagy áthelyezése a különböző tárolási erőforrások között, akár egyszerűen a "curl" parancs használatával a parancssorból. A DataAvenue automatikusan lefordítja a felhasználók REST parancsát a megfelelő tárolási protokollokra, és kezeli a hosszú távú adatátvitelt a háttérben. Ebben a bemutatóban létrehozunk egy klasztert, amely két csomóponttípust tartalmaz. A DataAvenue csomóponton a DataAvenue alkalmazás fog futni, és egy előre meghatározott számú tárolási csomóponton (storage node) pedig egy S3 tároló fog futni, hogy képesek legyünk kipróbálni a DataAvenue fájlátviteli szoftvert, mint például bucketek létrehozását, a fájlok letöltését vagy másolását. Ceph és Docker komponenseket használtunk fel a klaszter felépítésére.



Publikációk:

  • Akos Hajnal, Eniko Nagy, Peter Kacsuk and Istvan Marton: Data Migration for Large Scientific Datasets in Clouds, Azerbaijan Journal of High Performance Computing, Vol 1, Issue 1, 2018, pp. 66-86 https://doi.org/10.32010/26166127.2018.1.1.66.86
  • Hajnal Á, Márton I, Farkas Z, Kacsuk P: Remote storage management in science gateways via data bridging, CONCURRENCY AND COMPUTATION: PRACTICE AND EXPERIENCE 27:(16) pp. 4398-4411. (2015)
  • Hajnal, A., Farkas, Z., and Kacsuk, P.  Data Avenue: Remote Storage Resource Management in WS-PGRADE/gUSE, 6th IEEE International Workshop on Science Gateways (IWSG), pp. 1–5, 2014
  • Hajnal Á, Farkas Z, Kacsuk P, Pintér T: Remote Storage Resource Management in WS-PGRADE/gUSE. In: Kacsuk P (szerk.)Science Gateways for Distributed Computing Infrastructures: Development Framework and Exploitation by Scientific User Communities. 301 p. Cham (Németország): Springer, 2014. pp. 69-81. (ISBN:978-3-319-11267-1)
     

 

Használati és telepítési útmutató:

Data Avenue dokumentáció és telepítési útmutató:

https://github.com/SZTAKI-LPDS/data-avenue

Data Avenue referencia architektúra: 

https://occopus.readthedocs.io/en/latest/tutorial-building-clusters.html#dataavenue-cluster