Apache Hadoop klaszter kiépítése

Ez a bemutató áttekintés ad arról, hogy hogyan lehet létrehozni egy skálázható Apache Hadoop infrastruktúrát az Occopus eszköz segítségével. Az Apache Hadoop klaszter segítségével Map Reduce alkalmazásokat tudunk futtatni nagy mennyiségű adat feldolgozásához. Az automatikusan felépülő Apache Hadoop architektúra kiépítése az Occopus eszköz segítségével fog megvalósulni, ezért elsőként telepítenünk kell az Occopus eszközt. A Hadoop klaszter telepítéséhez szükséges leírókat elkészítettük a felhasználók számára és azokat közzétettük számukra. A leírók letöltése és rövid személyre szabása után, csupán két parancs segítségével képesek leszünk felépíteni egy skálázható Apache Hadoop infrastruktúrát az ELKH Cloudon.

Publikációk:

  • Lovas R, Nagy E, Kovacs J: Cloud agnostic orchestration for big data research platforms, CIVIL-COMP PROCEEDINGS 111: p. III/15. 16 p. (2017), The Fifth International Conference on Parallel, Distributed, Grid and Cloud Computing for Engineering (ISBN 978-1-905088-66-9)
  • Nagy E, Kovács J, Lovas R: Automated and Portable Hadoop Cluster Orchestration on Clouds with Occopus for Big Data Applications, In: Bubak M, Turala M, Wiatr K (szerk.)
    Proceedings of Cracow Grid Workshop'16, CGW 2016. 92 p. Academic Computer Centre CYFRONETAGH, 2016. pp. 47-48.(ISBN:978-83-61433-20-0)