Hadoop és társai – Extrém adatmennyiségek feldolgozása
és elemzése open source alapokon
Prekopcsák Zoltán, BME
Az előadás rövid tartalma
Több mint 8 éve jelent meg az első Google publikáció a MapReduce adatelemzési modellről, azonban csak az elmúlt 2-3 évben lett igazán elterjedt a Hadoop és egyes noSQL adatbázisok jóvoltából. Az előadásban áttekintjük, hogy milyen alternatív keretrendszerek léteznek TB és PB méretű adatok elemzésére, és hogyan válnak ezek publikációkból nagyvállalatok által is használható open source technológiákká.
Az előadás vázlata
- Az elosztott adatelemzés kihívásai
- A Hadoop eddigi története és életciklusa
- Új fejlesztések a Google háza táján/li>
- Dremel – interaktív elemzések nagy adatokon
- Pregel – gráf alapú elemzések
- További elosztott adatelemzési projektek/li>
- Spark – elosztott in-memory elemzések
- GraphLab – hatékony gráfelemzési keretrendszer
- A további fejlődés várható irányai
Az előadó bemutatása
Prekopcsák Zoltán
kutató, Budapesti Műszaki és Gazdaságtudományi Egyetem
A BME TMIT Adatbányászati Csoport ügyvivő szakértője, több mint két éve foglalkozik Hadoop alapú adatelemzéssel, előbb kutatási projektek keretében, majd 2011 óta a Radoop big data elemző eszköz fejlesztése kapcsán. Minősített Rapid-I szakértő, tucatnyi nemzetközi tudományos publikáció szerzője.