{"id":283,"date":"2016-09-29T12:12:14","date_gmt":"2016-09-29T10:12:14","guid":{"rendered":"http:\/\/www.4it.hu\/?page_id=283"},"modified":"2016-09-29T12:28:13","modified_gmt":"2016-09-29T10:28:13","slug":"big-data-megoldasok","status":"publish","type":"page","link":"https:\/\/www.4it.hu\/en\/kompetenciak\/big-data-megoldasok\/","title":{"rendered":"Big Data megold\u00e1sok"},"content":{"rendered":"

Sorry, this entry is only available in Hungarian<\/a>. For the sake of viewer convenience, the content is shown below in the alternative language. You may click the link to switch the active language.<\/p>

Szakembereink r\u00e9szt vettek egyedi Big Data megold\u00e1sok alapj\u00e1ul szolg\u00e1l\u00f3 informatikai infrastrukt\u00far\u00e1k tervez\u00e9s\u00e9ben \u00e9s kialak\u00edt\u00e1s\u00e1ban. Nemcsak a nagyv\u00e1llalati rendszerek eset\u00e9n ma m\u00e9g egyeduralkod\u00f3 Intel Xeon alap\u00fa kiszolg\u00e1l\u00f3k felhaszn\u00e1l\u00e1s\u00e1val, hanem a mobil eszk\u00f6z\u00f6k vil\u00e1g\u00e1t egyre ink\u00e1bb kin\u00f6v\u0151 teljes\u00edtm\u00e9ny\u0171 ARM processzorok alkalmaz\u00e1s\u00e1val. Ez ut\u00f3bbiak felhaszn\u00e1l\u00e1sa az\u00e9rt el\u0151remutat\u00f3 megold\u00e1s, mert energiafelv\u00e9tel\u00fck jelent\u0151sen kisebb, mint ez el\u0151bbiek\u00e9.<\/p>\n

Az adatk\u00f6zpontok fenntart\u00e1si k\u00f6lts\u00e9g\u00e9nek ak\u00e1r 30%-a is sz\u00e1rmazhat az \u00e1ramfogyaszt\u00e1sb\u00f3l, hiszen nem csak a kiszolg\u00e1l\u00f3k \u00e1ramfelv\u00e9tel\u00e9t kell biztos\u00edtani, hanem az \u00e1ltaluk termelt h\u0151t is k\u00f6z\u00f6mb\u00f6s\u00edteni kell l\u00e9gkondicion\u00e1l\u00f3k seg\u00edts\u00e9g\u00e9vel, tov\u00e1bb n\u00f6velve ezzel a k\u00f6lts\u00e9geket. Tapasztalataink szerint, am\u00edg egy Intel Xeon E5-2699 processzor h\u0151lead\u00e1sa 150 Wattot is el\u00e9rheti \u00e9s akt\u00edv h\u0171t\u00e9s n\u00e9lk\u00fcl t\u00f6nkremenne, addig egy ARM A-72 processzor h\u0151lead\u00e1sa nagyj\u00e1b\u00f3l 5 Watt \u00e9s nincs sz\u00fcks\u00e9ge akt\u00edv h\u0171t\u00e9sre. R\u00e1ad\u00e1sul az Intel processzorok \u00e1ra t\u00f6bbsz\u00f6r\u00f6se az ARM processzoroknak, b\u00e1r ennek nyom\u00f3s oka van: a sz\u00e1m\u00edt\u00e1si teljes\u00edtm\u00e9nyek k\u00f6zti k\u00fcl\u00f6nbs\u00e9g.<\/p>\n

Tudnunk kell, hogy a j\u00f3val alacsonyabb \u00e1ramfelv\u00e9telhez j\u00f3val alacsonyabb teljes\u00edtm\u00e9ny is t\u00e1rsul, a fenti p\u00e9ld\u00e1ban szerepl\u0151 Intel Xeon processzor t\u00f6bb nagys\u00e1grenddel gyorsabb sz\u00e1m\u00edt\u00e1si kapacit\u00e1ssal rendelkezik, mint ARM vet\u00e9lyt\u00e1rsa. Mi\u00e9rt mondhatjuk m\u00e9gis, hogy az ARM processzorok alkalmaz\u00e1sa el\u0151remutat\u00f3 lehet? Az\u00e9rt, mert igen j\u00f3l alkalmazhat\u00f3ak az elosztott \u00e9s p\u00e1rhuzamos sz\u00e1m\u00edt\u00e1sokra \u00e9p\u00fcl\u0151 Big Data megold\u00e1sok eset\u00e9n. A hagyom\u00e1nyos Intel technol\u00f3gi\u00e1val azonos \u00e1r \u00e9s fenntart\u00e1si k\u00f6lts\u00e9g mellett nagys\u00e1grendekkel t\u00f6bb ARM processzort \u00e1ll\u00edthatunk csatasorba, melyek \u00f6sszes\u00edtett teljes\u00edtm\u00e9nye m\u00e1r k\u00e9pes el\u00e9rni a hagyom\u00e1nyos megold\u00e1s teljes\u00edtm\u00e9ny\u00e9t.<\/p>\n

Seymour Roger Cray, az els\u0151 igazi szupersz\u00e1m\u00edt\u00f3g\u00e9pek megalkot\u00f3ja szerint, ha fel akarunk sz\u00e1ntani egy mez\u0151t, akkor erre 2 \u00f6k\u00f6r alkalmasabb, mint 1024 csirke. Milyen el\u0151nnyel j\u00e1rhat m\u00e9gis, ha a szerverteremben nem 2 terjedelmes \u00e9s bivalyer\u0151s Intel kiszolg\u00e1l\u00f3 morog, hanem 1024 n\u00e9vjegyk\u00e1rtya m\u00e9ret\u0171 ARM kiszolg\u00e1l\u00f3 sz\u00e1mol n\u00e9m\u00e1n?<\/p>\n

Ha p\u00e1rhozamos feldolgoz\u00e1sr\u00f3l, a feladatok t\u00e9nylegesen p\u00e1rhuzamos elv\u00e9gz\u00e9s\u00e9r\u0151l van sz\u00f3, akkor hat\u00e9konyabb min\u00e9l t\u00f6bb processzor alkalmaz\u00e1sa, m\u00e9g ha ezek teljes\u00edtm\u00e9nye gyenge. Ezen fel\u00fcl j\u00f3val egyszer\u0171bb az ARM megold\u00e1sok sk\u00e1l\u00e1z\u00e1sa \u00e9s finomhangol\u00e1sa. Ha p\u00e9ld\u00e1ul teljes\u00edtm\u00e9ny ig\u00e9nyek pontosan 7,5 %-al n\u0151nek egy \u00e9v alatt, akkor az ARM k\u00f6rnyezetet pontosan 7,5 %-al lehet felsk\u00e1l\u00e1zni, m\u00edg Intel k\u00f6rnyezet eset\u00e9ben egy \u00faj kiszolg\u00e1l\u00f3 hadrendbe \u00e1ll\u00edt\u00e1sa ak\u00e1r 30%-os felsk\u00e1l\u00e1z\u00e1st is jelenthet, teljesen felesleges k\u00f6lts\u00e9geket gener\u00e1lva. Nem besz\u00e9lve arr\u00f3l, hogy am\u00edg az egyik Intel kiszolg\u00e1l\u00f3 kies\u00e9se 50 %-os teljes\u00edtm\u00e9ny cs\u00f6kken\u00e9st eredm\u00e9nyez, addig k\u00e9t vagy h\u00e1rom ARM kiszolg\u00e1l\u00f3 le\u00e1ll\u00e1sa \u00e9szre sem vehet\u0151.<\/p>\n

Mind ARM mind Intel alap\u00fa Big Data k\u00f6rnyezeten v\u00e9gzett tesztel\u00e9seink megmutatt\u00e1k, hogy a rendk\u00edv\u00fcl gyors, de energia- \u00e9s k\u00f6lts\u00e9gfal\u00f3 Intel Xeon szerverek mellett a gyeng\u00e9bb teljes\u00edtm\u00e9ny\u0171, de kisebb helyig\u00e9ny\u0171, kevesebb \u00e1ramot \u00e9s k\u00f6lts\u00e9get em\u00e9szt\u0151 ARM sz\u00e1m\u00edt\u00f3g\u00e9pekb\u0151l kialak\u00edtott sz\u00e1m\u00edt\u00e1si f\u00fcrt\u00f6knek is van l\u00e9tjogosults\u00e1ga a nagymennyis\u00e9g\u0171 adatokat p\u00e1rhozamos algoritmusokkal feldolgoz\u00f3 Big Data megold\u00e1sok kiszolg\u00e1l\u00e1s\u00e1ban.<\/p>\n

Szakembereink, a Big Data megold\u00e1sok vil\u00e1g\u00e1ban meghat\u00e1roz\u00f3 Hadoop rendszert tervez\u00e9s\u00e9n \u00e9s kialak\u00edt\u00e1s\u00e1n k\u00edv\u00fcl, az elosztott sz\u00e1m\u00edt\u00e1sok vil\u00e1g\u00e1ban favoritnak sz\u00e1m\u00edt\u00f3 Spark rendszer kialak\u00edt\u00e1s\u00e1ban is r\u00e9szt vettek. Tapasztalataink azt mutatt\u00e1k, a feldolgoz\u00f3 algoritmusok megfelel\u0151 kiv\u00e1laszt\u00e1s\u00e1val, \u00e9s az infrastrukt\u00fara gondos finomhangol\u00e1s\u00e1val a Spark rendszer 10x vagy 20x gyorsabb feldolgoz\u00e1sra k\u00e9pes a MapReduce megk\u00f6zel\u00edt\u00e9st haszn\u00e1l\u00f3 Hadoop rendszerrel szemben.<\/p>\n

Sikeresen integr\u00e1ltuk ezen rendszerek biztons\u00e1gi megold\u00e1sait a nagyv\u00e1llalati k\u00f6rnyezetben elterjedt Active Directory c\u00edmt\u00e1rral illetve Kerberos azonos\u00edt\u00e1si technol\u00f3gi\u00e1val, megteremtve ezzel a Big Data megold\u00e1sok \u00e1ltal szolg\u00e1ltatott, \u00e9rz\u00e9keny \u00fczleti adatokat tartalmaz\u00f3 riportok kell\u0151 szint\u0171 v\u00e9delm\u00e9t.<\/p>","protected":false},"excerpt":{"rendered":"

Sorry, this entry is only available in Hungarian. For the sake of viewer convenience, the content is shown below in the alternative language. You may click the link to switch the active language.Szakembereink r\u00e9szt vettek egyedi Big Data megold\u00e1sok alapj\u00e1ul … Continue reading →<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"parent":9,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":[],"_links":{"self":[{"href":"https:\/\/www.4it.hu\/en\/wp-json\/wp\/v2\/pages\/283"}],"collection":[{"href":"https:\/\/www.4it.hu\/en\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/www.4it.hu\/en\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/www.4it.hu\/en\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.4it.hu\/en\/wp-json\/wp\/v2\/comments?post=283"}],"version-history":[{"count":4,"href":"https:\/\/www.4it.hu\/en\/wp-json\/wp\/v2\/pages\/283\/revisions"}],"predecessor-version":[{"id":288,"href":"https:\/\/www.4it.hu\/en\/wp-json\/wp\/v2\/pages\/283\/revisions\/288"}],"up":[{"embeddable":true,"href":"https:\/\/www.4it.hu\/en\/wp-json\/wp\/v2\/pages\/9"}],"wp:attachment":[{"href":"https:\/\/www.4it.hu\/en\/wp-json\/wp\/v2\/media?parent=283"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}