Garn mapreduce slots

Garn mapreduce slots h1>

Fa via App Store Les dette innlegget i var app!

Bestemme optimal antall reduksjonsmidler i Garn.

I MRv1 hadde vi de to par konfigurerbare parametrene for a angi antall Kart og redusere spor per Node.

Det var ogsa tilradelig a ha antall kortspor litt hoyere enn antall Reduce slots. Ideelt antall reduksjonsreduksjoner for en kartreduksjonsjobb vil v re lik eller storre enn antall reduserte spor i klyngen.

Vennligst korriger hvis min overstaende forstaelse ikke er riktig wrt MRv1.

I MRv2 har vi ikke begrepet slots lenger, i stedet gir containere det nodvendige minnet og CPU for Map / Reduce taks execution.

Her kommer sporsmalet mitt, Hvordan bestemmer du om antall reduksjonsmidler for noen kartreduksjon jobb i MRv2?

mapred.tasktracker.reduce.tasks.maximum er erstattet av.

Denne egenskapen angir det maksimale antall samtidige redusere spor som en gitt oppgave-tracker node kan kjore.

mapred.tasktracker.map.tasks.maximum er erstattet av.

Denne egenskapen angir det maksimale antall samtidige kartspor som en gitt oppgave-tracker node kan kjore.

Med YARN og MapReduce 2 er det ikke lenger forhandsdefinerte statiske spor for kart- og reduksjonsoppgaver. Hele klokka er tilgjengelig for dynamisk ressursallokering av Maps og Reduserer etter behov av jobben.

Men Hvis du vil tildele antall reduksjonsprogrammer til jobben din, kan du fortsatt gjore det ved a spesifisere folgende eiendom i din Kart / Reduser jobb.

Vennligst se denne lenken for a fa vite mer om det.

Antall Mapper er i utgangspunktet allokert basert pa antall inngangssplitt av dataene dine. Anta at du har a gjore med 1 GB datasett og HDFS-blokkstorrelse er 128 MB, og du har ikke spesifisert noen delingsstorrelse i jobben din, og 1 GB / 128 MB = 8 splitt vil bli vurdert og 8 Mapper vil bli allokert til denne jobben, men antar at hvis du har angitt del storrelsen 512MB i koden din da 1GB / 512MB = 2 mapper vil bli vurdert og allokert til denne jobben.