Hadoop
Apache Hadoop is an open-source framework for distributed storage and processing of large data sets across computer clusters.
рдЕрд╡рд▓реЛрдХрди
Hadoop рдХреНрдпрд╛ рд╣реИ?
Apache Hadoop рдПрдХ рд╕реЙрдлреНрдЯрд╡реЗрдпрд░ рд▓рд╛рдЗрдмреНрд░реЗрд░реА рд╣реИ рдЬреЛ рд╕рд░рд▓ рдкреНрд░реЛрдЧреНрд░рд╛рдорд┐рдВрдЧ рдореЙрдбрд▓ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдХрдВрдкреНрдпреВрдЯрд░ рдХреЗ рд╕рдореВрд╣реЛрдВ рдореЗрдВ рдмрдбрд╝реЗ рдбреЗрдЯрд╛ рд╕реЗрдЯ рдХреЗ рд╡рд┐рддрд░рд┐рдд рдкреНрд░рд╕рдВрд╕реНрдХрд░рдг рдХреЛ рд╕рдХреНрд╖рдо рдмрдирд╛рддреА рд╣реИред рдпрд╣ рдПрдХрд▓ рд╕рд░реНрд╡рд░ рд╕реЗ рд╣рдЬрд╛рд░реЛрдВ рдорд╢реАрдиреЛрдВ рддрдХ рд╕реНрдХреЗрд▓ рдХрд░рддрд╛ рд╣реИ, рдЙрдЪреНрдЪ рдЙрдкрд▓рдмреНрдзрддрд╛ рдХреЗ рд▓рд┐рдП рдПрдкреНрд▓рд┐рдХреЗрд╢рди рд╕реНрддрд░ рдкрд░ рд╡рд┐рдлрд▓рддрд╛рдУрдВ рдХреЛ рд╕рдВрднрд╛рд▓рддрд╛ рд╣реИред
Hadoop рдХрд┐рд╕ рд▓рд┐рдП рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ?

рд╢реАрд░реНрд╖ рд╕реБрд╡рд┐рдзрд╛рдПрдВ
- рд╡рд┐рддрд░рд┐рдд рдлрд╝рд╛рдЗрд▓ рд╕рд┐рд╕реНрдЯрдо (рдПрдЪрдбреАрдПрдлрдПрд╕)
- рд╕рдВрд╕рд╛рдзрди рдкреНрд░рдмрдВрдзрди (рдпрд╛рд░реНрди)
- рд╕рдорд╛рдирд╛рдВрддрд░ рдкреНрд░рд╕рдВрд╕реНрдХрд░рдг (MapReduce)
- рд╕реНрдХреЗрд▓реЗрдмрд┐рд▓рд┐рдЯреА рдФрд░ рджреЛрд╖ рд╕рд╣рдирд╢реАрд▓рддрд╛
- рдУрдкрди-рд╕реЛрд░реНрд╕ рдФрд░ рдореЙрдбреНрдпреВрд▓рд░
Hadoop рдХрд╛ рдЙрдкрдпреЛрдЧ рдХреИрд╕реЗ рдХрд░реЗрдВ?
Hadoop рдбрд╛рдЙрдирд▓реЛрдб рдХрд░реЗрдВ, рдПрдХ рдХреНрд▓рд╕реНрдЯрд░ рд╕реЗрдЯ рдХрд░реЗрдВ, рдФрд░ рд╕реНрдЯреЛрд░реЗрдЬ рдХреЗ рд▓рд┐рдП HDFS, рд╕рдВрд╕рд╛рдзрди рдкреНрд░рдмрдВрдзрди рдХреЗ рд▓рд┐рдП YARN рдФрд░ рдбреЗрдЯрд╛ рдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ рдХреЗ рд▓рд┐рдП MapReduce рдЬреИрд╕реЗ рдореЙрдбреНрдпреВрд▓ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВред рдпрд╣ рдЙрдиреНрдирдд рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХреЗ рд▓рд┐рдП рд╕реНрдкрд╛рд░реНрдХ рдФрд░ рд╣рд╛рдЗрд╡ рдЬреИрд╕реЗ рдЯреВрд▓ рдХреЗ рд╕рд╛рде рдПрдХреАрдХрд░рдг рдХрд╛ рд╕рдорд░реНрдерди рдХрд░рддрд╛ рд╣реИред
рд╡реИрдХрд▓реНрдкрд┐рдХ рдЯреВрд▓
рдлрд╛рдпрджреЗ & рдиреБрдХрд╕рд╛рди
рдлрд╛рдпрджреЗ
- рдмрдбрд╝реЗ рдкреИрдорд╛рдиреЗ рдкрд░ рдбреЗрдЯрд╛ рдХреЛ рдХреБрд╢рд▓рддрд╛рдкреВрд░реНрд╡рдХ рд╕рдВрднрд╛рд▓рддрд╛ рд╣реИ
- рдЕрддреНрдпрдзрд┐рдХ рд╕реНрдХреЗрд▓реЗрдмрд▓ рдФрд░ рджреЛрд╖-рд╕рд╣рд┐рд╖реНрдгреБ
- рдордЬрдмреВрдд рд╕рд╛рдореБрджрд╛рдпрд┐рдХ рд╕рдорд░реНрдерди рдХреЗ рд╕рд╛рде рдЦреБрд▓рд╛ рд╕реНрд░реЛрдд
- рдХрдИ рдмрдбрд╝реЗ рдбреЗрдЯрд╛ рдЯреВрд▓ рдХреЗ рд╕рд╛рде рдПрдХреАрдХреГрдд рд╣реЛрддрд╛ рд╣реИ
рдиреБрдХрд╕рд╛рди
- рдЬрдЯрд┐рд▓ рд╕реЗрдЯрдЕрдк рдФрд░ рд░рдЦрд░рдЦрд╛рд╡
- рд╢реБрд░реБрдЖрддреА рд▓реЛрдЧреЛрдВ рдХреЗ рд▓рд┐рдП рддреАрд╡реНрд░ рд╕реАрдЦрдиреЗ рдХреА рдЕрд╡рд╕реНрдерд╛
- рд╡рд╛рд╕реНрддрд╡рд┐рдХ рд╕рдордп рдкреНрд░рд╕рдВрд╕реНрдХрд░рдг рдХреЗ рд▓рд┐рдП рдкреНрд░рджрд░реНрд╢рди рдзреАрдорд╛ рд╣реЛ рд╕рдХрддрд╛ рд╣реИ
рдЙрдкрдпреЛрдЧ рдХреЗ рдорд╛рдорд▓реЗ
- рдмрд┐рдЧ рдбреЗрдЯрд╛ рдПрдирд╛рд▓рд┐рдЯрд┐рдХреНрд╕ рдФрд░ рдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ
- рд▓реЙрдЧ рдФрд░ рдЗрд╡реЗрдВрдЯ рдбреЗрдЯрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг
- рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рдФрд░ рдбреЗрдЯрд╛ рдорд╛рдЗрдирд┐рдВрдЧ
- рдПрдВрдЯрд░рдкреНрд░рд╛рдЗрдЬрд╝ рдбреЗрдЯрд╛ рд╡реЗрдпрд░рд╣рд╛рдЙрд╕рд┐рдВрдЧ
Hadoop рдореВрд▓реНрдп
рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рд╕рдореАрдХреНрд╖рд╛рдПрдВ
рдЕрднреА рддрдХ рдХреЛрдИ рд╕рдореАрдХреНрд╖рд╛ рдирд╣реАрдВ
рдЗрд╕ рдЯреВрд▓ рдХреА рдкрд╣рд▓реА рд╕рдореАрдХреНрд╖рд╛ рдХрд░рдиреЗ рд╡рд╛рд▓реЗ рдмрдиреЗрдВ!