Pig
Apache Pig is a platform for analyzing large data sets using a high-level language called Pig Latin, enabling parallel processing and integration with Hadoop.
рдЕрд╡рд▓реЛрдХрди
Pig рдХреНрдпрд╛ рд╣реИ?
рдЕрдкрд╛рдЪреЗ рдкрд┐рдЧ рдмрдбрд╝реЗ рдбреЗрдЯрд╛ рд╕реЗрдЯреЛрдВ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдПрдХ рдордВрдЪ рд╣реИ, рдЬрд┐рд╕рдореЗрдВ рдкрд┐рдЧ рд▓реИрдЯрд┐рди, рдПрдХ рдЙрдЪреНрдЪ рд╕реНрддрд░реАрдп рднрд╛рд╖рд╛ рд╣реИ рдЬреЛ рдбреЗрдЯрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд╛рд░реНрдпрдХреНрд░рдореЛрдВ рдХреЛ рд╕рд░рд▓ рдмрдирд╛рддреА рд╣реИред рдпрд╣ Hadoop рдЬреИрд╕реЗ рд╕рд┐рд╕реНрдЯрдо рдкрд░ рд╕рдорд╛рдирд╛рдВрддрд░ рдирд┐рд╖реНрдкрд╛рджрди рдХреЗ рд▓рд┐рдП рдореИрдк-рд░рд┐рдбреНрдпреВрд╕ рдЕрдиреБрдХреНрд░рдореЛрдВ рдореЗрдВ рд╕рдВрдХрд▓рд┐рдд рдХрд░рддрд╛ рд╣реИ, рдХрд╛рд░реНрдпреЛрдВ рдХреЛ рд╕реНрд╡рдЪрд╛рд▓рд┐рдд рд░реВрдк рд╕реЗ рдЕрдиреБрдХреВрд▓рд┐рдд рдХрд░рддрд╛ рд╣реИ рдФрд░ рдХрд╕реНрдЯрдо рдлрд╝рдВрдХреНрд╢рдВрд╕ рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рдПрдХреНрд╕реНрдЯреЗрдВрд╕рд┐рдмрд┐рд▓рд┐рдЯреА рдХрд╛ рд╕рдорд░реНрдерди рдХрд░рддрд╛ рд╣реИред
Pig рдХрд┐рд╕ рд▓рд┐рдП рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ?

рд╢реАрд░реНрд╖ рд╕реБрд╡рд┐рдзрд╛рдПрдВ
- рдЙрдЪреНрдЪ рд╕реНрддрд░реАрдп рд╕реБрдЕрд░ рд▓реИрдЯрд┐рди рднрд╛рд╖рд╛
- рдмрдбрд╝реЗ рдбреЗрдЯрд╛ рд╕реЗрдЯ рдХреЗ рд▓рд┐рдП рд╕рдорд╛рдирд╛рдВрддрд░ рдирд┐рд╖реНрдкрд╛рджрди
- Hadoop, Tez, Hive, Spark, HBase рдХреЗ рд╕рд╛рде рдПрдХреАрдХрд░рдг
- рд╕реНрд╡рдЪрд╛рд▓рд┐рдд рдЕрдиреБрдХреВрд▓рди
- рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛-рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд╛рд░реНрдпреЛрдВ рдХреЗ рд╕рд╛рде рд╡рд┐рд╕реНрддрд╛рд░ рдпреЛрдЧреНрдп
Pig рдХрд╛ рдЙрдкрдпреЛрдЧ рдХреИрд╕реЗ рдХрд░реЗрдВ?
рдЕрдкрд╛рдЪреЗ рдкрд┐рдЧ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рдЗрд╕реЗ рдПрдХ рд╕рдВрдЧрдд рд╕рд┐рд╕реНрдЯрдо рдкрд░ рд╕реНрдерд╛рдкрд┐рдд рдХрд░реЗрдВ (рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, Hadoop рдХреЗ рд╕рд╛рде), рдкрд┐рдЧ рд▓реИрдЯрд┐рди рдореЗрдВ рдбреЗрдЯрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд╛рд░реНрдпрдХреНрд░рдо рд▓рд┐рдЦреЗрдВ, рдЙрдиреНрд╣реЗрдВ рдореИрдк-рд░рд┐рдбреНрдпреВрд╕ рдиреМрдХрд░рд┐рдпреЛрдВ рдореЗрдВ рд╕рдВрдХрд▓рд┐рдд рдХрд░реЗрдВ, рдФрд░ рдмрдбрд╝реЗ рдбреЗрдЯрд╛рд╕реЗрдЯ рдХреЗ рд╕рдорд╛рдирд╛рдВрддрд░ рдкреНрд░рд╕рдВрд╕реНрдХрд░рдг рдХреЗ рд▓рд┐рдП рдХреНрд▓рд╕реНрдЯрд░ рдкрд░ рдЪрд▓рд╛рдПрдВред
рд╡реИрдХрд▓реНрдкрд┐рдХ рдЯреВрд▓
рдлрд╛рдпрджреЗ & рдиреБрдХрд╕рд╛рди
рдлрд╛рдпрджреЗ
- рдЬрдЯрд┐рд▓ рдбреЗрдЯрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХреЛ рд╕рд░рд▓ рдмрдирд╛рддрд╛ рд╣реИ
- рдХреБрд╢рд▓ рд╕рдорд╛рдирд╛рдВрддрд░ рдкреНрд░рд╕рдВрд╕реНрдХрд░рдг
- рдУрдкрди-рд╕реЛрд░реНрд╕ рдФрд░ рдореБрдлрд╝реНрдд
- рдХрдИ рдмрдбрд╝реА рдбреЗрдЯрд╛ рдкреНрд░реМрджреНрдпреЛрдЧрд┐рдХрд┐рдпреЛрдВ рдХрд╛ рд╕рдорд░реНрдерди рдХрд░рддрд╛ рд╣реИ
рдиреБрдХрд╕рд╛рди
- Hadoop рдпрд╛ рд╕рдорд╛рди рдмреБрдирд┐рдпрд╛рджреА рдврд╛рдВрдЪреЗ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реИ
- рд╢реБрд░реБрдЖрддреА рд▓реЛрдЧреЛрдВ рдХреЗ рд▓рд┐рдП рддреАрд╡реНрд░ рд╕реАрдЦрдиреЗ рдХреА рдЕрд╡рд╕реНрдерд╛
рдЙрдкрдпреЛрдЧ рдХреЗ рдорд╛рдорд▓реЗ
- рдмрдбрд╝реЗ рдкреИрдорд╛рдиреЗ рдкрд░ рд▓реЙрдЧ рдбреЗрдЯрд╛ рд╕рдВрд╕рд╛рдзрд┐рдд рдХрд░рдирд╛
- рдПрдирд╛рд▓рд┐рдЯрд┐рдХреНрд╕ рдХреЗ рд▓рд┐рдП рдбреЗрдЯрд╛ рдкрд░рд┐рд╡рд░реНрддрди
- рдмрдбрд╝реЗ рдбреЗрдЯрд╛ рдкрд╛рдЗрдкрд▓рд╛рдЗрдиреЛрдВ рдореЗрдВ рдмреИрдЪ рдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ
рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рд╕рдореАрдХреНрд╖рд╛рдПрдВ
рдЕрднреА рддрдХ рдХреЛрдИ рд╕рдореАрдХреНрд╖рд╛ рдирд╣реАрдВ
рдЗрд╕ рдЯреВрд▓ рдХреА рдкрд╣рд▓реА рд╕рдореАрдХреНрд╖рд╛ рдХрд░рдиреЗ рд╡рд╛рд▓реЗ рдмрдиреЗрдВ!