spark
Apache DolphinScheduler is a distributed and extensible open-source workflow orchestration platform with powerful DAG visual interfaces.
рдЕрд╡рд▓реЛрдХрди
spark рдХреНрдпрд╛ рд╣реИ?
Apache DolphinScheduler рдПрдХ рд╡рд┐рддрд░рд┐рдд рдФрд░ рдПрдХреНрд╕реНрдЯреЗрдВрд╕рд┐рдмрд▓ рдУрдкрди-рд╕реЛрд░реНрд╕ рд╡рд░реНрдХрдлрд╝реНрд▓реЛ рдСрд░реНрдХреЗрд╕реНрдЯреНрд░реЗрд╢рди рдкреНрд▓реЗрдЯрдлрд╝реЙрд░реНрдо рд╣реИ рдЬреЛ рд╕реНрдкрд╛рд░реНрдХ, рдлрд╝реНрд▓рд┐рдВрдХ рдФрд░ рд╣рд╛рдЗрд╡ рдЬреЙрдмреНрд╕ рдЬреИрд╕реЗ рдХрд╛рд░реНрдпреЛрдВ рдХреЛ рдкреНрд░рдмрдВрдзрд┐рдд рдФрд░ рд╢реЗрдбреНрдпреВрд▓ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рд╢рдХреНрддрд┐рд╢рд╛рд▓реА DAG рд╡рд┐рдЬрд╝реБрдЕрд▓ рдЗрдВрдЯрд░рдлрд╝реЗрд╕ рдкреНрд░рджрд╛рди рдХрд░рддрд╛ рд╣реИред рдпрд╣ рдХреНрд░реЙрд╕-рдкреНрд░реЛрдЬреЗрдХреНрдЯ рдирд┐рд░реНрднрд░рддрд╛, рдХрд╛рд░реНрдп рдЕрд▓рдЧрд╛рд╡ рдФрд░ рд╕рдВрд╕реНрдХрд░рдг рдирд┐рдпрдВрддреНрд░рдг рдЬреИрд╕реА рд╕реБрд╡рд┐рдзрд╛рдУрдВ рдХреЗ рд╕рд╛рде рдХрдо-рдХреЛрдб рдбреНрд░реИрдЧ-рдПрдВрдб-рдбреНрд░реЙрдк рд╡рд░реНрдХрдлрд╝реНрд▓реЛ рдФрд░ рдЙрдЪреНрдЪ-рдкреНрд░рджрд░реНрд╢рди рдирд┐рд╖реНрдкрд╛рджрди рдХрд╛ рд╕рдорд░реНрдерди рдХрд░рддрд╛ рд╣реИред
spark рдХрд┐рд╕ рд▓рд┐рдП рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ?

рд╢реАрд░реНрд╖ рд╕реБрд╡рд┐рдзрд╛рдПрдВ
- рд╡рд┐рдЬрд╝реБрдЕрд▓ рдбреАрдПрдЬреА рд╡рд░реНрдХрдлрд╝реНрд▓реЛ рдбрд┐рдЬрд╝рд╛рдЗрди
- 30+ рдкреНрд░рдХрд╛рд░ рдХреА рдиреМрдХрд░рд┐рдпреЛрдВ рдХреЗ рд▓рд┐рдП рд╕рдорд░реНрдерди (рдЬреИрд╕реЗ, рд╕реНрдкрд╛рд░реНрдХ, рдлрд╝реНрд▓рд┐рдВрдХ, рд╣рд╛рдЗрд╡)
- рд╡рд┐рдХреЗрдВрджреНрд░реАрдХреГрдд рдорд▓реНрдЯреА-рдорд╛рд╕реНрдЯрд░/рд╡рд░реНрдХрд░ рдЖрд░реНрдХрд┐рдЯреЗрдХреНрдЪрд░
- рдХрд┐рд░рд╛рдпреЗрджрд╛рд░ рдФрд░ рдХрд╛рд░реНрдпрдХрд░реНрддрд╛ рд╕рдореВрд╣реЛрдВ рдХреЗ рд╕рд╛рде рдХрд╛рд░реНрдп рдЕрд▓рдЧрд╛рд╡
- рд╡рд░реНрдХрдлрд╝реНрд▓реЛ рд╕рдВрд╕реНрдХрд░рдг рдирд┐рдпрдВрддреНрд░рдг рдФрд░ рдбреЗрдЯрд╛ рдмреИрдХрдлрд╝рд┐рд▓
- рдбреНрд░реИрдЧ-рдПрдВрдб-рдбреНрд░реЙрдк рдФрд░ рдХреЛрдб-рдЖрдзрд╛рд░рд┐рдд рд╡рд░реНрдХрдлрд╝реНрд▓реЛ рдирд┐рд░реНрдорд╛рдг
spark рдХрд╛ рдЙрдкрдпреЛрдЧ рдХреИрд╕реЗ рдХрд░реЗрдВ?
рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рд╡рд┐рдЬрд╝реБрдЕрд▓ рдЗрдВрдЯрд░рдлрд╝реЗрд╕ рдореЗрдВ рдХрд╛рд░реНрдпреЛрдВ рдХреЛ рдЦреАрдВрдЪрдХрд░ рдФрд░ рдЫреЛрдбрд╝рдХрд░ рдпрд╛ рдкрд╛рдпрдерди, рд╡рд╛рдИрдПрдПрдордПрд▓, рдпрд╛ рдУрдкрди рдПрдкреАрдЖрдИ рдХреЗ рд╕рд╛рде рдХреЛрдбрд┐рдВрдЧ рдХрд░рдХреЗ рд╡рд░реНрдХрдлрд╝реНрд▓реЛ рдмрдирд╛ рд╕рдХрддреЗ рд╣реИрдВред рдпрд╣ рдЙрдЪреНрдЪ рд╕рдВрдЧрд╛рдорд┐рддрд┐ рдХреЗ рд▓рд┐рдП рд╡рд┐рдХреЗрдВрджреНрд░реАрдХреГрдд рдорд▓реНрдЯреА-рдорд╛рд╕реНрдЯрд░/рд╡рд░реНрдХрд░ рдбрд┐рдЬрд╝рд╛рдЗрди рдХрд╛ рд╕рдорд░реНрдерди рдХрд░рддрд╛ рд╣реИ, рдХрд╛рд░реНрдп рдкреНрд░рдмрдВрдзрди (рдХрд┐рд▓, рдкреЙрдЬрд╝, рд░рд┐рдЬреНрдпреВрдо) рдХреА рдЕрдиреБрдорддрд┐ рджреЗрддрд╛ рд╣реИ, рдФрд░ рдмреИрдЪ рдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ рдХреЗ рд▓рд┐рдП рдбреЗрдЯрд╛ рдмреИрдХрдлрд╝рд┐рд▓ рдФрд░ рд╡рд░реНрдХрдлрд╝реНрд▓реЛ рд╕рдВрд╕реНрдХрд░рдг рдирд┐рдпрдВрддреНрд░рдг рд╢рд╛рдорд┐рд▓ рдХрд░рддрд╛ рд╣реИред
рд╡реИрдХрд▓реНрдкрд┐рдХ рдЯреВрд▓
рдлрд╛рдпрджреЗ & рдиреБрдХрд╕рд╛рди
рдлрд╛рдпрджреЗ
- рдЦреБрд▓рд╛-рд╕реНрд░реЛрдд рдФрд░ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдореБрдлрд╝реНрдд
- рдЙрдЪреНрдЪ рдорд╛рдкрдиреАрдпрддрд╛ рдФрд░ рд╡рд┐рд╢реНрд╡рд╕рдиреАрдпрддрд╛
- рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рдХреЗ рдЕрдиреБрдХреВрд▓ рджреГрд╢реНрдп рдЗрдВрдЯрд░рдлрд╝реЗрд╕
- рдЬрдЯрд┐рд▓ рдХрд╛рд░реНрдп рдирд┐рд░реНрднрд░рддрд╛ рдФрд░ рдЕрд▓рдЧрд╛рд╡ рдХрд╛ рд╕рдорд░реНрдерди рдХрд░рддрд╛ рд╣реИ
- рд╕рдХреНрд░рд┐рдп рд╕рдореБрджрд╛рдп рдФрд░ рд╡реНрдпрд╛рдкрдХ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реАрдХрд░рдг
рдиреБрдХрд╕рд╛рди
- рддреИрдирд╛рддреА рдФрд░ рд╕реЗрдЯрдЕрдк рдХреЗ рд▓рд┐рдП рддрдХрдиреАрдХреА рд╡рд┐рд╢реЗрд╖рдЬреНрдЮрддрд╛ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реИ
- рдЙрдиреНрдирдд рд╕реБрд╡рд┐рдзрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рд╕реАрдЦрдиреЗ рдХреА рдЕрд╡рд╕реНрдерд╛ рд╣реЛ рд╕рдХрддреА рд╣реИ
рдЙрдкрдпреЛрдЧ рдХреЗ рдорд╛рдорд▓реЗ
- рдмрдбрд╝реА рдбреЗрдЯрд╛ рдкрд╛рдЗрдкрд▓рд╛рдЗрдиреЛрдВ рдХреЛ рд╡реНрдпрд╡рд╕реНрдерд┐рдд рдХрд░рдирд╛ (рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдИрдЯреАрдПрд▓ рдкреНрд░рдХреНрд░рд┐рдпрд╛рдПрдВ)
- рдбреЗрдЯрд╛ рд╡рд┐рдЬреНрдЮрд╛рди рдореЗрдВ рд╡рд┐рддрд░рд┐рдд рдХрдВрдкреНрдпреВрдЯрд┐рдВрдЧ рдХрд╛рд░реНрдпреЛрдВ рдХрд╛ рдкреНрд░рдмрдВрдзрди
- рдЖрдИрдЯреА рд╕рдВрдЪрд╛рд▓рди рдФрд░ рд╡рд░реНрдХрдлрд╝реНрд▓реЛ рд╢реЗрдбреНрдпреВрд▓рд┐рдВрдЧ рдХреЛ рд╕реНрд╡рдЪрд╛рд▓рд┐рдд рдХрд░рдирд╛
- рдЙрджреНрдпрдореЛрдВ рдореЗрдВ рдЙрдЪреНрдЪ-рд╕рдорд╡рд░реНрддреА рдбреЗрдЯрд╛ рдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ рдХреЛ рд╕рдВрднрд╛рд▓рдирд╛
spark рдореВрд▓реНрдп
рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рд╕рдореАрдХреНрд╖рд╛рдПрдВ
рдЕрднреА рддрдХ рдХреЛрдИ рд╕рдореАрдХреНрд╖рд╛ рдирд╣реАрдВ
рдЗрд╕ рдЯреВрд▓ рдХреА рдкрд╣рд▓реА рд╕рдореАрдХреНрд╖рд╛ рдХрд░рдиреЗ рд╡рд╛рд▓реЗ рдмрдиреЗрдВ!