Seirbheis

Inneal glanaidh dàta Spark Streaming
(I) DSstream agus RDD
Mar a tha fios againn, tha àireamhachadh Spark Streaming stèidhichte air Spark Core, agus is e cridhe Spark Core RDD, agus mar sin feumaidh Spark Streaming a bhith co-cheangailte ri RDD cuideachd.Ach, cha leig Spark Streaming le luchd-cleachdaidh RDD a chleachdadh gu dìreach, ach tha e a’ toirt cunntas air seata de bhun-bheachdan DStream, tha DStream agus RDD nan dàimhean in-ghabhalach, faodaidh tu a thuigsinn mar phàtran sgeadachaidh Java, is e sin, tha DStream na àrdachadh air RDD, ach tha an giùlan coltach ri RDD.
Tha grunn shuidheachaidhean aig Dstream agus RDD.
(1) tha gnìomhan cruth-atharrachaidh coltach riutha, leithid mapa, reduceByKey, msaa, ach cuideachd cuid gun samhail, leithid Window, mapWithStated, msaa.
(2) tha gnìomhan Gnìomh aca uile, leithid foreachRDD, cunntadh, msaa.
Tha am modail prògramadh cunbhalach.
(B) Ro-ràdh DStream ann an Spark Streaming
Tha grunn chlasaichean ann an DSstream.
(1) Clasaichean stòr dàta, leithid InputDStream, gu sònraichte mar DirectKafkaInputStream, msaa.
(2) Clasaichean tionndaidh, mar as trice MappedDStream, ShuffledDStream
(3) clasaichean toraidh, mar as trice leithid ForEachDStream
Bho na tha gu h-àrd, tha an dàta bhon toiseach (cuir a-steach) gu deireadh (toradh) air a dhèanamh leis an t-siostam DStream, a tha a ’ciallachadh nach urrainn don neach-cleachdaidh mar as trice RDDs a ghineadh agus a làimhseachadh, a tha a’ ciallachadh gu bheil cothrom agus dleastanas aig an DStream a bhith. cunntachail airson cearcall-beatha RDDs.
Ann am faclan eile, tha Spark Streaming aigglanadh fèin-ghluasadachgnìomh.
(iii) Pròiseas gineadh RDD ann an Spark Streaming
Tha sruth-beatha RDDn ann an Spark Streaming garbh mar a leanas.
(1) Ann an InputDStream, tha an dàta a gheibhear air atharrachadh gu RDD, leithid DirectKafkaInputStream, a ghineas KafkaRDD.
(2) an uairsin tro MappedDStream agus tionndadh dàta eile, canar RDD gu dìreach ris an turas seo a rèir modh a’ mhapa airson tionndadh
(3) Ann an gnìomhachd clas toraidh, dìreach nuair a tha an RDD fosgailte, faodaidh tu leigeil leis an neach-cleachdaidh an stòradh co-fhreagarrach, àireamhachadh eile agus gnìomhachd eile a dhèanamh.