Seirbheis

Inneal glanaidh dàta Spark Streaming
(I) DStream agus RDD
Mar a tha fios againn, tha àireamhachadh Spark Streaming stèidhichte air Spark Core, agus is e RDD cridhe Spark Core, agus mar sin feumaidh Spark Streaming a bhith co-cheangailte ri RDD cuideachd. Ach, chan eil Spark Streaming a’ leigeil le luchd-cleachdaidh RDD a chleachdadh gu dìreach, ach tha e a’ toirt geàrr-chunntas air seata de bhun-bheachdan DStream, tha DStream agus RDD nan dàimhean uile-chuimseach, faodaidh tu a thuigsinn mar am pàtran sgeadachaidh ann an Java, is e sin, tha DStream na leasachadh air RDD, ach tha an giùlan coltach ri RDD.
Tha grunn chumhachan aig DStream agus RDD le chèile.
(1) aig a bheil gnìomhan cruth-atharrachaidh coltach ris, leithid map, reduceByKey, msaa., ach cuideachd cuid sònraichte, leithid Window, mapWithStated, msaa.
(2) tha gnìomhan Gnìomha aig gach fear dhiubh, leithid foreachRDD, count, msaa.
Tha am modail prògramaidh cunbhalach.
(B) Ro-ràdh DStream ann an Spark Streaming
Tha grunn chlasaichean ann an DStream.
(1) Clasaichean stòran dàta, leithid InputDStream, sònraichte mar DirectKafkaInputStream, msaa.
(2) Clasaichean tionndaidh, mar as trice MappedDStream, ShuffledDStream
(3) clasaichean toraidh, mar as trice leithid ForEachDStream
Bho na tha gu h-àrd, tha an dàta bhon toiseach (cuir a-steach) chun deireadh (toradh) air a dhèanamh leis an t-siostam DStream, agus tha sin a’ ciallachadh nach urrainn don neach-cleachdaidh RDDn a ghineadh agus a làimhseachadh gu dìreach, agus tha sin a’ ciallachadh gu bheil an cothrom agus an dleastanas aig an DStream a bhith an urra ri cearcall-beatha RDDn.
Ann am faclan eile, tha aig Spark Streamingglanadh fèin-ghluasadachgnìomh.
(iii) Am pròiseas airson RDD a chruthachadh ann an Spark Streaming
Tha sruth-beatha RDDn ann an Spark Streaming garbh mar a leanas.
(1) Ann an InputDStream, thèid an dàta a gheibhear a thionndadh gu RDD, leithid DirectKafkaInputStream, a chruthaicheas KafkaRDD.
(2) an uairsin tro MappedDStream agus tionndadh dàta eile, canar RDD ris an àm seo gu dìreach a tha a’ freagairt ris an dòigh mapa airson tionndadh
(3) Anns an obrachadh clas toraidh, chan urrainn dhut leigeil leis an neach-cleachdaidh an stòradh co-fhreagarrach, obrachaidhean eile, agus obrachaidhean eile a dhèanamh ach nuair a bhios an RDD fosgailte.