国产v综合v亚洲欧美久久动图_国产日韩精品一级二级_日本中文字幕视频高清在线_日韩欧美在线播放的_一本大道大色av香蕉网_极品国产巨作在线观看_全部免费a级毛片_国产男女猛烈无遮挡_午夜一本福利电影_亚州欧美丝袜清纯另类

第六周-大數(shù)據(jù)學(xué)習(xí)班,深圳模具廠,模塑科技

2019-10-20 09:12:26

回顧第5周  , 上周的 Hbase 軟件, 盧老師提供過百度云盤的記錄。   或者自己下載。

image.png


image.png



Hbase  增刪改查 的 操作;

image.png


image.png

image.png

image.png

image.png


image.png


image.png


image.png

      image.png

     多種類型可以混合應(yīng)用


     image.png

可以增加邏輯判斷和計(jì)算, 在條件中, 這是  scala 的強(qiáng)大之處。


image.png

image.png

image.png


這種是遞歸的函數(shù), 也就是函數(shù)中調(diào)用了自己本身的函數(shù)


image.png


image.png


     image.png


    image.png

  image.png

變長數(shù)組,定長數(shù)組, 可變數(shù)組,  可以相互轉(zhuǎn)化。


image.png

reverse  , 這個(gè)是  取反 的意思,  也就是倒序。

image.png

%2  取模 , 也就是去偶數(shù)


image.png


.min 是進(jìn)行取小。 



image.png

映射,必須有鍵值對,有K 有 V,   對鍵值對的調(diào)換、


Scala 主要是計(jì)算  文本搜索統(tǒng)計(jì)中, 得到的統(tǒng)計(jì)結(jié)果, 

MAP 映射相關(guān)的操作。


1、壓平, 

2、鍵值對,

3、統(tǒng)計(jì),

4、鍵值對調(diào)換,

5、在進(jìn)行排序,

6、再次統(tǒng)計(jì)。


定義元組 

image.png

這個(gè)元組, 也就是一個(gè)容器, 可以對他取值。

image.png  這就是結(jié)果。   


parton 用的很多,  


image.png

image.png

image.png


=JaVa 中的重載


image.png

這些就是   SCALA 的 類的運(yùn)用 


image.png


image.png


image.png

image.png


image.png


image.png



image.png




上周  Hbase  和  Scala的復(fù)習(xí)


接下來講    kafaka     再講    zookeppr


-------------------------------------------------------------------------------------------------------------------------------------------------

image.png


KAFAKA   ,首先要了解  KAFAKA 的如下內(nèi)容

image.png


產(chǎn)生的背景, 一個(gè)分布式的發(fā)布以及訂閱的消息系統(tǒng),她最初由  linkdin 開發(fā)的, 

使用   scala 語音書寫的。  最終成為 Apache項(xiàng)目的一部分,可劃分, 多訂閱者

image.png


image.png



image.png

舉例說明:   灑水車是  kafaka  裝水就是 生產(chǎn) ,     灑水就是消費(fèi)的過程。

灌水的速度 和 灑水的速度是多少?    就是消息





image.png



-----------------下午開始學(xué)習(xí)   KAFAKA  


  image.png

parttion  有序列號(hào), 可以并行處理更多的數(shù)據(jù), 每個(gè)消息都有ID , 也叫 offset 。


  image.png

image.png





image.png

image.png



image.png



image.png




image.png


image.png

image.png

image.png

image.png

image.png





image.png

image.png

             image.png



image.png


image.png

一個(gè)生產(chǎn)交易系統(tǒng),  每天產(chǎn)生 1億的訂單量 , (分布在很多?。?nbsp; ,  需要全國的銷量監(jiān)控,  以及各個(gè)省份的, 

匯總到北京, 可以做到, 各個(gè)省份的排名, 


1、 實(shí)際放入 的數(shù)據(jù), 是實(shí)時(shí)產(chǎn)生的, 并不是同時(shí)產(chǎn)生的, 所以輸入到 KAFKA 中, 然后由 Spark 取出來計(jì)算出來。

      具體的接口


2、統(tǒng)計(jì)第一步,  第二步, 預(yù)測 , 學(xué)習(xí),  挖掘 。   甚至可以人臉識(shí)別。 

image.png

  


image.png


image.png

image.png

image.png


image.png







image.png

image.png


image.png


image.png


image.png


image.png


KaFKa 的 Message  , 也就是把 Message  。    下周講      10-13  上課 。









Hbase  是No SQL數(shù)據(jù)庫 ,  



深圳塑膠模具廠,深圳市模具廠,深圳模具廠,深圳模具,深圳塑膠模具
首頁
產(chǎn)品
新聞
聯(lián)系