歡迎來到雙子樹教育網(wǎng)!
> 上海計(jì)算機(jī)/IT > 上海JAVA

    上海JAVA大數(shù)據(jù)培訓(xùn)

    上海JAVA大數(shù)據(jù)培訓(xùn)
    2020-11-07發(fā)布,次瀏覽 收藏 置頂 舉報(bào)
上海JAVA大數(shù)據(jù)培訓(xùn)
  • 地址區(qū)域:長寧
  • 上課班制:晚班
  • 課程類型:小班
  • 授課時間:2至6個月
  • 授課對象:所有人群
  • 網(wǎng)報(bào)價格:電詢    課程原價:電詢
  • 咨詢熱線:
  • 預(yù)約試聽 QQ咨詢
  • 課程詳情
課程詳情
達(dá)內(nèi)目前開設(shè)Java、Java互聯(lián)網(wǎng)架構(gòu)、JAVA大數(shù)據(jù)、PHP、軟件測試、嵌入式、C++、C#、 Android、iOS、UID、UED、產(chǎn)品經(jīng)理、Linux云計(jì)算、Python、Web前端、VR、VFX影視視效設(shè)計(jì)師、CAD、網(wǎng)絡(luò)運(yùn)維、網(wǎng)絡(luò)營銷、高級電商、主辦會計(jì)、少兒編程、智能機(jī)器人編程、編程數(shù)學(xué)等27大課程體系,為IT企業(yè)提供人才服務(wù),并為行業(yè)提供高級應(yīng)用型人才。
什么是互聯(lián)網(wǎng) + 大數(shù)據(jù)?
動互聯(lián)網(wǎng)的發(fā)展,產(chǎn)生了大量的數(shù)據(jù),而傳統(tǒng)的基于數(shù)據(jù)庫、數(shù)據(jù)倉庫的數(shù)據(jù)存儲和處理技術(shù)已經(jīng)很難在可接受的時間和空間下完成對這些數(shù)據(jù)的存儲和處理,因此,大數(shù)據(jù)技術(shù)應(yīng)運(yùn)而生了,大數(shù)據(jù)技術(shù)基于分布式的架構(gòu),實(shí)現(xiàn)了近乎無限的存儲和處理的能力,為海量數(shù)據(jù)的存儲和處理提供了新的可能。而正是基于這樣的能力,越來越多的基于大數(shù)據(jù)的精準(zhǔn)、個性化的服務(wù)開始大量的出現(xiàn)。
 JAVA 大數(shù)據(jù)課程優(yōu)勢
全棧式技術(shù)覆蓋
課程覆蓋Java 語言基礎(chǔ)、JavaEE深度開發(fā)、互聯(lián)網(wǎng)架構(gòu)開發(fā)、大數(shù)據(jù)開發(fā)、算法數(shù)據(jù)挖掘分析等Java大數(shù)據(jù)全棧技術(shù)內(nèi)容,解決學(xué)員 Java 大數(shù)據(jù)學(xué)習(xí)需求,滿足學(xué)員高薪就業(yè)所需技術(shù)廣度。
原理級講解
課程內(nèi)容涉及基礎(chǔ)知識、代碼實(shí)現(xiàn)、技術(shù)原理、架構(gòu)設(shè)計(jì)、編程思想,從代碼到知識點(diǎn),從架構(gòu)到思想,提升學(xué)員,幫助學(xué)員成為會思考、 能設(shè)計(jì)、 強(qiáng)架構(gòu)、重實(shí)現(xiàn)的實(shí)戰(zhàn)型技術(shù)人才。
企業(yè)級項(xiàng)目實(shí)戰(zhàn)
課程由真實(shí)企業(yè)級項(xiàng)目貫穿,以項(xiàng)目驅(qū)動學(xué)習(xí),不僅學(xué)習(xí)技術(shù),更要掌握應(yīng)用,真實(shí)應(yīng)用帶動學(xué)習(xí)熱情,幫助學(xué)員的提高實(shí)戰(zhàn)應(yīng)用能力,達(dá)到企業(yè)級用人標(biāo)準(zhǔn)。
云開發(fā)的真實(shí)環(huán)境

針對互聯(lián)網(wǎng)架構(gòu)、大數(shù)據(jù)課程的分布式開發(fā)背景,為學(xué)員提供真實(shí)的云主機(jī)開發(fā)環(huán)境,每個學(xué)員都會分配若干臺云服務(wù)器,真正的云環(huán)境下開發(fā)、測試、部署,完整還原企業(yè)開發(fā)部署真實(shí)場景。

JAVA大數(shù)據(jù)培訓(xùn)

階段
JavaSE 階段
Java基礎(chǔ)
Java 簡介Java 發(fā)展歷程、Java 的技術(shù)結(jié)構(gòu)、JDK 的下載及安裝、HelloWorld 入門案例。
Java 基本語法關(guān)鍵字、標(biāo)識符、注釋、字面量、進(jìn)制及其換算、變量、數(shù)據(jù)類型及其轉(zhuǎn)換、運(yùn)算符、流程控制、數(shù)組、二維數(shù)組、方法。
面向?qū)ο?/td>面向?qū)ο笈c面向過程比較、類與對象的關(guān)系、成員變量與局部變量、構(gòu)造方法、this 關(guān)鍵字、代碼塊。面向?qū)ο蟮奶卣鳎ǚ庋b、繼承、多態(tài))、super 關(guān)鍵字、權(quán)限修飾符、方法的重寫static、final、abstract、接口、內(nèi)部類、包、垃圾分代回收機(jī)制。
API(一)Object、String、Pattern、包裝類、Math、BigDecimal、Date、Calendar。
API(二) 異常、集合、Map、泛型、迭代器、比較器
Java 增強(qiáng)
API(三)IO、線程、套接字。
API(四)反射、注解、斷言
jvm參數(shù) jvm 內(nèi)存大小調(diào)節(jié)、常見回收機(jī)制。
JDK8 的部分特性接口中的默認(rèn)方法、Lambda 表達(dá)式、函數(shù)式接口、時間包。
Git 版本控制
版本控制概念、Git 發(fā)展歷史、Git 安裝配置、Git 版本庫管理、Git 版本控制、Git 遠(yuǎn)程倉庫、Git 分支管理、Git 標(biāo)簽管理、碼云介紹。
第二階段
JavaWeb 階段(EasyMall 項(xiàng)目貫穿)
XMLXML 的概念與基本作用、XML 語法、XML 解析介紹、DOM4J 解析 XML
HTML/CSSHTML 介紹、HTML 文檔結(jié)構(gòu)、HTML 語法、HTML 標(biāo)簽技術(shù)(超鏈接、列表、表格、圖像、表單等),CSS 介紹、CSS 導(dǎo)入方式、CSS 選擇器、CSS 布局、CSS 樣式屬性。完成 EasyMall 項(xiàng)目靜態(tài)頁面。
JavaScriptJavaScript 語法、數(shù)據(jù)類型、運(yùn)算符、流程控制、數(shù)組、函數(shù)、JavaScript 內(nèi)部對象、自定義對象,DHTML 編程、DOM 介紹,DOM 編程(使用 DOM 操作 HTML 文檔)。完成 EasyMall 靜態(tài)頁
面中的 js 腳本。
Jquery Jquery 對象、Jquery 選擇器(ID、元素、class、層級等)的使用、Jquery 案例(用戶列表增、刪、改、查)、Json 的對象轉(zhuǎn)換、Jquery AJAX 的實(shí)現(xiàn)。完成 EasyMall 靜態(tài)頁面中的 jquery 腳本。
MySql數(shù)據(jù)庫介紹、MySQL 安裝與配置、數(shù)據(jù)庫增刪改操作 DDL 語句使用、表增刪改操作 DML 語句使用、表查詢操作 DQL 語句使用,數(shù)據(jù)備份及恢復(fù)、多表設(shè)計(jì)、多表查詢。完成 EasyMall 中數(shù)據(jù)庫的設(shè)計(jì)。
JDBCJDBC 介紹、JDBC 入門,JDBC 核心 API 介紹,JDBC 的 CURD 操作防止 SQL 注入及PrepareStatement 使用,使用批處理。連接池的介紹、自定義連接池,常用的開源連接池C3P0 的介紹及使用。
Tomcat/HTTPWEB 服務(wù)器介紹、Tomcat 的安裝與啟動、Tomcat 的體系結(jié)構(gòu)、組織 WEB 應(yīng)用目錄與在Tomcat 中發(fā)布 WEB 應(yīng)用程序的方式、配置 WEB 的主頁、使用 Tomcat 配置虛擬主機(jī)、HTTP協(xié)議詳解。
ServletServlet 介紹、開發(fā) Servlet 程序、Servlet 生命周期、Servlet 調(diào)用分析、Request 及Response 的使用、ServletConfig 使用,ServletContext 使用(作為域?qū)ο笫褂、配置系統(tǒng)初始化參數(shù)、獲取 web 資源)。AJAX 介紹、XMLHttpRequest 對象詳解。完成 EasyMall 用戶注冊模塊。
Cookie/Session會話技術(shù)介紹、Cookie 介紹及 Cookie 的使用、案例之 Cookie 實(shí)現(xiàn)記住用戶名,Session 的使用及 Session 的原理,案例之利用 Session 實(shí)現(xiàn)登陸功能及驗(yàn)證碼校驗(yàn)。完成 EasyMall 用戶登錄模塊。
JSP/EL 表達(dá)式 /JSTL 標(biāo)簽

JSP 介紹、JSP 表達(dá)式、JSP 腳本片段、JSP 聲明、JSP 注釋、JSP 中的 9 個內(nèi)部對象和作用,EL 表達(dá)式簡介,EL 獲得數(shù)據(jù)、EL 執(zhí)行運(yùn)算、EL 內(nèi)置對象,page 指令及其重要的屬性,JSP中的 include 指令、pageContext 對象的詳細(xì)講解。JSP 動作標(biāo)簽介紹。JSTL 標(biāo)準(zhǔn)標(biāo)簽庫的介紹及使用。完成 EasyMall 動態(tài)頁面。
MVC 設(shè)計(jì)模式 / 三層架構(gòu)
 JavaEE 開發(fā)模式介紹、MVC 軟件設(shè)計(jì)模式介紹、JavaEE 經(jīng)典開發(fā)模式重構(gòu) EasyMall 項(xiàng)目、工廠設(shè)計(jì)模式介紹、工廠設(shè)計(jì)模式的應(yīng)用。層與層之間的耦合與解耦。重構(gòu) EasyMall 為三層架構(gòu)。
過濾器 / 監(jiān)聽器 Servlet Listenert 監(jiān)聽器介紹及使用、Servlet Filter 過濾器介紹、過濾器生命周期。30 天內(nèi)自動登錄功能的實(shí)現(xiàn),全站亂碼處理功能實(shí)現(xiàn)。完成 EasyMall 全站過濾器、自動登錄等功能。
JavaWeb 高級開發(fā)技術(shù) 泛型、注解、內(nèi)省、動態(tài)代理、枚舉、AOP 原理及實(shí)現(xiàn)。完成 EasyMall 改造實(shí)現(xiàn) AOP。
數(shù)據(jù)庫高級開發(fā)技術(shù) 事務(wù)概述、事務(wù)的隔離級別、事務(wù)控制、更新丟失。完成 EasyMall 中商品相關(guān)模塊。
EasyMall 項(xiàng)目開發(fā)EasyMall 是一個典型的互聯(lián)網(wǎng)電子商務(wù)系統(tǒng),在 WEB 學(xué)習(xí)階段,通過所學(xué)習(xí)的 WEB 技術(shù),實(shí)現(xiàn) EasyMall 商城中包括用戶注冊、用戶登錄、用戶注銷、商品添加、商品刪除、商品修改、商品列表、商品詳情等功能。在實(shí)現(xiàn)商城相關(guān)功能的過程中,熟悉并掌握 WEB 開發(fā)相關(guān)技術(shù)、架構(gòu)思想、項(xiàng)目開發(fā)流程、版本控制等內(nèi)容。整個項(xiàng)目貫穿于整個 WEB 學(xué)習(xí)階段,通過項(xiàng)目貫穿課程教學(xué),通過應(yīng)用引導(dǎo)學(xué)員學(xué)習(xí)。
第三階段
JavaEE 框架階段(EasyMall 項(xiàng)目貫穿)
SpringSpring IOC 基礎(chǔ)、Spring 的工廠模式 ( 靜態(tài)工廠、實(shí)例工廠、Spring 工廠 )、Spring 依賴注入(構(gòu)造器注入,set 注入)、Spring 的注解形式、Spring AOP 原理及實(shí)現(xiàn)、Spring 整合 JDBC、JDBCTemplate、Spring 聲明式事務(wù)處理、事務(wù)的回滾策略等
SpringMVC SpringMVC 原理、SpringMVC 簡單參數(shù)封裝、復(fù)雜參數(shù)封裝、值傳遞的原理、SpringMVC 的注解形式、日期格式類型轉(zhuǎn)換、文件上傳、頁面訪問控制 ( 轉(zhuǎn)發(fā)和重定向 )、RESTFUL 結(jié)構(gòu)
MyBatisMyBatis 原理、DQL 映射、DML 映射、復(fù)雜結(jié)果集映射、參數(shù)傳遞(注解形式和 MAP 形式)、結(jié)果集封裝原理、動態(tài) SQL 的拼接、字符轉(zhuǎn)義、MyBatis 的接口實(shí)現(xiàn)、代碼自動生成工具、關(guān)聯(lián)關(guān)系的講解、Spring + SpringMVC + MyBatis 整合(SSM 整合)
EasyMall 項(xiàng)目重構(gòu)及開發(fā)通過框架技術(shù)重構(gòu)在 JavaWeb 階段實(shí)現(xiàn)的 EasyMall 項(xiàng)目,通過對比使學(xué)員們理解使用框架的,熟悉框架的搭建和使用,理解框架整合方式、了解框架下業(yè)務(wù)開發(fā)流程。并進(jìn)一步實(shí)現(xiàn)EasyMall 中的購物車模塊、訂單模塊、在線支付、銷售統(tǒng)計(jì)等模塊。
Springboot 基礎(chǔ),搭建,springboot 組合注解運(yùn)行原理,springboot 的 web 開發(fā),spring data JPA,聲明式事務(wù)
SpringBoot 重構(gòu)EasyMall通過SpringBoot重構(gòu)EasyMall項(xiàng)目 , 加深對Spring Boot的理解,實(shí)現(xiàn)購物車、訂單、在線支付等功能模塊
第四階段
大數(shù)據(jù)互聯(lián)網(wǎng)架構(gòu)階段(EasyMall 項(xiàng)目貫穿)
Linux大數(shù)據(jù)生產(chǎn)環(huán)境需要在 Linux 下部署,大數(shù)據(jù)開發(fā)人員必須對 Linux 系統(tǒng)有相應(yīng)的了解。學(xué)習(xí)內(nèi)容包括 Linux 操作系統(tǒng)的安裝配置、文件系統(tǒng)管理、用戶及用戶組管理、進(jìn)程管理、資
源管理、vim 編輯器使用、Linux 下軟件安裝、shell 編程等內(nèi)容
云平臺使用才高大數(shù)據(jù)課程采用全云化教學(xué),講師授課、學(xué)員學(xué)習(xí)、練習(xí)、項(xiàng)目運(yùn)行部署、性能測試等都在真實(shí)云平臺上進(jìn)行,模擬企業(yè)真實(shí)環(huán)境。此處講授云平臺的使用。
RedisRedis
SpringBoot 整合
redis 簡介,雪崩 / 緩存擊穿,hash、string、list、set、zset、jedis 數(shù)據(jù)分片,jedis 數(shù)據(jù)分片連接池,jedis 的 hash 一致性,redis 主從復(fù)制,哨兵集群,redis-cluster,redis 集群的道
Mycat
Mycat 與 SpringBoot 整合
 mycat 簡介,mysql 主從復(fù)制,mycat 讀寫分離,mycat 配置詳解
Rabbitmq
Rabbitmq 與 SpringBoot
整合
rabbimq 消息隊(duì)列,connection,channle,exchange,消息生產(chǎn)者和消費(fèi)者,消息傳遞simple 模式,work 模式,publish 模式,routing 模式,topic 模式,秒殺案例
Lucene
lucene 概述,分詞系統(tǒng),索引概念,倒排索引,索引創(chuàng)建,索引刪除,索引更新,詞項(xiàng)搜索,布爾搜索,范圍搜索,前綴搜索,多關(guān)鍵字搜索,模糊搜索,通配符搜索
ElasticSearch
ES 與 SpringBoot 整合
搜索系統(tǒng)概括,搜索引擎框架,solr安裝與配置詳解,elasticseacher安裝與配置詳解,集群搭建
爬蟲 jsoup 爬蟲,爬取網(wǎng)站,爬取頁面,爬取二次提交數(shù)據(jù),爬取定位信息,模擬瀏覽器頭爬取網(wǎng)站,爬取京東數(shù)據(jù)落地?cái)?shù)據(jù)庫
Ngnix http 服務(wù)器,反向代理,入門配置,server 配置,location 匹配,負(fù)載均衡輪詢、權(quán)重、session 黏著,hash 取余
Easymall 項(xiàng)目整合整合springboot 開發(fā)系統(tǒng),整合redis,mycat,Ngnix 負(fù)載均衡,rabbitmq消息隊(duì)列,lucene搜索技術(shù); 跨域訪問,調(diào)用服務(wù)使用互聯(lián)網(wǎng)架構(gòu)技術(shù),將EasyMall 項(xiàng)目重構(gòu)為分布式技術(shù)架構(gòu)的大型電商項(xiàng)目,可承受高并發(fā),具有高可用的特點(diǎn)。后臺商品管理:負(fù)責(zé)商品的增刪改查,圖片上傳,商品分類樹前臺系統(tǒng):商品前臺分類樹,商品查看,登錄,購物車等等。
SpringCloud 微服務(wù)整合微服務(wù)概括
springcloud-config;springcloud-eureka;springcloud-ribbon;springcloud-hystrix;springcloud-zuul;springcloud-feign;
第五階段
大數(shù)據(jù)高并發(fā)基礎(chǔ)
大數(shù)據(jù) java 加強(qiáng)學(xué)習(xí) java 中關(guān)于 Concurrent 高并發(fā)包、NIO、序列化反序列化(AVRO)、RPC 等相關(guān)知識,掌握 zookeeper、sq
大數(shù)據(jù)離線數(shù)據(jù)分析
HadoopHadoop 是的大數(shù)據(jù)處理工具,包括分布式數(shù)據(jù)存儲系統(tǒng) HDFS、分布式數(shù)據(jù)計(jì)算框架
MapReduce 和資源協(xié)調(diào)框架 Yarn 三大組件。HDFS: 詳細(xì)講解 HDFS 使用方式、存儲機(jī)制、可靠性保證、上傳、下載、刪除等實(shí)現(xiàn)原理、Java 開發(fā) Api、開發(fā)等內(nèi)容
MapReduce: 詳細(xì)講解 MR 理論基礎(chǔ)、開發(fā)方式、序列化機(jī)制、分區(qū)機(jī)制、Combiner 機(jī)制、shuffle 詳細(xì)流程、MR 案例、MR 性能優(yōu)化等內(nèi)容Yarn: 介紹 Yarn 資源協(xié)調(diào)框架的基本原理、使用及調(diào)優(yōu)。Hadoop 是大數(shù)據(jù)生態(tài)中的組件,在行業(yè)中應(yīng)用廣泛,是學(xué)習(xí)大數(shù)據(jù)重要的技術(shù)之一
FlumeFlume 是大數(shù)據(jù)生態(tài)環(huán)境中流行的日志收集框架,基于其靈活的可廣泛配置的使用方式及優(yōu)良的效率被廣泛的應(yīng)用在大數(shù)據(jù)生產(chǎn)環(huán)境中。
課程中詳細(xì)講解了 Flume 的 Source、Channel、Sink、Selector、Interceptor、Processor 等組件的使用。
并通過美團(tuán)的案例,展示了 Flume 企業(yè)級應(yīng)用場景的實(shí)現(xiàn)方式,并在后續(xù)項(xiàng)目中有大量的應(yīng)用。
 hive是基于 Hadoop 的數(shù)據(jù)倉庫工具,通過將結(jié)構(gòu)化的數(shù)據(jù)文件映射為 HIVE 中的表,并提供類 SQL 的語法實(shí)現(xiàn)數(shù)據(jù)處理。
學(xué)習(xí)內(nèi)容包括 hive 的安裝配置、hive 的元數(shù)據(jù)庫、hive 的內(nèi)部表外部表、hive 的分區(qū)表、hive 的分桶表、hive 的語法、hive 的 UDF 等內(nèi)容
HBaseHBase 是一種分布式、面向列的基于 hadoop 的非關(guān)系型數(shù)據(jù)庫,適合存儲半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù),基于其優(yōu)良的設(shè)計(jì),可以提供良好的實(shí)時數(shù)據(jù)存取能力,并提供的橫向擴(kuò)展能力,在企業(yè)級大數(shù)據(jù)開發(fā)中占用重要地位。課程中詳細(xì)介紹了 Hbase 使用方式、Hbase 邏輯結(jié)構(gòu)、Hbase 的理論基礎(chǔ) -LSM 樹、Hbase 的實(shí)現(xiàn)原理、Hbase 表設(shè)計(jì)原則等內(nèi)容,從理論
zebra項(xiàng)目目名稱:zebra 電信日志數(shù)據(jù)分析項(xiàng)目
業(yè)務(wù)背景:電信行業(yè)通過大量的電信基站為移動設(shè)備提供 3G、4G 網(wǎng)絡(luò)信號,在移動設(shè)備通過基站訪問網(wǎng)絡(luò)的過程中,基站將會記錄所有的訪問數(shù)據(jù),此項(xiàng)目通過大數(shù)據(jù)離線分析技術(shù)分析這些日志,得到相關(guān)的業(yè)務(wù)結(jié)論指導(dǎo)行業(yè)改進(jìn)。
學(xué)習(xí)目標(biāo):通過學(xué)習(xí) zebra 電信日志分析項(xiàng)目,掌握企業(yè)級大數(shù)據(jù)離線分析技術(shù)
應(yīng)用的技術(shù):flume 收集日志,采用三層結(jié)構(gòu)實(shí)現(xiàn) 日志收集 聚集 終持久化到 hadoop hdfs 中 并實(shí)現(xiàn)日志收集過程中的失敗恢復(fù)及負(fù)載均衡;hadoop hdfs 分布式存儲收集到的日志數(shù)據(jù) ,hadoop mapreduce 進(jìn)行日志清洗、格式轉(zhuǎn)換; hive 進(jìn)行日志處理、業(yè)務(wù)規(guī)則計(jì)算,按照不同維度分時段統(tǒng)計(jì)應(yīng)用受歡迎程度、網(wǎng)站受歡迎程度、
小區(qū)上網(wǎng)能力、小區(qū)上網(wǎng)喜好等信息;sqoop 技術(shù)將處理完成的結(jié)果導(dǎo)出到關(guān)系型數(shù)據(jù)庫;ECharts 通過 web 技術(shù)實(shí)現(xiàn)結(jié)果數(shù)據(jù)的可視化;Zookeeper 作為集群協(xié)調(diào)、集群狀態(tài)監(jiān)控工具。
大數(shù)據(jù)實(shí)時數(shù)據(jù)分析
StormStorm是數(shù)據(jù)行業(yè)中流行的大數(shù)據(jù)實(shí)時分析框架之一,是一個分布式的、高容錯的實(shí)時計(jì)算系統(tǒng),能夠?qū)崿F(xiàn)具有可靠性保障的分布式實(shí)時數(shù)據(jù)處理,在行業(yè)中廣泛應(yīng)用。
在課程中講解包括 Storm 基礎(chǔ) 、可靠性保證、并發(fā)控制、實(shí)現(xiàn)原理、
KafkaKafka 是一種具有高吞吐能力的分布式發(fā)布訂閱消息系統(tǒng),具有傳統(tǒng)消息隊(duì)列相關(guān)特性,此外具有一些獨(dú)特的設(shè)計(jì),可以實(shí)現(xiàn)分布式持久化的消息隊(duì)列,在實(shí)時處理過程中通常用做數(shù)據(jù)緩存,為實(shí)時處理系統(tǒng)提供緩沖能力。在課程中包括 kafka 的安裝配置、基本概念、實(shí)現(xiàn)原理、可靠性保障等相關(guān)理論及應(yīng)用相關(guān)內(nèi)容。
分布式編程思想大數(shù)據(jù)問題的本質(zhì)是海量數(shù)據(jù),大數(shù)據(jù)解決方案的核心理念是分布式,分布式場景有其獨(dú)特的問題、解決方案、設(shè)計(jì)思想,本節(jié)通過討論分布式在各種技術(shù)背景、業(yè)務(wù)場景下的應(yīng)用,揭示分布式技術(shù)的原理及應(yīng)用原則
網(wǎng)站流量分析項(xiàng)目名稱:電商網(wǎng)站流量分析項(xiàng)目
學(xué)習(xí)目標(biāo):通過電商網(wǎng)站流量分析項(xiàng)目掌握企業(yè)級大數(shù)據(jù)離線分析、實(shí)時分析的的架構(gòu)設(shè)計(jì)、技術(shù)應(yīng)用及業(yè)務(wù)開發(fā)流程
業(yè)務(wù)背景:網(wǎng)站在運(yùn)營過程中除了產(chǎn)生大量的業(yè)務(wù)數(shù)據(jù)外還會產(chǎn)生大量的用戶行為數(shù)據(jù),包括用戶訪問網(wǎng)站時鼠標(biāo)點(diǎn)擊、瀏覽器信息、會話信息、語言環(huán)境、所處地域等相關(guān)信息,網(wǎng)站流量分析項(xiàng)目通過大數(shù)據(jù)離線、實(shí)時分析技術(shù),分析用戶產(chǎn)生的大量行為數(shù)據(jù),得到網(wǎng)站運(yùn)行方關(guān)注的各項(xiàng)業(yè)務(wù)指標(biāo)數(shù)據(jù),引導(dǎo)網(wǎng)站改進(jìn)其頁面布局、廣告投放等相關(guān)運(yùn)營行為,提升網(wǎng)站運(yùn)行效率。
應(yīng)用的技術(shù):
通過在網(wǎng)站的前臺頁面中進(jìn)行 js 埋點(diǎn)收集用戶訪問網(wǎng)站的行為信息;
通過 Ngnix 和 Tomcat 服務(wù)器集群收集用產(chǎn)生的行為數(shù)據(jù),并通過 Flume 來進(jìn)行收集、匯聚數(shù)據(jù)并分發(fā)到 HDFS 和 Kafka 為離線分析和實(shí)時分析提供數(shù)據(jù)來源;離線分析中通過 MR、Hive 等技術(shù)實(shí)現(xiàn)業(yè)務(wù)指標(biāo)的離線計(jì)算,并通過 Sqoop 導(dǎo)出結(jié)果數(shù)據(jù)到關(guān)系型數(shù)據(jù)庫;實(shí)時分析中通過 Storm 消費(fèi) Kafka 中的數(shù)據(jù)實(shí)現(xiàn)實(shí)時計(jì)算,中間數(shù)據(jù)通過 HBase 進(jìn)行存儲,結(jié)果數(shù)據(jù)通過 JDBC 寫出到關(guān)系型數(shù)據(jù)庫中;終通過大數(shù)據(jù)可視化技術(shù)將結(jié)果數(shù)據(jù)展示給終用戶。計(jì)算指標(biāo)包括網(wǎng)站的 PV、UV、VV、Bounce Rate、 ip、平均在線時長、新訪客、訪問深度等信息。整個系統(tǒng)分為數(shù)據(jù)收集、數(shù)據(jù)傳遞、數(shù)據(jù)分析三


更多程培訓(xùn)課,課程優(yōu)惠,學(xué)校資訊,可進(jìn)入 上海達(dá)內(nèi)教育 了解更多詳情...

    校區(qū)地址
  • 乘車路線:短信通知
  • 授課地址:

地理位置 Location

在線報(bào)名

歡迎進(jìn)入上海達(dá)內(nèi)教育2023年網(wǎng)上報(bào)名平臺

選擇報(bào)名課程:
您的姓名:
性別:女 
手機(jī)號碼:
備注:
驗(yàn)證碼: *
  看不清,請點(diǎn)擊刷新