達(dá)內(nèi)目前開設(shè)Java、Java互聯(lián)網(wǎng)架構(gòu)、JAVA大數(shù)據(jù)、PHP、軟件測試、嵌入式、C++、C#、 Android、iOS、UID、UED、產(chǎn)品經(jīng)理、Linux云計(jì)算、Python、Web前端、VR、VFX影視視效設(shè)計(jì)師、CAD、網(wǎng)絡(luò)運(yùn)維、網(wǎng)絡(luò)營銷、高級電商、主辦會計(jì)、少兒編程、智能機(jī)器人編程、編程數(shù)學(xué)等27大課程體系，為IT企業(yè)提供人才服務(wù)，并為行業(yè)提供高級應(yīng)用型人才。
什么是互聯(lián)網(wǎng) + 大數(shù)據(jù)？
動(dòng)互聯(lián)網(wǎng)的發(fā)展，產(chǎn)生了大量的數(shù)據(jù)，而傳統(tǒng)的基于數(shù)據(jù)庫、數(shù)據(jù)倉庫的數(shù)據(jù)存儲和處理技術(shù)已經(jīng)很難在可接受的時(shí)間和空間下完成對這些數(shù)據(jù)的存儲和處理，因此，大數(shù)據(jù)技術(shù)應(yīng)運(yùn)而生了，大數(shù)據(jù)技術(shù)基于分布式的架構(gòu)，實(shí)現(xiàn)了近乎無限的存儲和處理的能力，為海量數(shù)據(jù)的存儲和處理提供了新的可能。而正是基于這樣的能力，越來越多的基于大數(shù)據(jù)的精準(zhǔn)、個(gè)性化的服務(wù)開始大量的出現(xiàn)。
JAVA 大數(shù)據(jù)課程優(yōu)勢
全棧式技術(shù)覆蓋
課程覆蓋Java 語言基礎(chǔ)、JavaEE深度開發(fā)、互聯(lián)網(wǎng)架構(gòu)開發(fā)、大數(shù)據(jù)開發(fā)、算法數(shù)據(jù)挖掘分析等Java大數(shù)據(jù)全棧技術(shù)內(nèi)容，解決學(xué)員 Java 大數(shù)據(jù)學(xué)習(xí)需求，滿足學(xué)員高薪就業(yè)所需技術(shù)廣度。
原理級講解
課程內(nèi)容涉及基礎(chǔ)知識、代碼實(shí)現(xiàn)、技術(shù)原理、架構(gòu)設(shè)計(jì)、編程思想，從代碼到知識點(diǎn)，從架構(gòu)到思想，提升學(xué)員，幫助學(xué)員成為會思考、 能設(shè)計(jì)、 強(qiáng)架構(gòu)、重實(shí)現(xiàn)的實(shí)戰(zhàn)型技術(shù)人才。
企業(yè)級項(xiàng)目實(shí)戰(zhàn)
課程由真實(shí)企業(yè)級項(xiàng)目貫穿，以項(xiàng)目驅(qū)動(dòng)學(xué)習(xí)，不僅學(xué)習(xí)技術(shù)，更要掌握應(yīng)用，真實(shí)應(yīng)用帶動(dòng)學(xué)習(xí)熱情，幫助學(xué)員的提高實(shí)戰(zhàn)應(yīng)用能力，達(dá)到企業(yè)級用人標(biāo)準(zhǔn)。
云開發(fā)的真實(shí)環(huán)境
針對互聯(lián)網(wǎng)架構(gòu)、大數(shù)據(jù)課程的分布式開發(fā)背景，為學(xué)員提供真實(shí)的云主機(jī)開發(fā)環(huán)境，每個(gè)學(xué)員都會分配若干臺云服務(wù)器，真正的云環(huán)境下開發(fā)、測試、部署，完整還原企業(yè)開發(fā)部署真實(shí)場景。
| JavaSE 階段 | |
| Java基礎(chǔ) | |
| Java 簡介 | Java 發(fā)展歷程、Java 的技術(shù)結(jié)構(gòu)、JDK 的下載及安裝、HelloWorld 入門案例。 |
| Java 基本語法 | 關(guān)鍵字、標(biāo)識符、注釋、字面量、進(jìn)制及其換算、變量、數(shù)據(jù)類型及其轉(zhuǎn)換、運(yùn)算符、流程控制、數(shù)組、二維數(shù)組、方法。 |
| 面向?qū)ο? | 面向?qū)ο笈c面向過程比較、類與對象的關(guān)系、成員變量與局部變量、構(gòu)造方法、this 關(guān)鍵字、代碼塊。面向?qū)ο蟮奶卣鳎ǚ庋b、繼承、多態(tài)）、super 關(guān)鍵字、權(quán)限修飾符、方法的重寫static、final、abstract、接口、內(nèi)部類、包、垃圾分代回收機(jī)制。 |
| API（一） | Object、String、Pattern、包裝類、Math、BigDecimal、Date、Calendar。 |
| API（二） | 異常、集合、Map、泛型、迭代器、比較器 |
| Java 增強(qiáng) | |
| API（三） | IO、線程、套接字。 |
| API（四） | 反射、注解、斷言 |
| jvm | 參數(shù) jvm 內(nèi)存大小調(diào)節(jié)、常見回收機(jī)制。 |
| JDK8 的部分特性 | 接口中的默認(rèn)方法、Lambda 表達(dá)式、函數(shù)式接口、時(shí)間包。 |
| Git 版本控制 | 版本控制概念、Git 發(fā)展歷史、Git 安裝配置、Git 版本庫管理、Git 版本控制、Git 遠(yuǎn)程倉庫、Git 分支管理、Git 標(biāo)簽管理、碼云介紹。 |
| JavaWeb 階段（EasyMall 項(xiàng)目貫穿） | |
| XML | XML 的概念與基本作用、XML 語法、XML 解析介紹、DOM4J 解析 XML |
| HTML/CSS | HTML 介紹、HTML 文檔結(jié)構(gòu)、HTML 語法、HTML 標(biāo)簽技術(shù)（超鏈接、列表、表格、圖像、表單等），CSS 介紹、CSS 導(dǎo)入方式、CSS 選擇器、CSS 布局、CSS 樣式屬性。完成 EasyMall 項(xiàng)目靜態(tài)頁面。 |
| JavaScript | JavaScript 語法、數(shù)據(jù)類型、運(yùn)算符、流程控制、數(shù)組、函數(shù)、JavaScript 內(nèi)部對象、自定義對象，DHTML 編程、DOM 介紹，DOM 編程（使用 DOM 操作 HTML 文檔）。完成 EasyMall 靜態(tài)頁 面中的 js 腳本。 |
| Jquery | Jquery 對象、Jquery 選擇器（ID、元素、class、層級等）的使用、Jquery 案例（用戶列表增、刪、改、查）、Json 的對象轉(zhuǎn)換、Jquery AJAX 的實(shí)現(xiàn)。完成 EasyMall 靜態(tài)頁面中的 jquery 腳本。 |
| MySql | 數(shù)據(jù)庫介紹、MySQL 安裝與配置、數(shù)據(jù)庫增刪改操作 DDL 語句使用、表增刪改操作 DML 語句使用、表查詢操作 DQL 語句使用，數(shù)據(jù)備份及恢復(fù)、多表設(shè)計(jì)、多表查詢。完成 EasyMall 中數(shù)據(jù)庫的設(shè)計(jì)。 |
| JDBC | JDBC 介紹、JDBC 入門，JDBC 核心 API 介紹，JDBC 的 CURD 操作防止 SQL 注入及PrepareStatement 使用，使用批處理。連接池的介紹、自定義連接池，常用的開源連接池C3P0 的介紹及使用。 |
| Tomcat/HTTP | WEB 服務(wù)器介紹、Tomcat 的安裝與啟動(dòng)、Tomcat 的體系結(jié)構(gòu)、組織 WEB 應(yīng)用目錄與在Tomcat 中發(fā)布 WEB 應(yīng)用程序的方式、配置 WEB 的主頁、使用 Tomcat 配置虛擬主機(jī)、HTTP協(xié)議詳解。 |
| Servlet | Servlet 介紹、開發(fā) Servlet 程序、Servlet 生命周期、Servlet 調(diào)用分析、Request 及Response 的使用、ServletConfig 使用，ServletContext 使用（作為域?qū)ο笫褂�、配置系統(tǒng)初始化參數(shù)、獲取 web 資源）。AJAX 介紹、XMLHttpRequest 對象詳解。完成 EasyMall 用戶注冊模塊。 |
| Cookie/Session | 會話技術(shù)介紹、Cookie 介紹及 Cookie 的使用、案例之 Cookie 實(shí)現(xiàn)記住用戶名，Session 的使用及 Session 的原理，案例之利用 Session 實(shí)現(xiàn)登陸功能及驗(yàn)證碼校驗(yàn)。完成 EasyMall 用戶登錄模塊。 |
| JSP/EL 表達(dá)式 /JSTL 標(biāo)簽 庫 | JSP 介紹、JSP 表達(dá)式、JSP 腳本片段、JSP 聲明、JSP 注釋、JSP 中的 9 個(gè)內(nèi)部對象和作用，EL 表達(dá)式簡介，EL 獲得數(shù)據(jù)、EL 執(zhí)行運(yùn)算、EL 內(nèi)置對象，page 指令及其重要的屬性，JSP中的 include 指令、pageContext 對象的詳細(xì)講解。JSP 動(dòng)作標(biāo)簽介紹。JSTL 標(biāo)準(zhǔn)標(biāo)簽庫的介紹及使用。完成 EasyMall 動(dòng)態(tài)頁面。 |
| MVC 設(shè)計(jì)模式 / 三層架構(gòu) | JavaEE 開發(fā)模式介紹、MVC 軟件設(shè)計(jì)模式介紹、JavaEE 經(jīng)典開發(fā)模式重構(gòu) EasyMall 項(xiàng)目、工廠設(shè)計(jì)模式介紹、工廠設(shè)計(jì)模式的應(yīng)用。層與層之間的耦合與解耦。重構(gòu) EasyMall 為三層架構(gòu)。 |
| 過濾器 / 監(jiān)聽器 | Servlet Listenert 監(jiān)聽器介紹及使用、Servlet Filter 過濾器介紹、過濾器生命周期。30 天內(nèi)自動(dòng)登錄功能的實(shí)現(xiàn)，全站亂碼處理功能實(shí)現(xiàn)。完成 EasyMall 全站過濾器、自動(dòng)登錄等功能。 |
| JavaWeb 高級開發(fā)技術(shù) | 泛型、注解、內(nèi)省、動(dòng)態(tài)代理、枚舉、AOP 原理及實(shí)現(xiàn)。完成 EasyMall 改造實(shí)現(xiàn) AOP。 |
| 數(shù)據(jù)庫高級開發(fā)技術(shù) | 事務(wù)概述、事務(wù)的隔離級別、事務(wù)控制、更新丟失。完成 EasyMall 中商品相關(guān)模塊。 |
| EasyMall 項(xiàng)目開發(fā) | EasyMall 是一個(gè)典型的互聯(lián)網(wǎng)電子商務(wù)系統(tǒng)，在 WEB 學(xué)習(xí)階段，通過所學(xué)習(xí)的 WEB 技術(shù)，實(shí)現(xiàn) EasyMall 商城中包括用戶注冊、用戶登錄、用戶注銷、商品添加、商品刪除、商品修改、商品列表、商品詳情等功能。在實(shí)現(xiàn)商城相關(guān)功能的過程中，熟悉并掌握 WEB 開發(fā)相關(guān)技術(shù)、架構(gòu)思想、項(xiàng)目開發(fā)流程、版本控制等內(nèi)容。整個(gè)項(xiàng)目貫穿于整個(gè) WEB 學(xué)習(xí)階段，通過項(xiàng)目貫穿課程教學(xué)，通過應(yīng)用引導(dǎo)學(xué)員學(xué)習(xí)。 |
| JavaEE 框架階段（EasyMall 項(xiàng)目貫穿） | |
| Spring | Spring IOC 基礎(chǔ)、Spring 的工廠模式 ( 靜態(tài)工廠、實(shí)例工廠、Spring 工廠 )、Spring 依賴注入（構(gòu)造器注入，set 注入）、Spring 的注解形式、Spring AOP 原理及實(shí)現(xiàn)、Spring 整合 JDBC、JDBCTemplate、Spring 聲明式事務(wù)處理、事務(wù)的回滾策略等 |
| SpringMVC | SpringMVC 原理、SpringMVC 簡單參數(shù)封裝、復(fù)雜參數(shù)封裝、值傳遞的原理、SpringMVC 的注解形式、日期格式類型轉(zhuǎn)換、文件上傳、頁面訪問控制 ( 轉(zhuǎn)發(fā)和重定向 )、RESTFUL 結(jié)構(gòu) |
| MyBatis | MyBatis 原理、DQL 映射、DML 映射、復(fù)雜結(jié)果集映射、參數(shù)傳遞（注解形式和 MAP 形式）、結(jié)果集封裝原理、動(dòng)態(tài) SQL 的拼接、字符轉(zhuǎn)義、MyBatis 的接口實(shí)現(xiàn)、代碼自動(dòng)生成工具、關(guān)聯(lián)關(guān)系的講解、Spring + SpringMVC + MyBatis 整合（SSM 整合） |
| EasyMall 項(xiàng)目重構(gòu)及開發(fā) | 通過框架技術(shù)重構(gòu)在 JavaWeb 階段實(shí)現(xiàn)的 EasyMall 項(xiàng)目，通過對比使學(xué)員們理解使用框架的，熟悉框架的搭建和使用，理解框架整合方式、了解框架下業(yè)務(wù)開發(fā)流程。并進(jìn)一步實(shí)現(xiàn)EasyMall 中的購物車模塊、訂單模塊、在線支付、銷售統(tǒng)計(jì)等模塊。 |
| Springboot | 基礎(chǔ)，搭建，springboot 組合注解運(yùn)行原理，springboot 的 web 開發(fā)，spring data JPA，聲明式事務(wù) |
| SpringBoot 重構(gòu)EasyMall | 通過SpringBoot重構(gòu)EasyMall項(xiàng)目 , 加深對Spring Boot的理解，實(shí)現(xiàn)購物車、訂單、在線支付等功能模塊 |
| 大數(shù)據(jù)互聯(lián)網(wǎng)架構(gòu)階段（EasyMall 項(xiàng)目貫穿） | |
| Linux | 大數(shù)據(jù)生產(chǎn)環(huán)境需要在 Linux 下部署，大數(shù)據(jù)開發(fā)人員必須對 Linux 系統(tǒng)有相應(yīng)的了解。學(xué)習(xí)內(nèi)容包括 Linux 操作系統(tǒng)的安裝配置、文件系統(tǒng)管理、用戶及用戶組管理、進(jìn)程管理、資 源管理、vim 編輯器使用、Linux 下軟件安裝、shell 編程等內(nèi)容 |
| 云平臺使用 | 才高大數(shù)據(jù)課程采用全云化教學(xué)，講師授課、學(xué)員學(xué)習(xí)、練習(xí)、項(xiàng)目運(yùn)行部署、性能測試等都在真實(shí)云平臺上進(jìn)行，模擬企業(yè)真實(shí)環(huán)境。此處講授云平臺的使用。 |
| RedisRedis SpringBoot 整合 | redis 簡介，雪崩 / 緩存擊穿，hash、string、list、set、zset、jedis 數(shù)據(jù)分片，jedis 數(shù)據(jù)分片連接池，jedis 的 hash 一致性，redis 主從復(fù)制，哨兵集群，redis-cluster，redis 集群的道 |
| Mycat Mycat 與 SpringBoot 整合 | mycat 簡介，mysql 主從復(fù)制，mycat 讀寫分離，mycat 配置詳解 |
| Rabbitmq Rabbitmq 與 SpringBoot 整合 | rabbimq 消息隊(duì)列，connection，channle，exchange，消息生產(chǎn)者和消費(fèi)者，消息傳遞simple 模式，work 模式，publish 模式，routing 模式，topic 模式，秒殺案例 |
| Lucene | lucene 概述，分詞系統(tǒng)，索引概念，倒排索引，索引創(chuàng)建，索引刪除，索引更新，詞項(xiàng)搜索，布爾搜索，范圍搜索，前綴搜索，多關(guān)鍵字搜索，模糊搜索，通配符搜索 |
| ElasticSearch ES 與 SpringBoot 整合 | 搜索系統(tǒng)概括，搜索引擎框架，solr安裝與配置詳解，elasticseacher安裝與配置詳解，集群搭建 |
| 爬蟲 | jsoup 爬蟲，爬取網(wǎng)站，爬取頁面，爬取二次提交數(shù)據(jù)，爬取定位信息，模擬瀏覽器頭爬取網(wǎng)站，爬取京東數(shù)據(jù)落地?cái)?shù)據(jù)庫 |
| Ngnix | http 服務(wù)器，反向代理，入門配置，server 配置，location 匹配，負(fù)載均衡輪詢、權(quán)重、session 黏著，hash 取余 |
| Easymall 項(xiàng)目整合 | 整合springboot 開發(fā)系統(tǒng)，整合redis，mycat，Ngnix 負(fù)載均衡，rabbitmq消息隊(duì)列，lucene搜索技術(shù)； 跨域訪問，調(diào)用服務(wù)使用互聯(lián)網(wǎng)架構(gòu)技術(shù)，將EasyMall 項(xiàng)目重構(gòu)為分布式技術(shù)架構(gòu)的大型電商項(xiàng)目，可承受高并發(fā)，具有高可用的特點(diǎn)。后臺商品管理：負(fù)責(zé)商品的增刪改查，圖片上傳，商品分類樹前臺系統(tǒng)：商品前臺分類樹，商品查看，登錄，購物車等等。 |
| SpringCloud 微服務(wù)整合 | 微服務(wù)概括 springcloud-config；springcloud-eureka；springcloud-ribbon；springcloud-hystrix；springcloud-zuul；springcloud-feign； |
| 大數(shù)據(jù)高并發(fā)基礎(chǔ) | |
| 大數(shù)據(jù) java 加強(qiáng) | 學(xué)習(xí) java 中關(guān)于 Concurrent 高并發(fā)包、NIO、序列化反序列化（AVRO）、RPC 等相關(guān)知識，掌握 zookeeper、sq |
| 大數(shù)據(jù)離線數(shù)據(jù)分析 | |
| Hadoop | Hadoop 是的大數(shù)據(jù)處理工具，包括分布式數(shù)據(jù)存儲系統(tǒng) HDFS、分布式數(shù)據(jù)計(jì)算框架 MapReduce 和資源協(xié)調(diào)框架 Yarn 三大組件。HDFS: 詳細(xì)講解 HDFS 使用方式、存儲機(jī)制、可靠性保證、上傳、下載、刪除等實(shí)現(xiàn)原理、Java 開發(fā) Api、開發(fā)等內(nèi)容 MapReduce: 詳細(xì)講解 MR 理論基礎(chǔ)、開發(fā)方式、序列化機(jī)制、分區(qū)機(jī)制、Combiner 機(jī)制、shuffle 詳細(xì)流程、MR 案例、MR 性能優(yōu)化等內(nèi)容Yarn: 介紹 Yarn 資源協(xié)調(diào)框架的基本原理、使用及調(diào)優(yōu)。Hadoop 是大數(shù)據(jù)生態(tài)中的組件，在行業(yè)中應(yīng)用廣泛，是學(xué)習(xí)大數(shù)據(jù)重要的技術(shù)之一 |
| Flume | Flume 是大數(shù)據(jù)生態(tài)環(huán)境中流行的日志收集框架，基于其靈活的可廣泛配置的使用方式及優(yōu)良的效率被廣泛的應(yīng)用在大數(shù)據(jù)生產(chǎn)環(huán)境中。 課程中詳細(xì)講解了 Flume 的 Source、Channel、Sink、Selector、Interceptor、Processor 等組件的使用。 并通過美團(tuán)的案例，展示了 Flume 企業(yè)級應(yīng)用場景的實(shí)現(xiàn)方式，并在后續(xù)項(xiàng)目中有大量的應(yīng)用。 |
| hive | 是基于 Hadoop 的數(shù)據(jù)倉庫工具，通過將結(jié)構(gòu)化的數(shù)據(jù)文件映射為 HIVE 中的表，并提供類 SQL 的語法實(shí)現(xiàn)數(shù)據(jù)處理。 學(xué)習(xí)內(nèi)容包括 hive 的安裝配置、hive 的元數(shù)據(jù)庫、hive 的內(nèi)部表外部表、hive 的分區(qū)表、hive 的分桶表、hive 的語法、hive 的 UDF 等內(nèi)容 |
| HBase | HBase 是一種分布式、面向列的基于 hadoop 的非關(guān)系型數(shù)據(jù)庫，適合存儲半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)，基于其優(yōu)良的設(shè)計(jì)，可以提供良好的實(shí)時(shí)數(shù)據(jù)存取能力，并提供的橫向擴(kuò)展能力，在企業(yè)級大數(shù)據(jù)開發(fā)中占用重要地位。課程中詳細(xì)介紹了 Hbase 使用方式、Hbase 邏輯結(jié)構(gòu)、Hbase 的理論基礎(chǔ) -LSM 樹、Hbase 的實(shí)現(xiàn)原理、Hbase 表設(shè)計(jì)原則等內(nèi)容，從理論 |
| zebra項(xiàng)目 | 目名稱：zebra 電信日志數(shù)據(jù)分析項(xiàng)目 業(yè)務(wù)背景：電信行業(yè)通過大量的電信基站為移動(dòng)設(shè)備提供 3G、4G 網(wǎng)絡(luò)信號，在移動(dòng)設(shè)備通過基站訪問網(wǎng)絡(luò)的過程中，基站將會記錄所有的訪問數(shù)據(jù)，此項(xiàng)目通過大數(shù)據(jù)離線分析技術(shù)分析這些日志，得到相關(guān)的業(yè)務(wù)結(jié)論指導(dǎo)行業(yè)改進(jìn)。 學(xué)習(xí)目標(biāo)：通過學(xué)習(xí) zebra 電信日志分析項(xiàng)目，掌握企業(yè)級大數(shù)據(jù)離線分析技術(shù) 應(yīng)用的技術(shù)：flume 收集日志，采用三層結(jié)構(gòu)實(shí)現(xiàn) 日志收集 聚集 終持久化到 hadoop hdfs 中 并實(shí)現(xiàn)日志收集過程中的失敗恢復(fù)及負(fù)載均衡；hadoop hdfs 分布式存儲收集到的日志數(shù)據(jù) ，hadoop mapreduce 進(jìn)行日志清洗、格式轉(zhuǎn)換； hive 進(jìn)行日志處理、業(yè)務(wù)規(guī)則計(jì)算，按照不同維度分時(shí)段統(tǒng)計(jì)應(yīng)用受歡迎程度、網(wǎng)站受歡迎程度、 小區(qū)上網(wǎng)能力、小區(qū)上網(wǎng)喜好等信息；sqoop 技術(shù)將處理完成的結(jié)果導(dǎo)出到關(guān)系型數(shù)據(jù)庫；ECharts 通過 web 技術(shù)實(shí)現(xiàn)結(jié)果數(shù)據(jù)的可視化；Zookeeper 作為集群協(xié)調(diào)、集群狀態(tài)監(jiān)控工具。 |
| 大數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)分析 | |
| Storm | Storm是數(shù)據(jù)行業(yè)中流行的大數(shù)據(jù)實(shí)時(shí)分析框架之一，是一個(gè)分布式的、高容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)，能夠?qū)崿F(xiàn)具有可靠性保障的分布式實(shí)時(shí)數(shù)據(jù)處理，在行業(yè)中廣泛應(yīng)用。 在課程中講解包括 Storm 基礎(chǔ) 、可靠性保證、并發(fā)控制、實(shí)現(xiàn)原理、 |
| Kafka | Kafka 是一種具有高吞吐能力的分布式發(fā)布訂閱消息系統(tǒng)，具有傳統(tǒng)消息隊(duì)列相關(guān)特性，此外具有一些獨(dú)特的設(shè)計(jì)，可以實(shí)現(xiàn)分布式持久化的消息隊(duì)列，在實(shí)時(shí)處理過程中通常用做數(shù)據(jù)緩存，為實(shí)時(shí)處理系統(tǒng)提供緩沖能力。在課程中包括 kafka 的安裝配置、基本概念、實(shí)現(xiàn)原理、可靠性保障等相關(guān)理論及應(yīng)用相關(guān)內(nèi)容。 |
| 分布式編程思想 | 大數(shù)據(jù)問題的本質(zhì)是海量數(shù)據(jù)，大數(shù)據(jù)解決方案的核心理念是分布式，分布式場景有其獨(dú)特的問題、解決方案、設(shè)計(jì)思想，本節(jié)通過討論分布式在各種技術(shù)背景、業(yè)務(wù)場景下的應(yīng)用，揭示分布式技術(shù)的原理及應(yīng)用原則 |
| 網(wǎng)站流量分析項(xiàng)目 | 名稱：電商網(wǎng)站流量分析項(xiàng)目 學(xué)習(xí)目標(biāo)：通過電商網(wǎng)站流量分析項(xiàng)目掌握企業(yè)級大數(shù)據(jù)離線分析、實(shí)時(shí)分析的的架構(gòu)設(shè)計(jì)、技術(shù)應(yīng)用及業(yè)務(wù)開發(fā)流程 業(yè)務(wù)背景：網(wǎng)站在運(yùn)營過程中除了產(chǎn)生大量的業(yè)務(wù)數(shù)據(jù)外還會產(chǎn)生大量的用戶行為數(shù)據(jù)，包括用戶訪問網(wǎng)站時(shí)鼠標(biāo)點(diǎn)擊、瀏覽器信息、會話信息、語言環(huán)境、所處地域等相關(guān)信息，網(wǎng)站流量分析項(xiàng)目通過大數(shù)據(jù)離線、實(shí)時(shí)分析技術(shù)，分析用戶產(chǎn)生的大量行為數(shù)據(jù)，得到網(wǎng)站運(yùn)行方關(guān)注的各項(xiàng)業(yè)務(wù)指標(biāo)數(shù)據(jù)，引導(dǎo)網(wǎng)站改進(jìn)其頁面布局、廣告投放等相關(guān)運(yùn)營行為，提升網(wǎng)站運(yùn)行效率。 應(yīng)用的技術(shù)： 通過在網(wǎng)站的前臺頁面中進(jìn)行 js 埋點(diǎn)收集用戶訪問網(wǎng)站的行為信息； 通過 Ngnix 和 Tomcat 服務(wù)器集群收集用產(chǎn)生的行為數(shù)據(jù)，并通過 Flume 來進(jìn)行收集、匯聚數(shù)據(jù)并分發(fā)到 HDFS 和 Kafka 為離線分析和實(shí)時(shí)分析提供數(shù)據(jù)來源；離線分析中通過 MR、Hive 等技術(shù)實(shí)現(xiàn)業(yè)務(wù)指標(biāo)的離線計(jì)算，并通過 Sqoop 導(dǎo)出結(jié)果數(shù)據(jù)到關(guān)系型數(shù)據(jù)庫；實(shí)時(shí)分析中通過 Storm 消費(fèi) Kafka 中的數(shù)據(jù)實(shí)現(xiàn)實(shí)時(shí)計(jì)算，中間數(shù)據(jù)通過 HBase 進(jìn)行存儲，結(jié)果數(shù)據(jù)通過 JDBC 寫出到關(guān)系型數(shù)據(jù)庫中；終通過大數(shù)據(jù)可視化技術(shù)將結(jié)果數(shù)據(jù)展示給終用戶。計(jì)算指標(biāo)包括網(wǎng)站的 PV、UV、VV、Bounce Rate、 ip、平均在線時(shí)長、新訪客、訪問深度等信息。整個(gè)系統(tǒng)分為數(shù)據(jù)收集、數(shù)據(jù)傳遞、數(shù)據(jù)分析三 |
地理位置 Location
