數(shù)據(jù)層交換和高性能并發(fā)處理

數(shù)據(jù)層交換和高性能并發(fā)處理

數(shù)據(jù)層交換和高性能并發(fā)處理（開源ETL大數(shù)據(jù)治理工具--KETTLE使用及二次開發(fā) ）

課程講師：李傲

課程分類：大數(shù)據(jù)

適合人高級

課時數(shù)量：15課時

更新程度：完畢

用到技術(shù)：KETTLE、spoon使用

涉及項目：源碼分析、二次開發(fā)、流程設(shè)計

課程大綱：

1.ETL簡介開源KETTLE（1課時）

介紹KETTLE在大數(shù)據(jù)應(yīng)用的位置和作用。

主要講解ETL是什么，KETTLE進行簡單介紹，并且使用例子進行KETTLE的使用介紹。

介紹KETTLE流程的部署。

2.KETTLE使用（1課時）

詳細(xì)介紹KETTLE的spoon使用

KETTLE的trans和job入門

KETTLE的日志和調(diào)試工具使用

3. KETTLE之Step流程設(shè)計（3課時）

編寫例子介紹KETTLE常用的轉(zhuǎn)換、清洗組件

主要完成以下插件：

輸入插件：

文本文件輸入、生成記錄、表輸入、Fixed file input、Get data from XML

輸出插件：

XML輸出、刪除、插入更新、文本文件輸出、更新、表輸出

轉(zhuǎn)換插件：

Add a checksum、Replace in string、Set field value、Unique rows（HashSet）、

增加常量、增加序列、字段選擇、拆分字段

Flow插件：

Abort、Switchcase、空操作、過濾記錄

腳本插件：

Modified Java Script Value、執(zhí)行SQL腳本

查詢插件：

File exists、Table exists、調(diào)用DB存儲過程

4. KETTLE之Job流程設(shè)計（2課時）

編寫例子介紹KETTLE常用的作業(yè)組件

主要完成以下插件：

通用插件：

START、DUMMY、Transformation、Success

文件管理插件：

Copy Files、Compare folders、Create a folder、Create file、Delete files、Delete folders、

File Compare、Move Files、Wait for file、Zip file、Unzip file

條件插件：

Check Db connections、Check files locked、Check if a folder is empty、Check if files exist、

File Exists、Table exists、Wait for

腳本插件：

Shell、SQL

Utility插件：

Ping a host、Truncate tables

文件傳輸插件：

Upload files to FTPS、Get a file with FTPS、FTP Delete

Kettle與Hadoop的聯(lián)合使用

5. KETTLE之流程性能調(diào)優(yōu)與監(jiān)控（1課時）

介紹KETTLE的流程監(jiān)控功能

介紹KETTLE的性能優(yōu)化方法

6. KETTLE之嵌入開發(fā)（1課時）

編寫程序介紹KETTLE的流程如何嵌入到我們的java應(yīng)用中

主要包括java嵌入trans以及job流程

7. KETTLE之自定義Step、Job插件制作（3課時）

編寫Step和Job模板，并給大家作為二次開發(fā)的基礎(chǔ)工程使用，提高大家的開發(fā)效率。

編寫程序說明Step和Job插件的開發(fā)方法。

8. KETTLE之?dāng)?shù)據(jù)同步方案（1課時）

介紹5種數(shù)據(jù)同步方案，并且這5種方案都是支持異構(gòu)數(shù)據(jù)同步的。

包括全量快速同步方案和增量同步方案

9. KETTLE之分區(qū)、集群以及原理（1課時）

介紹KETTLE的分區(qū)原理，并且講解配置使用。

介紹KETTLE的集群原理，并且講解配置使用，以及監(jiān)控方法。

10. KETTLE之源碼分析與二次開發(fā)（1課時）

介紹KETTLE的SRC導(dǎo)入ECLIPSE方法，以及打包和運行方法。

分析KETTLE的包結(jié)構(gòu)以及運行流程，講解KETTLE的運行原理。