在本教學中，我們將討論 Pig & Hive

Pig簡介

在Map Reduce框架，需要的程序將其轉化為一係列 Map 和 Reduce階段。 但是，這不是一種編程模型，它被數據分析所熟悉。因此，為了彌補這一差距，一個抽象概念叫 Pig 建立在 Hadoop 之上。

Pig是一種高級編程語言，分析大數據集非常有用。 Pig 是雅虎努力開發的結果

Pig 使人們能夠更專注於分析大量數據集和花更少的時間來寫map-reduce程序。

類似豬吃東西，Pig 編程語言的目的是可以在任何類型的數據工作。

Pig 由兩部分組成：

1. Pig Latin，這是一種語言
2. 運行環境，用於運行PigLatin程序

Pig Latin 程序由一係列操作或變換應用到輸入數據，以產生輸出。這些操作描述被翻譯成可執行到數據流，由 Pig 環境執行。下麵，這些轉換的結果是一係列的 MapReduce 作業，程序員是不知道的。所以，在某種程度上，Pig 允許程序員關注數據，而不是執行過程。

Pig Latin 是一種相對硬挺的語言，它采用熟悉的關鍵字來處理數據，例如，Join, Group 和 Filter。

執行模式：

Pig 有兩種執行模式：

1. 本機模式：在此模式下，Pig 運行在單個JVM，並使用本地文件係統。這種模式隻適合使用 Pig 小數據集合分析。
2. Map Reduce模式：在此模式下，寫在 Pig Latin 的查詢被翻譯成MapReduce 作業，並 Hadoop 集群上運行(集群可能是偽或完全分布式的)。 MapReduce 模式完全分布式集群對大型數據集運行 Pig 很有用的。

HIVE 介紹

在某種程度上數據集收集的大小並在行業用於商業智能分析正在增長，它使傳統的數據倉庫解決方案更加昂貴。HADOOP與MapReduce框架，被用於大型數據集分析的替代解決方案。雖然，Hadoop 地龐大的數據集上工作證明是非常有用的，MapReduce框架是非常低級彆並且它需要程序員編寫自定義程序，這導致難以維護和重用。 Hive 就是為程序員設計的。

Hive 演變為基於Hadoop的Map-Reduce 框架之上的數據倉庫解決方案。

Hive 提供了類似於SQL的聲明性語言，叫作：HiveQL, 用於表達的查詢。使用 Hive-SQL，用戶能夠非常容易地進行數據分析。

Hive 引擎編譯這些查詢到 map-reduce作業中並在 Hadoop 上執行。此外，自定義 map-reduce 腳本，也可以插入查詢。Hive運行存儲在表中，它由基本數據類型，如數組和映射集合的數據類型的數據。

配置單元帶有一個命令行shell接口，可用於創建表並執行查詢。

Hive 查詢語言是類似於SQL，它支持子查詢。通過Hive查詢語言，可以使用 MapReduce 跨Hive 表連接。它有類似函數簡單的SQL支持- CONCAT, SUBSTR, ROUND 等等, 聚合函數 - SUM, COUNT, MAX etc。它還支持GROUP BY和SORT BY子句。 另外，也可以在配置單元查詢語言編寫用戶定義的功能。

MapReduce，Pig 和 Hive 的比較