理解 MapReducer

本教學中的代碼分為 3 個部分：

解釋 SalesMapper 類

解釋 SalesCountryReducer 類

解釋 SalesCountryDriver 類

SalesMapper類的說明

在本節中，我們將了解 SalesMapper 類的實現。

我們首先指定類的包名稱。 SalesCountry 就是這個示例中使用的包名。請注意編譯的輸出，SalesMapper.class 將進入目錄並命名這個軟件包名稱：SalesCountry.

其次，我們導入庫軟件包。

以下快照顯示實現 SalesMapper 類 

代碼解釋:

1. SalesMapper 類定義

public class SalesMapper extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {...}

每一個 mapper 類必須從 MapReduceBase 類進行擴展，它必須實現 Mapper 接口。

2. 定義 'map' 函數

Mapper類的主要部分是接受四個參數的 “map()” 方法。

每次調用 'map()' 方法, 一個鍵值 key-value 對 ('key' 和 'value' 在代碼裡) 被傳遞。

'map()' 方法開始被接受拆分輸入文本作為一個參數，並使用分詞來拆分這些行成詞。

這裡，“,” 被用作分隔符。

在這之後，使用記錄在數組  'SingleCountryData' 中的第七索引，其值為 '1'.

        output.collect(new Text(SingleCountryData[7]), one);

我們在選擇第7索引記錄，因為我們需要的國家數據，它位於數組 'SingleCountryData' 的第七索引。

請注意，我們輸入的數據是下麵的格式 (Country 在索引的位置為：7,  0 是開始的索引)-

Transaction_date,Product,Price,Payment_Type,Name,City,State,Country,Account_Created,Last_Login,Latitude,Longitude

mapper的輸出使用的是 'OutputCollector' 的 'collect()' 方法的鍵值對.

SalesCountryReducer 類的說明

在本節中，我們將了解 SalesCountryReducer 類的實現。

1. 我們首先為類指定包的名稱。SalesCountry 是包的名稱。請注意編譯的輸出， SalesCountryReducer.class 將進入命名這個軟件包名稱目錄： SalesCountry.

其次，我們導入庫軟件包。

以下快照顯示實現 SalesCountryReducer 類

代碼解釋:

1. SalesCountryReducer 類定義 -

public class SalesCountryReducer extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> {

此處，前兩個數據類型， 'Text' 和 'IntWritable' 是輸入鍵值的數據類型到reducer。

映射器的輸出的形式<CountryName1, 1>, <CountryName2, 1>.映射器的輸出被輸入到reducer。所以，以配合其數據類型， Text 和 IntWritable 數據在這裡輸入被使用。

最後兩個數據類型，'Text' 和 'IntWritable' 是由 reducer 的鍵 - 值對的形式生成的輸出的數據類型。

每個 reducer 類必須從MapReduceBase類進行擴展，它必須實現 Reducer 接口。

2. Defining 'reduce' function-

輸入到 reduce() 方法是在具有多個值的列表中選擇一個鍵。

例如，在我們的示例中，這將是 -

<United Arab Emirates, 1>, <United Arab Emirates, 1>, <United Arab Emirates, 1>,<United Arab Emirates, 1>, <United Arab Emirates, 1>, <United Arab Emirates, 1>.

這賦予 reducer 作為 <United Arab Emirates, {1,1,1,1,1,1}>

因此，接受這種形式參數，前兩個數據類型的使用，即 Text 和 Iterator<IntWritable>. Text是一個數據類型的鍵 和 Iterator<IntWritable>為對於鍵的值的列表的數據類型。

接下來的參數的類型是 OutputCollector<Text,IntWritable> 它收集 reducer 階段的輸出。

reduce() 方法開始通過複製鍵值和初始化頻率計數為0。

        Text key = t_key;
        int frequencyForCountry = 0;

然後，使用 “while” 循環，我們通過與鍵關聯的值列表循環，並通過總結所有計算的值。

現在，結果中的鍵得到的頻率計數輸出到收集器。

下麵的代碼執行這個 -

        output.collect(key, new IntWritable(frequencyForCountry));

SalesCountryDriver類的說明

在本節中，我們將了解 SalesCountryDriver 類實現。

1. 我們首先為類指定包的名稱。 SalesCountry 是這裡使用的包名。請注意編譯的輸出， SalesCountryDriver.class 將進入命名這個包名稱的目錄: SalesCountry.

這裡一行指定是包名稱後麵的代碼是導入庫軟件包。

2. 定義一個用於創建一個新的客戶端工作，配置 Mapper及Reducer 類對象驅動程序類。

該驅動程序類負責設置我們的 MapReduce 作業在 Hadoop 運行。 在這個類中，我們指定作業名稱，輸入/輸出，mapper 和 reducer 類名稱的數據類型。

3. 在下麵的代碼片段中，我們設置這是用來輸入數據集消費和生產輸出，分彆輸入和輸出目錄。

arg[0] 和 arg[1] 是通過 MapReduce 的實際操作，也就是賦予在命令行參數執行命令，

$HADOOP_HOME/bin/hadoop jar ProductSalePerCountry.jar /inputMapReduce /mapreduce_output_sales

4. 觸發我們的作業

下麵的代碼開始執行 MapReduce 作業

try{
           // Run the job
           JobClient.runJob(job_conf);
       } catch(Exception e) {
           e.printStackTrace();
       }