Sqoop作業
本章介紹如何創建和維護Sqoop作業。 Sqoop作業創建並保存導入和導出命令。它指定參數來識彆並調用已保存的工作。這種重新調用或重新執行用在增量導入,可以從RDBMS表到HDFS導入更新的行。
語法
以下是創建Sqoop作業的語法。
$ sqoop job (generic-args) (job-args) [-- [subtool-name] (subtool-args)] $ sqoop-job (generic-args) (job-args) [-- [subtool-name] (subtool-args)]
創建作業(--create)
在這裡,我們創建一個名為myjob,這可以從RDBMS表的數據導入到HDFS作業。下麵的命令用於創建一個從DB數據庫的employee表導入到HDFS文件的作業。
$ sqoop job --create myjob \ --import \ --connect jdbc:mysql://localhost/db \ --username root \ --table employee --m 1
驗證作業 (--list)
‘--list’ 參數是用來驗證保存的作業。下麵的命令用來驗證保存Sqoop作業的列表。
$ sqoop job --list
它顯示了保存作業列表。
Available jobs: myjob
檢查作業(--show)
‘--show’ 參數用於檢查或驗證特定的工作,及其詳細信息。以下命令和樣本輸出用來驗證一個名為myjob的作業。
$ sqoop job --show myjob
它顯示了工具和它們的選擇,這是使用在myjob中作業情況。
Job: myjob Tool: import Options: ---------------------------- direct.import = true codegen.input.delimiters.record = 0 hdfs.append.dir = false db.table = employee ... incremental.last.value = 1206 ...
執行作業 (--exec)
‘--exec’ 選項用於執行保存的作業。下麵的命令用於執行保存的作業稱為myjob。
$ sqoop job --exec myjob
它會顯示下麵的輸出。
10/08/19 13:08:45 INFO tool.CodeGenTool: Beginning code generation ...