Hive創建表
本章將介紹如何創建一個表以及如何將數據插入。創造表的約定在Hive中非常類似於使用SQL創建表。
CREATE TABLE語句
Create Table是用於在Hive中創建表的語句。語法和示例如下:
語法
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [ROW FORMAT row_format] [STORED AS file_format]
示例
假設需要使用CREATE TABLE語句創建一個名為employee表。下表列出了employee表中的字段和數據類型:
Sr.No | 字段名稱 | 數據類型 |
---|---|---|
1 | Eid | int |
2 | Name | String |
3 | Salary | Float |
4 | Designation | string |
下麵的數據是一個注釋,行格式字段,如字段終止符,行終止符,並保存的文件類型。
COMMENT ‘Employee details’ FIELDS TERMINATED BY ‘\t’ LINES TERMINATED BY ‘\n’ STORED IN TEXT FILE
下麵的查詢創建使用上述數據的表名為 employee。
hive> CREATE TABLE IF NOT EXISTS employee ( eid int, name String, > salary String, destination String) > COMMENT ‘Employee details’ > ROW FORMAT DELIMITED > FIELDS TERMINATED BY ‘\t’ > LINES TERMINATED BY ‘\n’ > STORED AS TEXTFILE;
如果添加選項IF NOT EXISTS,Hive 忽略大小寫,萬一表已經存在的聲明。
成功創建表後,能看到以下回應:
OK Time taken: 5.905 seconds hive>
JDBC 程序
以下是使用JDBC程序來創建表給出的一個例子。
import java.sql.SQLException; import java.sql.Connection; import java.sql.ResultSet; import java.sql.Statement; import java.sql.DriverManager; public class HiveCreateTable { private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver"; public static void main(String[] args) throws SQLException { // Register driver and create driver instance Class.forName(driverName); // get connection Connection con = DriverManager.getConnection("jdbc:hive://localhost:10000/userdb", "", ""); // create statement Statement stmt = con.createStatement(); // execute statement stmt.executeQuery("CREATE TABLE IF NOT EXISTS " +" employee ( eid int, name String, " +" salary String, destignation String)" +" COMMENT ‘Employee details’" +" ROW FORMAT DELIMITED" +" FIELDS TERMINATED BY ‘\t’" +" LINES TERMINATED BY ‘\n’" +" STORED AS TEXTFILE;"); System.out.println(“ Table employee created.”); con.close(); } }
將該程序保存在一個名為HiveCreateDb.java文件。下麵的命令用於編譯和執行這個程序。
$ javac HiveCreateDb.java $ java HiveCreateDb
輸出
Table employee created.
LOAD DATA語句
一般來說,在SQL創建表後,我們就可以使用INSERT語句插入數據。但在Hive中,可以使用LOAD DATA語句插入數據。
同時將數據插入到Hive,最好是使用LOAD DATA來存儲大量記錄。有兩種方法用來加載數據:一種是從本地文件係統,第二種是從Hadoop文件係統。
語法
加載數據的語法如下:
LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]
- LOCAL是標識符指定本地路徑。它是可選的。
- OVERWRITE 是可選的,覆蓋表中的數據。
- PARTITION 這是可選的
示例
我們將插入下列數據到表中。在/home/user目錄中名為sample.txt的文件。
1201 Gopal 45000 Technical manager 1202 Manisha 45000 Proof reader 1203 Masthanvali 40000 Technical writer 1204 Kiran 40000 Hr Admin 1205 Kranthi 30000 Op Admin
下麵的查詢加載給定文本插入表中。
hive> LOAD DATA LOCAL INPATH '/home/user/sample.txt' > OVERWRITE INTO TABLE employee;
下載成功完成,能看到以下回應:
OK Time taken: 15.905 seconds hive>
JDBC 程序
下麵給出的是JDBC程序將給定的數據加載到表中。
import java.sql.SQLException; import java.sql.Connection; import java.sql.ResultSet; import java.sql.Statement; import java.sql.DriverManager; public class HiveLoadData { private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver"; public static void main(String[] args) throws SQLException { // Register driver and create driver instance Class.forName(driverName); // get connection Connection con = DriverManager.getConnection("jdbc:hive://localhost:10000/userdb", "", ""); // create statement Statement stmt = con.createStatement(); // execute statement stmt.executeQuery("LOAD DATA LOCAL INPATH '/home/user/sample.txt'" + "OVERWRITE INTO TABLE employee;"); System.out.println("Load Data into employee successful"); con.close(); } }
將該程序保存在一個名為HiveLoadData.java文件。使用下麵的命令來編譯和執行這個程序。
$ javac HiveLoadData.java $ java HiveLoadData
輸出:
Load Data into employee successful