Hive命令-分区篇
1、假设我们有一个表叫employee ，拥有如 Id， Name， Salary， Designation， Dept， 和 yoj (即加盟年份)字段。假设需要检索所有在2017年加入，查询搜索整个表所需的信息员工的详细信息。
2、hive 分区表：分区字段的物理表现：hive分区表 ，其真实的表现其实就是在 存储hive表的文件夹的下面，创建新的文件夹，文件夹的名字是 分区字段=字段取值 这种格式的。
3、目前，在利用hive建设数据仓库的过程中，总会遇见分区分桶的，跟传统的DBMS系统一样，通过表分区能够在特定的区域检索数据，减少扫描成本，在一定程度上提高查询效率。
4、于是hive的一种叫做动态分区的特性就出现了，它能够根据select出来的参数自动推断将数据插入到那个分区中去。本文上面的两种SQL语句设定分区的方式都叫做静态分区插入。
5、指定数据存放位置，如果没有指定，就会在hdfs的默认位置建立表文件。
6、但是，数据目录必须是Hive习惯路径格式：同时，建表时指定LOCATION为分区目录的父目录：这时，用命令 即可自动把所有的数据按dt分区，添加到gateway_analysis中。由于我们的目录格式不符合，只能用ADD PARTITION的方式了。
hive中创建外部分区表使用location是指定数据存放位置还是指数据来源...
外部表在创建时必须同时指定一个指向实际数据的路径（LOCATION），Hive在创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置作任何改变。
外部表与内部表相反，可以指定location，可以不基于hive来操作外部表文件。当表被删除或者分区被删除时对应的数据还会存在。只是hive删除了其元信息，表的数据文件依然存在于文件系统中。
EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION），Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。
在Hive中如何实现数据分区
语法：假设我们有一个表叫employee ，拥有如 Id， Name， Salary， Designation， Dept， 和 yoj (即加盟年份)字段。假设需要检索所有在2017年加入，查询搜索整个表所需的信息员工的详细信息。
那其实这个情况下，我们可以按照日期对数据表进行分区，不同日期的数据存放在不同的分区，在查询时只要指定分区字段的值就可以直接从该分区查找。在物理上分区表会将数据按照分区键的列值存储在表目录的子目录中，目录名=“分区键=键值”。
于是hive的一种叫做动态分区的特性就出现了，它能够根据select出来的参数自动推断将数据插入到那个分区中去。本文上面的两种SQL语句设定分区的方式都叫做静态分区插入。
：向表格之中插入数据，明确指定插入的分区的名字 2：向表格之中插入数据，不明确指定插入的数据的名字，而是根据插入的数据的某个字段的取值来自动决定数据 被插入到哪一个分区之中。被称为动态分区。
直接用hive load data 把天的数据导入月分区，导入时指定分区，不用提前创建。
Hive有个MSCK命令，可以扫描数据分区目录，修复元信息，目录与元信息不一致时，能自动更新。
关于hive中如何创建外部分区表并且自动指定相应分区?
1、在hive默认创建到表是内部表，外部表创建需要加 EXTERNAL 命令，如： CREATE EXTERNAL table_name 。
2、：向表格之中插入数据，明确指定插入的分区的名字 2：向表格之中插入数据，不明确指定插入的数据的名字，而是根据插入的数据的某个字段的取值来自动决定数据 被插入到哪一个分区之中。被称为动态分区。
3、只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符，Hive 就可以解析数据。Hive 中所有的数据都存储在 HDFS 中，Hive 中包含以下数据模型：表(Table)，外部表(External Table)，分区(Partition)，桶(Bucket)。
4、第一种方法是可以加上mapjoin指示 第二种方法是设置 set hive.auto.convert.join=true；来让hive自动优化。
5、EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION），Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。
6、hive先获取select的最后两个位置的se.cnty和se.st参数值，然后将这两个值填写到Insert语句partition中的两个country和state变量中，即动态分区是通过位置来对应分区值的。
hive数据库创建分区时提示已存在,但是在hdfs找不到这个分区l路径?
1、可能是分区信息没有添加到hive元数据表中。虽然分区文件有了，但是也得在数据表中把9870的数据加上。解决方法：运行命令msckrepairtable9870，修复hive分区将分区信息加到元数据表即可。
2、hdfs显示但是hive里面没有的话，很可能hive配置使用的是自带的deby数据库。hive的配置文件弄好，如果用sqoop的话，把hive的配置文件hive-site.sh拷贝一份到sqoop的conf目录下，让sqoop知道保存的数据是到mysql元数据库的hive。
3、去hdfs中没有这个目录，我就手动添加 显示添加失败，经过尝试要在目录前添加-p函数，并且添加namenode的域名（机器名）和端口.创建成功后，重新打开hive使用，创建hive表，依然失败，一样的报错，无法找到/user目录。
4、说明：hive 的表存放位置模式是由 hive-site.xml 当中的一个属性指定的，默认是存放在该配置文件设置的路径下，也可在创建数据库时单独指定存储路径。
5、如果把OVERWRITE关键字删掉，或者替换成INTO，则hive会追加而不是替代原分区或原表中的数据，这个特性在Hive v0.0之后才支持。
6、只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符，Hive 就可以解析数据。Hive 中所有的数据都存储在 HDFS 中，Hive 中包含以下数据模型：表(Table)，外部表(External Table)，分区(Partition)，桶(Bucket)。
