hive复杂数据类型如何做数据统计

Hive支持多种复杂数据类型，如数组（ARRAY）、结构体（STRUCT）、Map等

1. 数组（ARRAY）

假设我们有一个表user_info，其中有一个数组类型的列hobbies，包含用户的兴趣爱好。

CREATE TABLE user_info (id INT,name STRING,hobbies ARRAY<STRING>);

要统计每个用户的兴趣爱好数量，可以使用explode函数将数组展开，然后使用GROUP BY和COUNT函数进行统计。

SELECTid,name,COUNT(hobby) AS hobby_countFROM(SELECT id, name, explode(hobbies) AS hobby FROM user_info) subGROUP BYid,name;

2. 结构体（STRUCT）

假设我们有一个表user_info，其中有一个结构体类型的列address，包含用户的地址信息。

CREATE TABLE user_info (id INT,name STRING,address STRUCT<street:STRING, city:STRING, state:STRING, zip:STRING>);

要统计每个用户的地址信息数量，可以使用LATERAL VIEW和EXPLODE函数将结构体展开，然后使用GROUP BY和COUNT函数进行统计。

SELECTid,name,COUNT(address_item) AS address_countFROMuser_infoLATERAL VIEWexplode(STRUCT_COLUMNS(address)) address_items AS address_itemGROUP BYid,name;

3. Map

假设我们有一个表user_info，其中有一个Map类型的列extra_info，包含用户的额外信息。

CREATE TABLE user_info (id INT,name STRING,extra_info MAP<STRING, STRING>);

要统计每个用户的额外信息数量，可以使用LATERAL VIEW和EXPLODE函数将Map展开，然后使用GROUP BY和COUNT函数进行统计。

SELECTid,name,COUNT(extra_info_item) AS extra_info_countFROMuser_infoLATERAL VIEWexplode(extra_info) extra_info_items AS extra_info_itemGROUP BYid,name;

这些示例展示了如何使用Hive处理复杂数据类型并进行数据统计。根据实际需求和数据类型，可以灵活运用这些方法。