hadoop - 結合 - hive 配列 要素数




Hiveで構造体の配列を分解する (2)

これは以下のハイブテーブルです

CREATE EXTERNAL TABLE IF NOT EXISTS SampleTable
(
USER_ID BIGINT,
NEW_ITEM ARRAY<STRUCT<PRODUCT_ID: BIGINT,TIMESTAMPS:STRING>>
)

これは上の表のデータです。

1015826235     [{"product_id":220003038067,"timestamps":"1340321132000"},{"product_id":300003861266,"timestamps":"1340271857000"}]

配列を爆発させた後、HiveQLから以下の出力を得る方法はありますか?

**USER_ID**  |  **PRODUCT_ID**  |   **TIMESTAMPS**
 ------------+------------------+----------------
1015826235      220003038067       1340321132000
1015826235      300003861266       1340271857000

更新しました

私は上記の形式で出力を得るためにこのクエリを書いたが、私が望むやり方で結果を与えるわけではない。

SELECT myTable1.myCol1,myTable2.myCol2 FROM sampletable st LATERAL VIEW 
explode(st.purchased_item.product_id) myTable1 AS myCol1 LATERAL VIEW 
explode(st.purchased_item.timestamps) myTable2 AS myCol2;

私がやっていることを誰かが助けてくれますか? どんな提案も感謝します。


Hive 0.10以降では、 inline(ARRAY<STRUCT[,STRUCT]>)使用することもできinline(ARRAY<STRUCT[,STRUCT]>) 。 構造体の配列をテーブルに分解します。


あなたは一度だけ爆発する必要があります(LATERAL VIEWと併せて)。 展開した後は、structの型になる新しい列(私の例ではprod_and_tsと呼ばれます)を使用することができます。 次に、この新しい構造体列のproduct_idおよびtimestampsメンバーを解決して、目的の結果を取得できます。

SELECT
   user_id,
   prod_and_ts.product_id as product_id,
   prod_and_ts.timestamps as timestamps
FROM 
   SampleTable 
   LATERAL VIEW explode(new_item) exploded_table as prod_and_ts;