Data Engineering/data preprocessing

pandas import

quantapia 2021. 3. 12. 09:52

read_csv 할때 데이터 안에 , 가 있는 경우

"" 로 감싸줘야한다.

 

검색해보면 serde 이용해서 복잡하게 external table 만들고 어렵게 하는데

hive에서 export 할때 편하게 할 수있는 방법은

 

concat 을 이용하는 거다.

 

hive>select card_no, member_no, concat('\"',title,'\"'),community_no from tb_personalRecsys