S3 버킷 버전 관리 간단 정리
S3 버킷 버전 관리 사용 시 정보에 대해 간단히 정리해본다. 버킷 생성 시 또는 추후 속성 설정에서 버전 관리를 활성화할 수 있다. 버...
2024/01/01 # ETL AWS S3S3 버킷 버전 관리 사용 시 정보에 대해 간단히 정리해본다. 버킷 생성 시 또는 추후 속성 설정에서 버전 관리를 활성화할 수 있다. 버...
2024/01/01 # ETL AWS S3Athena 테이블 DDL에 대해 간단히 정리해본다. 데이터 타입 데이터 타입은 아래 링크에서 확인할 수 있다. Data types i...
2023/12/25 # SQL AWS AthenaAWS Kinesis Data Firehose 사용 시 주의할 사항에 대해 알아본다. AWS VPC 간 통신 비용 보통 보안을 위해 Pr...
2023/12/18 # ETL AWS Firehose VPCEndpointAthena Partition Projection 활용 시 겪었던 주의할 사항에 대해 알아본다. 빅쿼리와 비교 빅쿼리는 테이블 정의 시 ...
2023/12/11 # ETL Athena S3DuckDB를 활용하여 SQL로 데이터 분석하는 법을 알아본다. 보통 데이터 분석은 Pandas로 시작한다. 하지만 데이터 크기가 커질수록...
2023/07/27 # ETL DuckDB SQLAthena의 Array 타입 활용하는 법을 알아본다. ARRAY 타입 기본 활용 ARRAY는 같은 타입으로만 구성되어야 한다. 중첩 A...
2021/10/18 # ETL Athena ArrayCTAS를 대체하는 UNLOAD를 Lambda와 활용하는 법을 알아본다. Athena 2에서 기존 CTAS보다 간편하게 사용할 수 있는 U...
2021/09/23 # ETL Athena UNLOAD Lambda S3 ParquetS3와 AWS Aurora MySQL 간 데이터를 주고받는 방법을 알아본다. Aurora MySQL에는 대용량 데이터를 쉽고 빠르게 S3와...
2021/04/04 # ETL RDS S32019년에 이어 소소하게 2020년 블로그 운영 결산을 해본다. 개요 2019년에 비해 2020년에 블로그 활동이 매우 줄어든 것을 반...
2021/01/20 # NoteAthena로 대용량 CSV 데이터를 Parquet로 변환하는 방법을 알아본다. 21/5/12 기준 그동안 쿼리 문제가 있는 걸 확인했으며...
2020/10/09 # ETL Athena S3 Parquet CTASAWS Glue 테스트 환경을 간단하게 생성하고 활용하는 방법을 알아본다. Glue는 DynamicFrame이라는 SparkDataFram...
2020/09/22 # ETL Glue DevEndpoint Dockerredash DataSource에 google sheets를 연결해본다. redash에서 기본적으로 잘 정리된 문서와 영상을 제공해주지만 ...
2020/09/08 # DataViz redash google sheetsAWS EC2, GCP VM Instance에 SSH로 접속하는 법을 간단히 정리한다. 주의 이 방법은 보안이슈가 생길 수 있기 때문에...
2020/07/22 # DevOps ssh AWS GCPserverless framework을 활용하여 AWS Lambda를 배포해본다. AWS에서 Python 기반 Lambda를 배포할 때 C...
2020/05/13 # DevOps AWS Lambda Python ServerlessSuperset의 Country Map 차트에서 대한민국을 시각화해본다. Superset 0.36 기준 Superset에서 Countr...
2020/04/19 # DataViz Superset