AWS Lambda Layer(계층) 사용법 정리 (for Python)
AWS Lambda Layer 사용법에 대해 간단히 정리해본다. Layer(계층) 만들기 패키지 저장 명령어는 다음과 같다. pip i...
2024/01/20 # ETL AWS LambdaAWS Lambda Layer 사용법에 대해 간단히 정리해본다. Layer(계층) 만들기 패키지 저장 명령어는 다음과 같다. pip i...
2024/01/20 # ETL AWS LambdaS3 버킷 버전 관리 사용 시 정보에 대해 간단히 정리해본다. 버킷 생성 시 또는 추후 속성 설정에서 버전 관리를 활성화할 수 있다. 버...
2024/01/01 # ETL AWS S3Athena 테이블 DDL에 대해 간단히 정리해본다. 데이터 타입 데이터 타입은 아래 링크에서 확인할 수 있다. Data types i...
2023/12/25 # SQL AWS AthenaAWS Kinesis Data Firehose 사용 시 주의할 사항에 대해 알아본다. AWS VPC 간 통신 비용 보통 보안을 위해 Pr...
2023/12/18 # ETL AWS Firehose VPCEndpointAthena Partition Projection 활용 시 겪었던 주의할 사항에 대해 알아본다. 빅쿼리와 비교 빅쿼리는 테이블 정의 시 ...
2023/12/11 # ETL Athena S3DuckDB를 활용하여 SQL로 데이터 분석하는 법을 알아본다. 보통 데이터 분석은 Pandas로 시작한다. 하지만 데이터 크기가 커질수록...
2023/07/27 # ETL DuckDB SQLAthena의 Array 타입 활용하는 법을 알아본다. ARRAY 타입 기본 활용 ARRAY는 같은 타입으로만 구성되어야 한다. 중첩 A...
2021/10/18 # ETL Athena ArrayCTAS를 대체하는 UNLOAD를 Lambda와 활용하는 법을 알아본다. Athena 2에서 기존 CTAS보다 간편하게 사용할 수 있는 U...
2021/09/23 # ETL Athena UNLOAD Lambda S3 ParquetS3와 AWS Aurora MySQL 간 데이터를 주고받는 방법을 알아본다. Aurora MySQL에는 대용량 데이터를 쉽고 빠르게 S3와...
2021/04/04 # ETL RDS S32019년에 이어 소소하게 2020년 블로그 운영 결산을 해본다. 개요 2019년에 비해 2020년에 블로그 활동이 매우 줄어든 것을 반...
2021/01/20 # Note