aws-sdk-pandas Lambda로 활용하기

Lambda에서 활용가능한 aws-sdk-pandas에 대해 간단히 알아본다. github 주소 : aws-sdk-pandas (panda...

2024/06/20   # ETL Lambda

EC2의 EBS 볼륨 사이즈 줄이기(교체)

EC2의 EBS 볼륨 사이즈 줄이는 방법에 대해 알아본다. EBS는 축소 불가 EBS는 기본적으로 볼륨 확장은 가능하지만 축소는 불가능하...

2024/05/14   # DevOps EC2 EBS

optional label과 비용효과적인 Protobuf 처리

optional label과 비용효과적인 Protobuf 처리에 대해 알아본다. 이전 상황 센서 데이터를 protobuf로 형식으로 받아...

2024/04/24   # ETL Protobuf Python Firehose

SQL로 PIVOT 테이블 만들기(2)

SQL로 PIVOT 테이블 만드는 방법에 대해 간단히 정리해본다. SQL 기준 : ATHENA DuckDB 아래 stackoverflow...

2024/03/06   # SQL Athena DuckDB

Geospatial(2) - 위경도 좌표 간 거리 계산하기

위경도 좌표 간 거리 계산하는 방법에 대해 간단히 정리해본다. SQL 기준 : ATHENA GEOGRAPHY 타입 GEOGRAPHY는 ...

2024/02/26   # SQL Athena DuckDB

Geospatial(1) - 특정 Polygon 안에 포함된 위치 데이터 검색

특정 Polygon 안에 포함된 위치 데이터 검색 방법에 대해 간단히 정리해본다. SQL 기준 : ATHENA DuckDB GEOMETR...

2024/02/20   # SQL Athena DuckDB

N-interval(N시간 간격) 데이터 처리하기

N-interval(N시간 간격) 데이터 처리하는 방법에 대해 간단히 정리해본다. 참고: stakoverflow를 보고 배웠으나 기존 링크...

2024/02/19   # SQL Athena DuckDB

AWS Lambda Layer(계층) 사용법 정리 (for Python)

AWS Lambda Layer 사용법에 대해 간단히 정리해본다. Layer(계층) 만들기 패키지 저장 명령어는 다음과 같다. pip i...

2024/01/20   # ETL AWS Lambda

S3 버킷 버전 관리 간단 정리

S3 버킷 버전 관리 사용 시 정보에 대해 간단히 정리해본다. 버킷 생성 시 또는 추후 속성 설정에서 버전 관리를 활성화할 수 있다. 버...

2024/01/01   # ETL AWS S3

Athena 테이블 DDL 간단 정리

Athena 테이블 DDL에 대해 간단히 정리해본다. 데이터 타입 데이터 타입은 아래 링크에서 확인할 수 있다. Data types i...

2023/12/25   # SQL AWS Athena