YA-Hwang 기술 블로그

Airflow의 AthenaOperator 활용하기

Airflow의 AthenaOperator를 활용하는 방법을 간단하게 정리한다. airflow 2.10.5 버전을 기준으로 작성되었다. ...

2025/05/19 # dataops airflow athena

Kibana에서 Map을 활용한 geospatial 필터링 대시보드 구성하는 방법을 알아본다. 개요 Kibana에서는 Map을 활용하여 ...

2025/04/07 # DataViz kibana map

kubernetes 네임스페이스 간 secret 간단히 복사하는 법을 알아본다. 개요 Kubernetes 클러스터 내에서 네임스페이스는 ...

2025/03/06 # Dev k8s reflector

Vector aggregator를 consumer로 사용했을 때 성능을 간단히 확인해본다. Vector by datadog 사용기 ( wi...

2025/01/31 # ETL vector k8s grafana

Vector by datadog 사용한 후기를 간단히 정리한다. Vector는 A lightweight, ultra-fast tool fo...

2024/12/29 # ETL vector k8s

pandas보다 데이터를 빠르게 저장하는 법에 대해 간단히 정리한다. pandas를 편해서 사용하다 보니 생각보다 I/O 작업에 시간이 오...

2024/10/07 # ETL duckdb polars pyarrow

Athena에서 Apache Iceberg 테이블 활용하는 법에 대해 간단히 정리한다. TIME TRAVEL & ROLLBACK ...

2024/09/03 # ETL Athena Iceberg

Athena에서 Apache Iceberg 테이블 활용하는 법에 대해 간단히 정리한다. Apache Iceberg는 The open tab...

2024/07/31 # ETL Athena Iceberg

Lambda에서 활용가능한 aws-sdk-pandas에 대해 간단히 알아본다. github 주소 : aws-sdk-pandas (panda...

2024/06/20 # ETL Lambda

EC2의 EBS 볼륨 사이즈 줄이는 방법에 대해 알아본다. EBS는 축소 불가 EBS는 기본적으로 볼륨 확장은 가능하지만 축소는 불가능하...

2024/05/14 # DevOps EC2 EBS

optional label과 비용효과적인 Protobuf 처리에 대해 알아본다. 이전 상황 센서 데이터를 protobuf로 형식으로 받아...

2024/04/24 # ETL Protobuf Python Firehose

SQL로 PIVOT 테이블 만드는 방법에 대해 간단히 정리해본다. SQL 기준 : ATHENA DuckDB 아래 stackoverflow...

2024/03/06 # SQL Athena DuckDB

위경도 좌표 간 거리 계산하는 방법에 대해 간단히 정리해본다. SQL 기준 : ATHENA GEOGRAPHY 타입 GEOGRAPHY는 ...

2024/02/26 # SQL Athena DuckDB

특정 Polygon 안에 포함된 위치 데이터 검색 방법에 대해 간단히 정리해본다. SQL 기준 : ATHENA DuckDB GEOMETR...

2024/02/20 # SQL Athena DuckDB

N-interval(N시간 간격) 데이터 처리하는 방법에 대해 간단히 정리해본다. 참고: stakoverflow를 보고 배웠으나 기존 링크...

2024/02/19 # SQL Athena DuckDB