Airflow에서 ExternalTaskSensor 활용 사례
Airflow에서 ExternalTaskSensor를 활용했던 사례를 간단하게 정리한다. airflow 2.10.5 버전을 기준으로 작성되...
2025/06/22 # dataops airflow sensorAirflow에서 ExternalTaskSensor를 활용했던 사례를 간단하게 정리한다. airflow 2.10.5 버전을 기준으로 작성되...
2025/06/22 # dataops airflow sensorPyspark에서 AWS S3 데이터를 읽는 방법을 간단히 정리한다. Spark 3.5.3 버전을 기준으로 작성되었다. ...
2025/06/18 # ETL spark s3Airflow에서 Spark 배치 작업을 실행하기 위한 방법을 간단히 정리한다. spark-operator 설치 kubernetes에서 ...
2025/06/15 # dataops spark airflow kubernetesTerraform으로 EKS에 Karpenter 설치하는 법을 간단히 정리한다. 개요 Karpenter는 필요한 만큼의 컴퓨팅 자원(노드...
2025/06/11 # devops eks karpenterApache Sedona를 활용하여 Spark에서 geospatial 데이터를 처리하는 방법을 간단하게 정리한다. 개요 기존에는 Athe...
2025/06/08 # ETL spark sedonaAirflow에서 Slack으로 DAG 실패 메시지를 보내는 방법을 간단하게 정리한다. airflow 2.10.5 버전을 기준으로 작성되었...
2025/06/06 # dataops airflow slackAirflow의 AthenaOperator를 활용하는 방법을 간단하게 정리한다. airflow 2.10.5 버전을 기준으로 작성되었다. ...
2025/05/19 # dataops airflow athenaKibana에서 Map을 활용한 geospatial 필터링 대시보드 구성하는 방법을 알아본다. 개요 Kibana에서는 Map을 활용하여 ...
2025/04/07 # DataViz kibana mapkubernetes 네임스페이스 간 secret 간단히 복사하는 법을 알아본다. 개요 Kubernetes 클러스터 내에서 네임스페이스는 ...
2025/03/06 # Dev k8s reflectorVector aggregator를 consumer로 사용했을 때 성능을 간단히 확인해본다. Vector by datadog 사용기 ( wi...
2025/01/31 # ETL vector k8s grafanaVector by datadog 사용한 후기를 간단히 정리한다. Vector는 A lightweight, ultra-fast tool fo...
2024/12/29 # ETL vector k8spandas보다 데이터를 빠르게 저장하는 법에 대해 간단히 정리한다. pandas를 편해서 사용하다 보니 생각보다 I/O 작업에 시간이 오...
2024/10/07 # ETL duckdb polars pyarrowAthena에서 Apache Iceberg 테이블 활용하는 법에 대해 간단히 정리한다. TIME TRAVEL & ROLLBACK ...
2024/09/03 # ETL Athena IcebergAthena에서 Apache Iceberg 테이블 활용하는 법에 대해 간단히 정리한다. Apache Iceberg는 The open tab...
2024/07/31 # ETL Athena IcebergLambda에서 활용가능한 aws-sdk-pandas에 대해 간단히 알아본다. github 주소 : aws-sdk-pandas (panda...
2024/06/20 # ETL Lambda