Airflow에서 Spark 배치 작업 실행하기

Airflow에서 Spark 배치 작업을 실행하기 위한 방법을 간단히 정리한다. spark-operator 설치 kubernetes에서 ...

# dataops spark airflow kubernetes

EKS Karpenter 설치하기 (with Terraform)

Terraform으로 EKS에 Karpenter 설치하는 법을 간단히 정리한다. 개요 Karpenter는 필요한 만큼의 컴퓨팅 자원(노드...

# devops eks karpenter

Airflow의 AthenaOperator 활용하기

Airflow의 AthenaOperator를 활용하는 방법을 간단하게 정리한다. airflow 2.10.5 버전을 기준으로 작성되었다. ...

# dataops airflow athena

pandas보다 빠르게 데이터 저장하기

pandas보다 데이터를 빠르게 저장하는 법에 대해 간단히 정리한다. pandas를 편해서 사용하다 보니 생각보다 I/O 작업에 시간이 오...

# ETL duckdb polars pyarrow

aws-sdk-pandas Lambda로 활용하기

Lambda에서 활용가능한 aws-sdk-pandas에 대해 간단히 알아본다. github 주소 : aws-sdk-pandas (panda...

# ETL Lambda