PyIceberg 기본 사용법 간단 정리

PyIceberg 기본 사용법을 간단히 정리한다. (지속적으로 업데이트 예정) 소규모의 데이터 같은 경우는 Spark를 사용하는 것보다 P...

# DataOps iceberg

Airflow에서 Spark 배치 작업 실행하기

Airflow에서 Spark 배치 작업을 실행하기 위한 방법을 간단히 정리한다. spark-operator 설치 kubernetes에서 ...

# DataOps spark airflow kubernetes

EKS Karpenter 설치하기 (with Terraform)

Terraform으로 EKS에 Karpenter 설치하는 법을 간단히 정리한다. 개요 Karpenter는 필요한 만큼의 컴퓨팅 자원(노드...

# k8s eks karpenter

Airflow의 AthenaOperator 활용하기

Airflow의 AthenaOperator를 활용하는 방법을 간단하게 정리한다. airflow 2.10.5 버전을 기준으로 작성되었다. ...

# DataOps airflow athena