PyIceberg 기본 사용법 간단 정리
PyIceberg 기본 사용법을 간단히 정리한다. (지속적으로 업데이트 예정) 소규모의 데이터 같은 경우는 Spark를 사용하는 것보다 P...
2025/08/13 # DataOps icebergPyIceberg 기본 사용법을 간단히 정리한다. (지속적으로 업데이트 예정) 소규모의 데이터 같은 경우는 Spark를 사용하는 것보다 P...
2025/08/13 # DataOps icebergSchema Registry + Avro의 기본 사용법을 간단히 정리한다. (지속적으로 업데이트 예정) JSON 대신 Avro를 활용해 보...
2025/08/04 # DataOps schema-registry avroNessie + Iceberg REST Catalog의 기본 사용법을 간단히 정리한다. (지속적으로 업데이트 예정) Iceberg REST...
2025/07/30 # DataOps nessie icebergSchema Registry 기본 사용법을 간단하게 정리한다. ( 지속 업데이트 예정 ) Schema Registry 배포 Conflue...
2025/07/21 # DataOps schema-registryPySpark Structured Streaming 기본 사용법을 간단하게 정리한다. spark-operator로 배포하는 SparkApp...
2025/07/02 # ETL pyspark streamingAirflow에서 ExternalTaskSensor를 활용했던 사례를 간단하게 정리한다. airflow 2.10.5 버전을 기준으로 작성되...
2025/06/22 # DataOps airflow sensorPyspark에서 AWS S3 데이터를 읽는 방법을 간단히 정리한다. Spark 3.5.3 버전을 기준으로 작성되었다. ...
2025/06/18 # ETL spark s3Airflow에서 Spark 배치 작업을 실행하기 위한 방법을 간단히 정리한다. spark-operator 설치 kubernetes에서 ...
2025/06/15 # DataOps spark airflow kubernetesTerraform으로 EKS에 Karpenter 설치하는 법을 간단히 정리한다. 개요 Karpenter는 필요한 만큼의 컴퓨팅 자원(노드...
2025/06/11 # k8s eks karpenterApache Sedona를 활용하여 Spark에서 geospatial 데이터를 처리하는 방법을 간단하게 정리한다. 개요 기존에는 Athe...
2025/06/08 # ETL spark sedonaAirflow에서 Slack으로 DAG 실패 메시지를 보내는 방법을 간단하게 정리한다. airflow 2.10.5 버전을 기준으로 작성되었...
2025/06/06 # DataOps airflow slackAirflow의 AthenaOperator를 활용하는 방법을 간단하게 정리한다. airflow 2.10.5 버전을 기준으로 작성되었다. ...
2025/05/19 # DataOps airflow athenaKibana에서 Map을 활용한 geospatial 필터링 대시보드 구성하는 방법을 알아본다. 개요 Kibana에서는 Map을 활용하여 ...
2025/04/07 # DataViz kibana mapkubernetes 네임스페이스 간 secret 간단히 복사하는 법을 알아본다. 개요 Kubernetes 클러스터 내에서 네임스페이스는 ...
2025/03/06 # k8s k8s reflectorVector aggregator를 consumer로 사용했을 때 성능을 간단히 확인해본다. Vector by datadog 사용기 ( wi...
2025/01/31 # ETL vector k8s grafana