YA-Hwang 기술 블로그

Airflow 보안 설정하기 (with RBAC)

FAB가 제공하는 기능을 통해 Airflow에 기본 보안을 설정한다. 1.10.3 기준 Airflow를 설치할 경우, 기본적으로 보안 ...

2020/02/10 # DataOps Airflow RBAC FERNET_KEY

Numpy의 ndarray만 활용해도 성능을 높일 수 있다. 글 하단에 내용과 관련된 코드 실행결과가 담긴 Colab 노트북 파일을 확인할...

2020/01/20 # ETL Pandas Numpy Numexpr

소소하게 2019년 블로그 운영 결산을 해본다. 개요 포트폴리오를 만들겠다는 이유로 시작하여, 2017년 11월 블로그에 처음 글을 업로...

2020/01/03 # Note

MySQL과 PostgreSQL Query의 차이점을 정리해본다. (상시 업데이트) 참고 : 전문적인 내용보다는 참고 용도로 정리하고 있다...

2019/12/17 # SQL MySQL PostgreSQL

Pyspark에서 AWS S3 데이터 읽는 법을 알아본다. Spark에서 S3 데이터를 읽는 방법 설명 Spark는 Hadoop File...

2019/12/09 # ETL Pyspark AWS S3

Pandas에서 CSV 데이터를 빠르게 읽는 법을 알아본다. pandas는 기본적으로 single core를 사용한다. 데이터 크기가 커질...

2019/11/27 # ETL Python Pandas Arrow Parquet

AWS Lambda에서 Slack으로 오류메시지를 보내는 법을 알아본다. AWS Lambda는 크게 두 유형으로 볼 수 있다. ...

2019/11/11 # DevOps AWS Lambda Python Slack

JupyterLab 1.0 버전 이후로 유용한 extension을 소개한다. awesome jupyter (jupyter extension...

2019/11/02 # DevOps Jupyter extensions

PostgreSQL에서 LIKE 검색 속도를 높여주는 pg_trgm을 활용해본다. PostgreSQL 10.9 버전(docker)에서 테스...

2019/10/31 # SQL PostgreSQL pg_trgm

SQL로 중복 데이터를 확인 및 삭제하는 법을 알아본다. 사용 데이터 id first_name ...

2019/09/08 # SQL PostgreSQL MySQL duplicates DELETE JOIN