YA-Hwang 기술 블로그

serverless framework를 활용하여 AWS Lambda 배포하기

serverless framework을 활용하여 AWS Lambda를 배포해본다. AWS에서 Python 기반 Lambda를 배포할 때 C...

2020/05/13 # DevOps AWS Lambda Python Serverless

Superset의 Country Map 차트에서 대한민국을 시각화해본다. Superset 0.36 기준 Superset에서 Countr...

2020/04/19 # DataViz Superset

AWS 서비스의 데이터를 Pandas로 활용하는 AWS Data Wrangler에 대해 알아본다. AWS Data Wrangler ( P...

2020/04/11 # DataOps AWS Pandas Lambda

다양한 기능을 제공하는 Command Line Client 사용법을 알아본다. mycli - MySQL | pgcli - PostgreSQ...

2020/03/18 # SQL MySQL mycli PostgreSQL pgcli

SQL에서 User Defined Variable 다루는 법을 알아본다. SQL 문제를 풀다보면 쿼리가 매우 길어지는 경우가 있다. Use...

2020/03/17 # SQL PostgreSQL MySQL variable

Airflow의 시간정보에 대한 정리해본다. Airflow는 UTC TIMEZONE으로 처리 Airflow는 aware datetime ...

2020/02/28 # DataOps Airflow TIMEZONE

FAB가 제공하는 기능을 통해 Airflow에 기본 보안을 설정한다. 1.10.3 기준 Airflow를 설치할 경우, 기본적으로 보안 ...

2020/02/10 # DataOps Airflow RBAC FERNET_KEY

Numpy의 ndarray만 활용해도 성능을 높일 수 있다. 글 하단에 내용과 관련된 코드 실행결과가 담긴 Colab 노트북 파일을 확인할...

2020/01/20 # ETL Pandas Numpy Numexpr

소소하게 2019년 블로그 운영 결산을 해본다. 개요 포트폴리오를 만들겠다는 이유로 시작하여, 2017년 11월 블로그에 처음 글을 업로...

2020/01/03 # Note

MySQL과 PostgreSQL Query의 차이점을 정리해본다. (상시 업데이트) 참고 : 전문적인 내용보다는 참고 용도로 정리하고 있다...

2019/12/17 # SQL MySQL PostgreSQL

Pyspark에서 AWS S3 데이터 읽는 법을 알아본다. Spark에서 S3 데이터를 읽는 방법 설명 Spark는 Hadoop File...

2019/12/09 # ETL Pyspark AWS S3

Pandas에서 CSV 데이터를 빠르게 읽는 법을 알아본다. pandas는 기본적으로 single core를 사용한다. 데이터 크기가 커질...

2019/11/27 # ETL Python Pandas Arrow Parquet

AWS Lambda에서 Slack으로 오류메시지를 보내는 법을 알아본다. AWS Lambda는 크게 두 유형으로 볼 수 있다. ...

2019/11/11 # DevOps AWS Lambda Python Slack

JupyterLab 1.0 버전 이후로 유용한 extension을 소개한다. awesome jupyter (jupyter extension...

2019/11/02 # DevOps Jupyter extensions

PostgreSQL에서 LIKE 검색 속도를 높여주는 pg_trgm을 활용해본다. PostgreSQL 10.9 버전(docker)에서 테스...

2019/10/31 # SQL PostgreSQL pg_trgm