Pandas를 Numpy로! 최적화 시리즈(1) - ndarray 활용
Numpy의 ndarray만 활용해도 성능을 높일 수 있다. 글 하단에 내용과 관련된 코드 실행결과가 담긴 Colab 노트북 파일을 확인할...
2020/01/20 # ETL Pandas Numpy NumexprNumpy의 ndarray만 활용해도 성능을 높일 수 있다. 글 하단에 내용과 관련된 코드 실행결과가 담긴 Colab 노트북 파일을 확인할...
2020/01/20 # ETL Pandas Numpy Numexpr소소하게 2019년 블로그 운영 결산을 해본다. 개요 포트폴리오를 만들겠다는 이유로 시작하여, 2017년 11월 블로그에 처음 글을 업로...
2020/01/03 # NoteMySQL과 PostgreSQL Query의 차이점을 정리해본다. (상시 업데이트) 참고 : 전문적인 내용보다는 참고 용도로 정리하고 있다...
2019/12/17 # SQL MySQL PostgreSQLPandas에서 CSV 데이터를 빠르게 읽는 법을 알아본다. pandas는 기본적으로 single core를 사용한다. 데이터 크기가 커질...
2019/11/27 # ETL Python Pandas Arrow ParquetAWS Lambda에서 Slack으로 오류메시지를 보내는 법을 알아본다. AWS Lambda는 크게 두 유형으로 볼 수 있다. ...
2019/11/11 # DevOps AWS Lambda Python SlackJupyterLab 1.0 버전 이후로 유용한 extension을 소개한다. awesome jupyter (jupyter extension...
2019/11/02 # DevOps Jupyter extensionsPostgreSQL에서 LIKE 검색 속도를 높여주는 pg_trgm을 활용해본다. PostgreSQL 10.9 버전(docker)에서 테스...
2019/10/31 # SQL PostgreSQL pg_trgmSQL로 중복 데이터를 확인 및 삭제하는 법을 알아본다. 사용 데이터 id first_name ...
2019/09/08 # SQL PostgreSQL MySQL duplicates DELETE JOINAWS Lambda와 API Gateway를 연동하는 법을 알아본다. Lambda 화면에서 Add trigger를 통해 간편하게 설정할 수...
2019/08/28 # DevOps AWS Lambda API Gateway PythonSQL로 Pivot Table 만드는 법을 알아본다. 데이터 예시 id country r...
2019/07/20 # SQL PostgreSQL FILTER tablefunc crosstab MySQLSQL로 Date / Time 데이터 다루는 법을 알아본다. 데이터 타입 PostgreSQL DATE, TIMESTAMP, TIMEST...
2019/07/19 # SQL PostgreSQL MySQLSQL로 증감률(성장률) 계산하는 법을 알아본다. 데이터 예시 date sales ...
2019/07/14 # SQL PostgreSQL LAG MySQLSuperset에서 생성한 Dashboard를 public하게 공유할 수 있다. superset 0.28.1 기준 다음처럼 Dashbo...
2019/07/03 # DataViz Superset Dashboard Chart