Airflow에서 slack으로 DAG 실패 메세지 보내기
Airflow에서 slack으로 DAG 실패 메세지 보내는 법을 알아본다. 테스트 버전 : 1.10.3 Slack에는 Web Hook을 ...
2019/06/07 # DataOps Airflow SlackAirflow에서 slack으로 DAG 실패 메세지 보내는 법을 알아본다. 테스트 버전 : 1.10.3 Slack에는 Web Hook을 ...
2019/06/07 # DataOps Airflow SlackPython에서 Thread에 대해 알아본다. An Intro to Threading in Python을 기반으로 작성하였다. Threa...
2019/04/19 # Language Python Thread threadingCPython의 GIL에 대해 알아본다. What is the Python Global Interpreter Lock (GIL) by Re...
2019/04/18 # Language Python GIL ThreadPython에서 Generator 사용법을 알아본다. Iterable VS Iterator Iterable object 리스트, Set...
2019/04/14 # Language Python GeneratorDeploying a Hadoop Cluster Lesson 5를 기반으로 작성하였다. Hadoop Cluster를 AWS의 Amazon E...
2019/04/12 # DataOps AWS EMR HadoopSQL에서 데이터를 분리해서 활용하는 방법을 알아본다. 사용할 데이터는 python의 Faker라는 라이브러리를 통해 생성했다. from...
2019/04/08 # SQL MySQL SUBSTRING_INDEX REGEXP_SUBSTR PostgreSQL split_part regexp_split_to_array FakerPython SQL client 라이브러리인 pymysql(MySQL)과 psycopg2(PostgreSQL) 사용법을 알아본다. 0. 알...
2019/04/08 # SQL pymysql psycopg2 copy_from Python StringIOSlack API를 발급받아 Python으로 활용하는 법을 알아본다. API TOKEN 발급받기 slack api 홈페이지에 접속한다. ...
2019/04/05 # DevOps Python slackclientCSV 데이터의 accuracy와 quality를 보장하기 위해 검증하는 방법을 알아본다. CSV 파일을 처리(분석)할 때 accuracy...
2019/04/04 # ETL Validation Python VladiateDeploying a Hadoop Cluster Lesson 1을 기반으로 작성하였다. Hadoop 2.9 Cluster를 AWS EC2 I...
2019/04/01 # DataOps AWS EC2 Hadoop