CATEGORY : Data         

S3 버킷 버전 관리 간단 정리

S3 버킷 버전 관리 사용 시 정보에 대해 간단히 정리해본다. 버킷 생성 시 또는 추후 속성 설정에서 버전 관리를 활성화할 수 있다. 버...

# Data # ETL AWS S3

Athena 테이블 DDL 간단 정리

Athena 테이블 DDL에 대해 간단히 정리해본다. 데이터 타입 데이터 타입은 아래 링크에서 확인할 수 있다. Data types i...

# Data # SQL AWS Athena

Athena의 Array 타입 활용하기

Athena의 Array 타입 활용하는 법을 알아본다. ARRAY 타입 기본 활용 ARRAY는 같은 타입으로만 구성되어야 한다. 중첩 A...

# Data # ETL Athena Array

SQL에서 데이터 분리해서 활용하기(split)

SQL에서 데이터를 분리해서 활용하는 방법을 알아본다. 사용할 데이터는 python의 Faker라는 라이브러리를 통해 생성했다. from...

# Data # SQL MySQL SUBSTRING_INDEX REGEXP_SUBSTR PostgreSQL split_part regexp_split_to_array Faker

SQL에서 나이(age) 계산하기

SQL로 나이(age) 계산하는 법을 알아본다. 참고 : 데이터 분석을 위한 SQL레시피 내용을 바탕으로 작성하였다. 나이는 매년 변하는...

# Data # SQL PostgreSQL age MySQL

MySQL에서 SET type 활용하기

SET type은 정해진 리스트 내에서 중복되지 않는 여러 값을 가질 수 있는 string object이다. SET type은 최대 64개...

# Data # SQL MySQL SET FIND_IN_SET

파이썬 크롤링 활용팁 by 엔코아

엔코아 공감토크에서 진행한 웹페이지 크롤링 강연 노트 – 라이브러리 선택 Requests : 파이썬에서 동작하는 작고 빠른...

# Data # ETL Crawling Python Requests Selenium

네이버 카페 게시글 크롤링

Selenium 라이브러리를 활용하여 로그인 session을 유지한다. – 네이버 카페는 기본적으로 카페에 가입한 후 게시글 읽기 권한이 ...

# Data # ETL Crawling Python Selenium