pandas보다 빠르게 데이터 저장하기
pandas보다 데이터를 빠르게 저장하는 법에 대해 간단히 정리한다. pandas를 편해서 사용하다 보니 생각보다 I/O 작업에 시간이 오...
2024/10/07 # Dev # ETL duckdb polars pyarrowCATEGORY : Dev
pandas보다 데이터를 빠르게 저장하는 법에 대해 간단히 정리한다. pandas를 편해서 사용하다 보니 생각보다 I/O 작업에 시간이 오...
2024/10/07 # Dev # ETL duckdb polars pyarrowAthena에서 Apache Iceberg 테이블 활용하는 법에 대해 간단히 정리한다. TIME TRAVEL & ROLLBACK ...
2024/09/03 # Dev # ETL Athena IcebergAthena에서 Apache Iceberg 테이블 활용하는 법에 대해 간단히 정리한다. Apache Iceberg는 The open tab...
2024/07/31 # Dev # ETL Athena IcebergLambda에서 활용가능한 aws-sdk-pandas에 대해 간단히 알아본다. github 주소 : aws-sdk-pandas (panda...
2024/06/20 # Dev # ETL LambdaEC2의 EBS 볼륨 사이즈 줄이는 방법에 대해 알아본다. EBS는 축소 불가 EBS는 기본적으로 볼륨 확장은 가능하지만 축소는 불가능하...
2024/05/14 # Dev # DevOps EC2 EBSAWS EC2, GCP VM Instance에 SSH로 접속하는 법을 간단히 정리한다. 주의 이 방법은 보안이슈가 생길 수 있기 때문에...
2020/07/22 # Dev # DevOps ssh AWS GCPserverless framework을 활용하여 AWS Lambda를 배포해본다. AWS에서 Python 기반 Lambda를 배포할 때 C...
2020/05/13 # Dev # DevOps AWS Lambda Python ServerlessAWS Lambda에서 Slack으로 오류메시지를 보내는 법을 알아본다. AWS Lambda는 크게 두 유형으로 볼 수 있다. ...
2019/11/11 # Dev # DevOps AWS Lambda Python SlackJupyterLab 1.0 버전 이후로 유용한 extension을 소개한다. awesome jupyter (jupyter extension...
2019/11/02 # Dev # DevOps Jupyter extensionsAWS Lambda와 API Gateway를 연동하는 법을 알아본다. Lambda 화면에서 Add trigger를 통해 간편하게 설정할 수...
2019/08/28 # Dev # DevOps AWS Lambda API Gateway PythonPython에서 Thread에 대해 알아본다. An Intro to Threading in Python을 기반으로 작성하였다. Threa...
2019/04/19 # Dev # Language Python Thread threadingCPython의 GIL에 대해 알아본다. What is the Python Global Interpreter Lock (GIL) by Re...
2019/04/18 # Dev # Language Python GIL ThreadPython에서 Generator 사용법을 알아본다. Iterable VS Iterator Iterable object 리스트, Set...
2019/04/14 # Dev # Language Python GeneratorSlack API를 발급받아 Python으로 활용하는 법을 알아본다. API TOKEN 발급받기 slack api 홈페이지에 접속한다. ...
2019/04/05 # Dev # DevOps Python slackclientJava에 내장된 정렬 함수 사용법을 간단하게 알아본다. Java에는 util패키지에서 Arrays와 Collections를 활용하여 내장...
2019/02/19 # Dev # Language Java Arrays Collections문자열 포맷 방법으로 유용한 f-string에 대해서 알아본다. 문자열을 print할 때 사용하는 방식을 String Formatting ...
2019/02/06 # Dev # Language Python Scala f-stringJupyter에서 almond를 활용해 scala 커널을 설치하고 실행하는 법을 알아본다. almond almond는 jupyter-sc...
2019/02/02 # Dev # DevOps Ubuntu Jupyter Scala almond논리 연산자인 and(&&), or(ll)에서 short-circuit evaluation에 대해 알아본다. python에서...
2019/02/01 # Dev # Language Python Java Short-circuitPython에서 round 함수 사용 시 주의할 점에 대해 알아본다. python에서 round 함수를 실행했을 때, 우리가 일반적으로는 ...
2019/01/26 # Dev # Language Pythonapache superset container에 postgresql container를 연동해본다. superset 0.28.1 기준 ...
2019/01/07 # Dev # DataViz Superset DB PostgresqlGoogle Cloud Console에서 GPU VM instance 생성하는 법을 알아본다. GCP Instance에서 GPU를 사용하려...
2018/12/23 # Dev # DevOps GCP GPUJupyter에서 kernel이라 부르는 환경에 대해 알아본다. Jupyter에서는 프로그래밍 언어의 실행환경을 kernel이라고 부른다....
2018/09/28 # Dev # DevOps Ubuntu Jupyterdocker에서 실행한 jupyter를 로컬 PC 브라우저와 연동할 수 있다. anaconda3 docker image를 활용하여 테스트하...
2018/09/28 # Dev # DevOps Docker Jupyternvidia-docker를 활용하여 docker container에서 PC의 그래픽카드로 tensorflow-gpu를 실행한다. nvidi...
2018/08/25 # Dev # DevOps Ubuntu Docker Nvidia-docker Tensorflowjupyterlab에서 작업한 파일들을 Google Drive에서 관리할 수 있게 해주는 extension 모듈이다. Github : ju...
2018/08/18 # Dev # DevOps Ubuntu Jupyter labextension googledrive대표적인 딥러닝 프레임워크 중 하나인 tensorflow-gpu 1.8.0 버전을 설치한다. 설치환경 OS ...
2018/07/05 # Dev # DevOps Ubuntu Tensorflow DeepLearning한글 설치와 활용이 간단한 uim을 통해 한글 입력기를 설치한다. 기존에 dasom에서 확장된 nimf라는 한글입력기를 사용해왔다. 하지만...
2018/07/03 # Dev # DevOps Ubuntu uim-byeoru 한글Ubuntu Terminal(CLI)을 통해 process와 job을 관리할 수 있다. process VS job process는 큰 개...
2018/03/06 # Dev # DevOps Ubuntu process job screen cron파이썬만 설치된 Jupyter(notebook & Lab)에 R 커널을 추가하여 R을 실행할 수 있다. Jupyter를 설치한 경우...
2018/02/22 # Dev # DevOps R Jupyter IRkernel듀얼부팅을 세팅하면 윈도우로 부팅 시 시간이 변경되는 문제가 생긴다. How to Fix Time Differences in Ubuntu ...
2018/02/20 # Dev # DevOps Ubuntu DualbootingLVM(Local Volume Management)는 디스크나 대용량 저장장치를 유연하고 확장이 가능하게 다룰 수 있는 기술이다. 물리 디...
2018/02/20 # Dev # DevOps Ubuntu LVM fdiskDocker For Windows 초기 설치할 때 생기는 오류를 정리한다. 참고 : Docker For Windows는 Hyper-V(가상...
2018/02/08 # Dev # DevOps DockerMicrosoft가 관리하는 향상된 기능의 R – 핵심 기능 MultiThreading with INTEL Processo...
2018/01/19 # Dev # Language R벡터 개념을 활용하여 deplyr 코드를 reusable하게 만들어준다. – seplyr은 Standard Evaluation Ply R...
2017/12/16 # Dev # Language R seplyr대용량 처리가 뛰어나다고 알려진 data.table을 dplyr과 테스트 및 비교해본다. – Kaggle에서 약 50MB의 wine csv...
2017/12/15 # Dev # Language R data.table dplyrcx_Freeze를 활용하여 Python cmd.exe 실행파일을 만든다. – cx_Freeze 다운로드 windows 10에서 실행오류...
2017/12/01 # Dev # Language Python cmd2016년 1월 작성된 R-bloggers의 글을 정리한다. – 약간의 코드 변화만으로도 성능을 매우 높일 수 있다. 모든 그래프는 Ma...
2017/11/26 # Dev # Language RJupyter notebook이 발전한 Jupyter Lab – PyData Seattle 2017 유튜브 영상을 바탕으로 작성한 노트 ...
2017/11/16 # Dev # DevOps Jupyter