윈도우 환경에서 머신러닝/딥러닝 개발을 위한 파이썬 개발환경 구성하기

윈도우 환경에서 머신러닝/딥러닝 개발을 위한 파이썬 개발환경 구성하기입니다. 얼마전 윈도우 pc에 그래픽카드를 업그레이드 하고 포맷하고 개발환경을 다시 설치하게 되었는데, 이참에 정리를 해보았습니다.

개발환경 구성

CUDA 설치

먼저 nvidia CUDA Toolkit 과 cuDNN 설치를 진행해줍니다.

이전에 이 블로그에 정리해 놓은 글이 있습니다

윈도우(windows)에 NVIDIA 그래픽카드 CUDA Toolkit, cuDNN 설치하기 (rgbitcode.com)

미니콘다 설치

아나콘다를 사용해보니 불필요한 것들이 많고 다소 무거운 듯 하여 미니콘다로 진행합니다.

Miniconda — Anaconda documentation

가상환경 생성

conda create -n ml-study python=3.9

파이썬 3.9 버전으로 아래 모든 패키지들 정상 구동을 확인하였습니다.

패키지 설치

먼저 생성한 가상환경을 활성화 한 후 진행합니다.

conda activate ml-study

데이터 분석 / 시각화 / 통계

pip install pandas 
pip install matplotlib seaborn plotly 
pip install scipy statsmodels

pandas : numpy 기반으로 만들어진 데이터 분석 용 파이썬 라이브러리

matplotlib, seaborn, plotly : 파이썬 시각화 라이브러리

scipy : numpy 를 기반으로 만들어 진 수학 및 과학 함수를 제공하는 Python 라이브러리

statsmodels : 다양한 통계 모델을 추정하기 위한 클래스 및 함수를 제공하는 Python 라이브러리

머신러닝

pip install scikit-learn
pip install xgboost catboost
pip install lightgbm

scikit-learn : 파이썬 기반 머신 러닝 라이브러리

xgboost : Decision tree를 기반으로 한 익스트림 그레이디언트 부스팅 모델 패키지

catboost : 범주형(categorical) 특징을 효과적으로 처리할 수 있도록 한 부스팅 모델 패키지

lightbgm : 마이크로소프트에서 개발한 gradient boosting 모델 패키지, 속도에 강점

딥러닝

pip install tensorflow==2.8.0
pip install tensorflow-gpu==2.8.0
pip install keras
pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu221

텐서플로우와 파이토치를 설치합니다. tensorflow-gpu 는 tensorflow 를 통해 학습시 GPU 사용을 하기 위함입니다.

Windows의 소스에서 빌드,Windows의 소스에서 빌드  |  TensorFlow

직접 설치하기 | 파이토치 한국 사용자 모임 (pytorch.kr)

윈도우 환경에서 파이토치를 설치할때는 CUDA버전에 맞게 설치를 해줍니다.

유틸리티

pip install tqdm 

tqdm : 수행한 작업에 대해서 진행상태를 시각적으로 보여주는 라이브러리

트러블슈팅

protobuf 이슈로 tensoflow, keras import 오류발생시

protobuf 을 제거하고 다운그레이드 해서 protobuf을 재설치해준다. 3.20 버전 또는 3.20버전 보다 낮게 설치해주면 됩니다.

pip uninstall protobuf
pip install protobuf==3.19.0