LangGraph Retrieval Agent를 활용한 동적 문서 검색 및 처리
LangGraph Retrieval Agent는 언어 처리, AI 모델 통합, 데이터베이스 관리, 그래프 기반 데이터 처리 등 다양한 기능을 제공하여 언어 기반 AI 애플리케이션 개발에 필수적인 도구입니다.
태그
- python 47
- 딥러닝 41
- deep learning 39
- tensorflow 35
- pytorch 33
- 파이썬 33
- 튜토리얼 32
- 머신러닝 30
- machine learning 29
- tutorial 29
- 텐서플로 26
- pandas 24
- 파이토치 23
- 데이터 분석 20
- 강의 20
- scikit-learn 19
- 판다스 19
- OpenAI 18
- torch 17
- 실습 16
- data science 14
- 이미지 분류 13
- ChatGPT 12
- 파이썬 튜토리얼 11
- 파이썬 강의 11
- python 강의 11
- 파이썬 코딩 11
- 코딩 강의 11
- 랭체인 11
- langchain 11
- ChatOpenAI 11
- 데이터프레임 10
- 시각화 9
- kaggle 9
- numpy 8
- google colab 8
- jupyter notebook 8
- 리눅스 8
- linux 8
- visualization 8
- matplotlib 8
- 크롤링 8
- 캐글 8
- 도커 8
- docker 8
- 자연어처리 8
- 판다스 자료구조 8
- 판다스 튜토리얼 8
- 파이썬 데이터 분석 8
- GPT3.5 8
- GPT4 8
- 랭체인 튜토리얼 8
- langchain tutorial 8
- anaconda 7
- 구글 코랩 7
- keras 7
- lstm 7
- gpt 7
- Python 7
- 전처리 6
- cnn 6
- aws 6
- 책 추천 6
- colab 6
- 한글 6
- chatgpt 6
- 가상환경 5
- 아나콘다 5
- ubuntu 5
- cudnn 5
- 케라스 5
- dataframe 5
- openai 5
- LangChain 5
- 합성곱신경망 4
- 아마존 4
- 데이터셋 4
- dataset 4
- 패키지 4
- git 4
- seaborn 4
- crawling 4
- cuda 4
- 앙상블 4
- ensemble 4
- 하이퍼파라미터 튜닝 4
- csv 4
- 비전공자 4
- 취업 4
- 텐서플로 자격증 4
- pyplot 4
- 머신러닝 책 추천 4
- api 4
- 설치 4
- image augmentation 4
- 문서요약 4
- API 4
- chat completion 4
- client 4
- linear regression 3
- convolution neural network 3
- amazon 3
- 원격접속 3
- mnist 3
- 통계 3
- datasets 3
- classification 3
- 정형데이터 3
- gpu 3
- random forest 3
- 콜백 3
- callback 3
- 학습률 3
- learning rate 3
- 인공지능 공부법 3
- 데이터 분석 공부법 3
- 인공지능 3
- 머신러닝 공부법 3
- 강의 추천 3
- 입문 3
- 학습법 3
- 취준 3
- 이직 3
- 주가예측 3
- 삼성전자 3
- 시계열 3
- 한글폰트 3
- 딥러닝 자격증 3
- pycharm 3
- rnn 3
- 경사하강법 3
- gradient descent 3
- seq2seq 3
- 데이터 분석 책 추천 3
- 미분 3
- 캐글 노트북 3
- 도커 사용법 3
- 도커 설치 3
- 배포 3
- mecab 3
- lgbm 3
- lightgbm 3
- 딥러닝 책 추천 3
- 형태소 분석기 3
- konlpy 3
- bert 3
- tokenizer 3
- 요약 3
- 자동화 3
- dataloader 3
- 학습 3
- 검증 3
- 평가 3
- embedding 3
- huggingface 3
- 주피터 노트북 3
- PromptTemplate 3
- 임베딩 3
- 프롬프트 3
- gpt-3.5 3
- 지킬블로그 2
- 마크다운 2
- 비동기 2
- pip 2
- one hot encoding 2
- 원핫인코딩 2
- pre-processing 2
- 클러스터링 2
- package 2
- 내장 데이터셋 2
- iris 2
- 크롤러 2
- nvidia 2
- memory 2
- gpu 설정 2
- hyperparameter 2
- decision tree 2
- built in function 2
- lambda 2
- filter 2
- labelencoder 2
- github pages 2
- 조기종료 2
- 패스트캠퍼스 2
- google tensorflow developers certificate 2
- tdc 2
- 딥러닝 자격증 취득 2
- image classification 2
- nlp 2
- 그래프 2
- 차트 2
- 텐서보드 2
- tensorboard 2
- 전이학습 2
- transfer learning 2
- fillna 2
- 시계열데이터 2
- 파이참 2
- 선형회귀 2
- attention 2
- AI주가 2
- 금융 2
- prophet 2
- 상속 2
- pandas tutorial 2
- sort 2
- 타입 변환 2
- 튜닝 2
- 자료구조 2
- 딥러닝 도커 2
- 실행 2
- xgboost 2
- groupby 2
- 피벗테이블 2
- 판다스 데이터 분석 2
- 인공지능 책 2
- 테디노트 책 2
- 테디노트 실험실 2
- 캐글 대회 2
- eda 2
- pycaret 2
- 커널 필사 2
- api key 2
- 옵튜나 2
- optuna 2
- tensor 2
- 텐서 2
- copying 2
- sharing 2
- imagefolder 2
- fashion mnist 2
- 자동미분 2
- autograd 2
- 회귀 2
- 회귀 예측 2
- 보스톤 주택가격 2
- custom dataset 2
- cats and dogs 2
- image transforms 2
- ilsvrc 2
- 논문 2
- miniconda 2
- 텍스트 분류 2
- 허깅페이스 2
- gpt3 2
- airtable 2
- 데이터분석 2
- gru 2
- chatbot 2
- arima 2
- sarimax 2
- PDF 2
- whisper 2
- dalle 2
- openai api 2
- 문서 검색 2
- AI 2
- 챗봇 2
- GPT-4 2
- API KEY 2
- LangSmith 2
- RAG 2
- 리트리버 2
- 벡터DB 2
- synology 1
- 시놀로지 1
- 나스 1
- Nas 1
- typone mars pro 1
- 타이폰 마스 프로 1
- 맥용 기계식 키보드 1
- jekyll 1
- markdown 1
- android 1
- asynctask 1
- mysql 1
- mysqlclient 1
- 선형회귀 알고리즘 1
- 보스톤 주택가격 예측 1
- softmax 1
- 소프트맥스 1
- mnist 손글씨 1
- xor 1
- neural network 1
- virtual env 1
- 파이썬 가상환경 1
- conv2d 1
- cond2d 계산 1
- 인스턴스 1
- 네임서버 1
- 가비아 1
- cafe24 1
- 도메인 설정 1
- django 1
- ec2 인스턴스 1
- visual studio code 1
- ftp simple 1
- aws 원격작업 1
- aws 인스턴스 1
- 크론탭 1
- crontab 1
- virtualenv 1
- tmux 1
- zsh 1
- oh my zsh 1
- zsh 스타일링 1
- kmeans clustering 1
- 비지도학습 1
- 손글씨 인식 1
- remote 1
- ec2 instance 1
- flask 1
- nginx 1
- 10 minutes to pandas 1
- 부동산 데이터 분석 1
- git alias 1
- git global config 1
- git diff 1
- p4 merge 1
- git merge 1
- 손글씨 분류 1
- machine-learning 1
- 피클 1
- pickle 1
- kneighbors 1
- 뉴스기사 수집 1
- rss 크롤링 1
- 타이타닉 생존자 예측 1
- git clean 1
- untracked files 1
- gpu 설치 1
- mirror 1
- kakao 1
- 딥러닝 서버 1
- 메모리 1
- ssd 1
- 캐글 api 1
- kaggle api 1
- voting ensemble 1
- 보팅 앙상블 1
- hard_vote 1
- soft_vote 1
- bagging ensemble 1
- boosting 1
- stacking 1
- gbm 1
- gradient 1
- gridsearch 1
- 그래프 시각화 1
- graphviz 1
- 차원축소 1
- 주성분 분석 1
- pca 1
- utf8 1
- 인코딩 1
- encoding 1
- 공공데이터 1
- map 1
- reduce 1
- imdb 1
- word2vec 1
- pre-trained 모델 1
- 감정분류 1
- 라벨인코더 1
- category dtype 1
- google adsense 1
- 구글 애드센스 1
- 구글 광고 1
- 블로그 수익화 1
- github blog 1
- seo 1
- naver webmaster 1
- google search engine 1
- google analytics 1
- 키워드 분석 1
- 손실함수 1
- loss function 1
- 평가지표 1
- metrics 1
- 데이터셋 분할 1
- train_test_split 1
- train set 1
- validation set 1
- test set 1
- stratify 1
- reducelronplateau 1
- 모델 체크포인트 1
- model checkpoint 1
- earlystopping 1
- 런타임 1
- 우분투 1
- nanum 1
- 나눔고딕 설치 1
- kbo 1
- 데이터 분석 강의 1
- coding 1
- lecture 1
- magic command 1
- digit recognizer 1
- canvas 1
- 워드임베딩 1
- word embedding 1
- sarsasm dataset 1
- 통계차트 1
- batch 1
- window 1
- flat_map 1
- data loader 1
- imagedatagenerator 1
- datasets api 1
- gan 1
- vanilla gan 1
- vgg16 1
- 오토인코더 1
- autoencoder 1
- github 1
- deep-learning 1
- gradient-tape 1
- interpolation 1
- interpolate 1
- 결측치 보간 1
- 결측치 처리 1
- 나라장터 1
- 입찰공고 1
- 입찰 1
- 토건 1
- 토목 1
- 입찰강의 1
- text_generation 1
- 텐서플로 강의 1
- 텐서플로 튜토리얼 1
- shakespear 1
- 코랩 1
- 코랩 한글 1
- colab 한글 1
- 한글깨짐 1
- 코랩 한글깨짐 1
- dll 1
- dll load failed 1
- dll 오류 1
- dll 에러 1
- visual studio 1
- 윈도우10 1
- windows10 1
- tensorflow gpu install 1
- tensorflow gpu 1
- tensorflow windows 1
- 텐서플로 설치 1
- 텐서플로 GPU 1
- 텐서플로 윈도우 1
- 캡스톤 프로젝트 1
- capstone 1
- 비전공장 1
- 입문자 1
- 빅데이터 1
- 포트폴리오 1
- 멘토링 1
- 국민연금 1
- 연봉추정 1
- 크레딧잡 1
- kreditjob 1
- 최소제곱법 1
- least ordinary squares 1
- ols 1
- machine leaerning 1
- sgdregressor 1
- load_iris 1
- scaler 1
- standardscaler 1
- minmaxscaler 1
- 스케일러 1
- inverse transform 1
- knn 1
- 최근접 이웃 분류 1
- 분류 알고리즘 1
- lasso 1
- ridge 1
- elasticnet 1
- 규제 1
- 로지스틱회귀 1
- logistic regression 1
- 분류 1
- precision 1
- recall 1
- f1 score 1
- 의사결정 나무 1
- entropy 1
- gini 1
- 엔트로피 1
- 지니계수 1
- grid search 1
- random search 1
- 어텐션 1
- ai 주가예측 1
- finance data reader 1
- facebook prophet 1
- meta prophet 1
- 책 1
- 데이터과학 트레이닝북 1
- 인사이트 출판사 1
- 인공지능 책 추천 1
- functional api 1
- 함수형 api 1
- inheritance 1
- class 1
- 클래스 1
- 클래스 인스턴스 1
- instance 1
- 부모 클래스 1
- series 1
- 엑셀 1
- json 1
- 조회 1
- 정렬 1
- 조건 필터 1
- loc 1
- iloc 1
- 파이썬 통계 1
- 통계 분석 1
- 결측치 1
- 복사 1
- 데이터 타입 1
- 컬럼 추가 1
- 컬럼 삭제 1
- 행 삭제 1
- ai수학 1
- 처음 만나는 ai수학 1
- 딥러닝 수학 1
- 파이썬 수학 1
- 선형대수 1
- 영진닷컴 1
- 베이시안 최적화 1
- baysian optimization 1
- hyperopt 1
- 넘파이 1
- 리스트 1
- list 1
- 튜플 1
- tuple 1
- 세트 1
- set 1
- 딕셔너리 1
- dictionary 1
- 문자열 1
- string 1
- 문자열 포맷팅 1
- 연산 1
- 비교연산자 1
- 삼항연산자 1
- 논리연산자 1
- 조건문 1
- if 1
- elif 1
- else 1
- 반복문 1
- for in 1
- while 1
- comprehension 1
- 컴프리헨션 1
- 리스트 컴프리헨션 1
- list comprehension 1
- 함수 1
- function 1
- lambda 함수 1
- argument 1
- parameter 1
- 인수 1
- 매개변수 1
- 내장함수 1
- zip 1
- enumerate 1
- 모듈 1
- module 1
- 캐글 도커 1
- gpu 테스트 1
- yes24 1
- SQL 1
- 정규식 표현 1
- 도서 추천 1
- 무료 전자책 1
- database 책 추천 1
- e book 1
- 그룹바이 1
- pivot table 1
- 데이터 병합 1
- 데이터 연결 1
- concat 1
- merge 1
- 알고리마 1
- algorima 1
- 텀블벅 1
- 책 리뷰 1
- 테디노트 1
- 파이썬 책 추천 1
- 파이썬 딥러닝 텐서플로 1
- 텐서플로우 책 추천 1
- 텐서플로 책 1
- 인공지능 서적 1
- jekyll 블로그 1
- 노트북 변환 1
- colab 변환 1
- html 1
- 변환 1
- 주식 1
- 코사인유사도 1
- cosine similarity 1
- 주가 예측 1
- ai 주가 1
- 패턴검색 1
- 파이썬 주식 1
- 판다스 주식 1
- 유사 종목 검색 1
- 캔들 패턴 1
- 성인 인구조사 1
- 소득 1
- kakr 1
- tacademy 1
- folium 1
- 지도 시각화 1
- 원격 서버 1
- iptime 1
- 원격 접속 허용 1
- google cloud api 1
- 위도 1
- 경도 1
- 지도 api 1
- google 지도 1
- google cloud platform 1
- 발급 1
- ai spark 챌린지 1
- 수도관 누수 탐지 1
- 음성 1
- 오디오 1
- 푸리에 변환 1
- color 1
- palette 1
- 컬러 팔레트 1
- color name 1
- 색상 1
- 팔레트 1
- 카카오브레인 1
- kakao brain 1
- 뽀로로 1
- pororo 1
- 트랜스포머 1
- 토크나이저 1
- 문장 생성 1
- 문장 예측 1
- summary 1
- 기계번역 1
- mask 1
- 구글 드라이브 1
- google drive 1
- drive api 1
- file download 1
- 파일 다운로드 1
- 베이스라인 1
- catboost 1
- 하이퍼파라미터 1
- install 1
- from_numpy 1
- as_tensor 1
- view 1
- reshape 1
- dtype 1
- torchsummary 1
- 모델 구조 1
- shape 1
- 차원 1
- 입출력 1
- 도커 실행 1
- tensorflow docker 1
- 텐서플로 도커 1
- 파이토치 도커 1
- pytorch docker 1
- 이미지정규화 1
- torchvision 1
- transform 1
- image transform 1
- 이미지 전처리 1
- 이미지 정규화 1
- 그룹화 1
- 데이터 전처리 1
- 판다스 데이터분석 1
- DataFrame 1
- 통계. 파이썬 데이터 분석 1
- pytorch datasets 1
- 이미지 데이터셋 1
- 파이토치 데이터셋 1
- regression 1
- subclassing 1
- 심층신경망 1
- deep neural network 1
- dnn 1
- train 1
- evaluate 1
- rps 1
- 가위바위보 1
- fine tuning 1
- 미세조정 1
- image dataset 1
- alexnet 1
- m1 맥북 1
- m2 맥북 1
- 실리콘 1
- mac 1
- metal 1
- 맥 os 1
- 이미지 증강 1
- pypi 1
- 파이썬 패키지 1
- 패키지 생성 1
- 패키지 등록 1
- googlenet 1
- inception module 1
- pytorch implementation 1
- going deeper with convolutions 1
- imagenet 1
- inceptionnet 1
- 환경설치 1
- bbc-text.csv 1
- tensorflow certificate 1
- 자연어 처리 1
- stopwords 1
- 자격증 강의 1
- nsmc 1
- 네이버 댓글 1
- 한글 자연어처리 1
- 사전학습 1
- 토큰화 1
- 머신러닝 도커 1
- gpu 사용 1
- torchtext 1
- 텍스트 전처리 1
- 토치텍스트 1
- tabulardataset 1
- 블로그 1
- 수익 1
- 깃헙블로그 1
- automation 1
- blog 1
- investing.com 1
- 영문뉴스기사 1
- 번역 1
- 경제기사 1
- 로또 1
- lotto 1
- requests 1
- beautifulsoup4 1
- bs4 1
- 데이터 수집 1
- pyairtable 1
- 에어테이블 1
- 테이블 1
- table 1
- base 1
- base_id 1
- 데이터 1
- db 1
- dropbox 1
- 파일공유 1
- wget 1
- 데이콘 1
- dacon 1
- 자동차충돌 1
- AI경진대회 1
- conv3d 1
- early stopping 1
- 콤마구분자 1
- 소수점표기 1
- 과학표기법 1
- wandb 1
- wights and biases 1
- input tensor 1
- output tensor 1
- hidden state 1
- cell state 1
- bidirectional 1
- cuda12.1 1
- cuda11.8 1
- ubuntu20.04 1
- gradio 1
- google bard 1
- bard api 1
- time-series 1
- ar 1
- ma 1
- bbc-news 1
- text-classification 1
- selenium 1
- 셀레니움 1
- 네이버 환율 1
- autogpt 1
- llm 1
- automl 1
- time series 1
- 시계열 데이터 1
- sarima 1
- font 1
- font_manager 1
- 폰트 추가 1
- 폰트 삭제 1
- container 1
- datetime 1
- to_datetime 1
- strftime 1
- strptime 1
- format 1
- 날짜 1
- 파싱 1
- glob 1
- 파일 검색 1
- 와일드카드 1
- 파워쉘 1
- powershell 1
- 텐서플로우 1
- google 1
- meta 1
- 단축 명령어 1
- alias 지정 1
- iterm 1
- terminal 1
- 베이지안 최적화 1
- bayesian optimization 1
- HuggingFace 1
- HuggingFace Hub 1
- ConversationChain 1
- ConversationBufferMemory 1
- ConversationSummaryBufferMemory 1
- excel 1
- 스키마 1
- schema 1
- 독서감상문 1
- 회의록 1
- 뉴스레터 1
- 질의응답 1
- coroutine 1
- async 1
- 코루틴 1
- 동기 1
- api키 발급 1
- 달리 1
- stable diffusion 1
- midjourney 1
- whisper api 1
- STT 1
- TTS 1
- Speech To Text 1
- Text To Speech 1
- 음성인식 1
- YAML 1
- 데이터 직렬화 1
- 프로그래밍 1
- IT 기술 1
- 설정 파일 1
- 개발자 가이드 1
- 기술 블로깅 1
- 데이터 구조 1
- 코드 작성 1
- YAML 예시 1
- YAML 사용법 1
- YAML 주의점 1
- IT 비전공자 1
- 소프트웨어 개발 1
- 기술 교육 1
- Gemini Pro API 1
- Google Colab 1
- Apache License 1
- Google LLC 1
- 생성적 AI 1
- Google Car 1
- Q&A 시스템 1
- 이상 탐지 1
- Gemini API 1
- t-SNE 1
- 유클리드 거리 1
- 차원 축소 1
- API 키 1
- 중심점 1
- 이상치 1
- 다중 에이전트 1
- LangGraph 1
- AutoGen 1
- LLM 1
- 협업 1
- 멀티에이전트 1
- 그래프 기반 시스템 1
- 상태 정의 1
- 노드 1
- 에지 로직 1
- 호출 1
- 데이터 스트리밍 1
- 이미지 코드 변환 1
- 파이썬 코드 1
- REPL 1
- vision preview 1
- gpt-4-vision-preview 1
- PythonREPL 1
- gpt-4 1
- gpt-4 turbo 1
- gpt-3.5 turbo 1
- gpt-4 vision preview 1
- embedding models 1
- Assistant API 1
- Fine Tuning Models 1
- python api 1
- instruct 1
- 체인 생성 1
- 파이프라인 1
- 모델 1
- 출력 파서 1
- LCEL 1
- ChatMessage 1
- LangChain Expression Language 1
- LLMs 1
- 문서 요약 1
- Stuff 1
- Map-Reduce 1
- Refine 1
- load_summarize_chain 1
- LLMChain 1
- ReduceDocumentsChain 1
- WebBaseLoader 1
- GPT 모델 1
- 텍스트 분석 1
- 메타데이터 1
- 문서 변환기 1
- JSON Schema 1
- Pydantic 1
- 태깅 1
- 문서 관리 1
- 검색 최적화 1
- Q&A 1
- gpt-4-turbo-preview 1
- 네이버 뉴스 Q&A 1
- Retrieval 1
- VectorStore 1
- 질문 처리 1
- 답변 생성 1
- 아키텍처 1
- 데이터 인덱싱 1
- 검색 1
- 생성 모델 1
- 인덱싱 1
- 검색 및 생성 1
- 문서 로드 1
- 벡터스토어 1
- 언어모델 1
- ensemble retriever 1
- vectorstore 1
- mmr 1
- similarity 1
- 에이전트 1
- 검색도구 1
- Tavily Search 1
- Retriever 1
- FAISS 1
- Agent 1
- tools 1
- Assistants API 1
- Chat Completions API 1
- 스레드 1
- 메시지 1
- Thread 1
- Message 1
- Openai Functions 1
- 어시스턴트 1
- langgraph 1
- retrieval agent 1
- AI 애플리케이션 1
- 데이터베이스 관리 1
- 그래프 기반 데이터 처리 1
- 검색 에이전트 1
- 정보 처리 1
- poetry 1
- python 가상환경 1
- poetry tutorial 1
- poetry 튜토리얼 1
- poetry 활용 1
- poetry 배포 1
- 세마틱 버저닝 1
python
[2024년 UPDATE] OpenAI Python API 튜토리얼 - Whisper API를 사용하여 TTS, STT 구현하기(3)
이번 튜토리얼은 OpenAI 의 Whisper API 를 사용하여 음성을 텍스트로 변환하는 STT, 그리고 텍스트를 음성으로 변환하는 방법에 대해 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 튜토리얼 - DALL·E를 사용하여 이미지 생성, 수정, 다양화하기(2)
이번 튜토리얼은 OpenAI 의 DALL·E 의 Python API 사용법을 다룹니다. 이번 튜토리얼을 통하여 이미지 생성, 수정, 다양화 하는 방법에 대해 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 튜토리얼 - 채팅(chat) 함수 사용하기(1)
이번 튜토리얼 부터는 시리즈 형식으로 OpenAI 에서 지난 2023년 11월에 1.x.x 로 판올림하여 공개한 API 의 사용법에 대해서 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 키 발급방법, 요금체계
이번 튜토리얼은 OpenAI 의 Python API 키를 발급받는 방법과 요금 체계에 대해 알아보겠습니다.
파이썬 비동기(async)함수와 코루틴(coroutine) 흐름 이해하기
파이썬에서 async 함수는 비동기 프로그래밍 을 위한 기능입니다. 파이썬 함수에서 def 키워드로 정의할 때 앞에 async 가 붙습니다. 파이썬의 비동기 함수가 많이 사용될 때는 I/O 바운드 작업 이나 높은 대기 시간이 예상되는 작업을 처리 할 때 유용합니다.
PowerShell에서 아나콘다(Anaconda) 환경 설정하기
이번 포스팅에서는 PowerShell에서 Anaconda 환경을 사용하는 방법 에 대해 소개하려고 합니다.
Python 에서 glob.glob() 을 활용한 유연한 파일 검색 기법
이번 포스팅에서는 Python의 glob.glob() 함수를 활용하여 파일 시스템 내의 특정 패턴을 가진 파일들을 쉽게 찾는 방법에 대해 소개하려고 합니다.
Python, Pandas 의 날짜 파싱(parsing)시 적용하는 날짜/시간 관련 형식 정리표
이번 포스팅에서는 pandas의 to_datetime() 함수를 사용하면서 발생할 수 있는 날짜 파싱 오류에 대한 해결 방법 을 소개하려고 합니다.
셀레니움(selenium)을 활용한 네이버 환율 정보 크롤링
이번 튜토리얼에서는 네이버의 환율 정보를 크롤링하는 방법에 대해 알아보겠습니다. 이 과정에서 Python의 셀레니움(selenium)을 사용할 예정입니다. 크롤링 과정에서 발생할 수 있는 다양한 오류들을 어떻게 처리 하는지에 대해서도 알아보겠습니다. 튜토리얼 마지막 부분에서는 코드...
Google Bard 파이썬(Python) API 활용
이번 포스팅에서는 구글 바드(Google Bard) 의 파이썬(Python) API 사용법에 대해 알아보겠습니다.
ChatGPT openai 파이썬(python) 모듈을 활용한 챗봇 구현
이번 포스팅에서는 openai 사의 ChatGPT 기능을 파이썬(python) 모듈을 활용하여 챗봇 을 구현하는 방법에 대하여 알아보겠습니다.
파이썬, 데이터분석가를 위한 초간단 파일공유 서비스
본 내용은 자체 제작한 파일공유 서비스에 대한 내용입니다. 말그대로 파일을 가장 쉬운 방법으로 공유할 수 있는 서비스이며, 링크를 활용하여 공유할 수 있습니다. Python, wget 명령어로 다운로드 받는 코드를 제공하며, 비밀번호로 암호화 하여 공유도 가능합니다.
에어테이블(airtable)의 table 조회, 추가, 업데이트, 삭제 Python API
본 내용은 Airtable 에서 table에 대해서 데이터를 조회, 추가, 삭제 및 정렬 하는 방법에 대해서 다룹니다. 본 튜토리얼은 airtable의 공식 pyairtable 파이썬 패키지를 활용합니다.
나만의 파이썬 패키지(PYPI) 만들기 및 등록하고 배포하기
PYPI는 Python Package Index의 약어로 Python 패키지 저장소의 개념으로 생각하시면 됩니다. 수 많은 개발자들이 본인이 만든 파이썬 소프트웨어를 손쉽게 설치하고 활용할 수 있도록 패키지화 하여 저장소에 업로드를 하는데요. 저장소에 업로드된 패키지를 pip in...
[2023년 업데이트] 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 - 데이터분석편
지난 2020년에 작성한 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1), 글과 후속 글인 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2) 을 많이 읽어 주셔서 감사드립니다. 작성 당시에는 가벼운 마음으로 개인...
실리콘(M1, M2) 맥(Mac) OS 에서 텐서플로(TensorFlow) 설치 방법
실리콘(M1, M2) 맥(Mac) 사용하는 유저가 최근 1~2년 안에 급격하게 늘어나면서, m1, m2 칩셋을 사용하는 맥 사용자를 위한 가상 환경 설치와 TensorFlow 설치에 대한 문의가 많았습니다. 아쉽게도 그동안 제가 실리콘 맥이 없어 직접 테스트를 해볼 수 없었기 때문...
Google Cloud API를 활용하여 주소의 위도, 경도 정보 가져오기
Google Cloud API 의 Geocoding API를 활용하여 한글 주소를 위/경도 좌표계로 변경해 보는 방법에 대하여 알아보겠습니다.
지도 시각화 도구 Folium 사용법을 파헤쳐보자!
지도위에 데이터를 interactive하게 표현해 주는 대표적인 파이썬 지도 시각화 라이브러리 folium에 대해서 알아보고 그 사용법을 파헤쳐보도록 하겠습니다.
파이썬 딥러닝 텐서플로 책이 출간되었습니다!
지난 6개월간 동료 3명과 집필한 “파이썬 딥러닝 텐서플로” 책이 드디어 온라인/오프라인 출간 되었습니다!!!
#11-파이썬(Python) 패키지(package)와 모듈(module)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 패키지(package)와 모듈(module)을 다룹니다.
#10-파이썬(Python) 내장함수-map, zip, filter, enumerate
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 내장함수(built-in function) 중 map(), zip(), filter(), enumerate()를 다룹니다.
#09-파이썬(Python) 함수, lambda 함수, 인수(arguments), 매개변수(parameters)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 함수(function), lambda 함수, 인수(arguments)와 매개변수(parameters)를 다룹니다.
#08-파이썬(Python) 컴프리헨션(Comprehension)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 컴프리헨션(Comprehension)을 다룹니다.
#07-파이썬(Python) 반복문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
#06-파이썬(Python) 비교, 논리, 삼항연산자와 조건문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
#05-파이썬(Python) 연산
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
#04-파이썬(Python) 문자열(str)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
#03-파이썬(Python) 세트(set)와 딕셔너리(dictionary)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 세트(set)와 딕셔너리(dictionary)를 다룹니다.
#02-파이썬(Python) 리스트(list)와 튜플(tuple)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 리스트(list)와 튜플(tuple)을 다룹니다.
#01-파이썬(Python) 기본 자료구조
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
처음 만나는 AI수학 with 파이썬 책 리뷰 - 수포자, 비전공자를 위한 수학
이번 포스팅에서는 처음 만나는 AI수학 with 파이썬 책 리뷰를 해보도록 하겠습니다.
Python 클래스의 상속 (inheritance)
텐서플로의 Model Subclassing 구현을 위해서는 python의 상속(inheritance) 개념을 필히 알고 있어야 합니다. 그래서, 이번 포스팅에서는 python의 클래스 그리고 상속에 대한 내용을 다뤄 보도록 하겠습니다.
[tensorflow] GradientTape의 활용법
TensorFlow 2.0의 자동 미분 기능인 GradientTape에 대하여 알아보겠습니다.
Google Colab에서 python 패키지를 영구적(permanently)으로 설치하는 방법
Colab에서 영구적(permanently)으로 파이썬 패키지를 설치(install) 하는 방법에 대하여 공유드리고자 합니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
python의 built-in function인 lambda, map, filter, 그리고 reduce에 대한 쉬운 이해와 사용법
lambda, map, filter 그리고 reduce는 python 코딩에서 자주 활용되는 대표적인 built-in function입니다. (reduce는 python3에서 built-in에서는 제거되었습니다)
뉴스 기사 와 RSS 피드에서 손쉽게 크롤링 하여 정보 수집하기
최근 뉴스 기사를 크롤링하여 군집화 하는 작업을 하기 위해서, 국내 신문기사의 정보들을 크롤링해야하는 작업이 필요하였습니다. request와 BeautifulSoup4를 사용해서 크롤링하는 것은 간단하지만, 언론사 웹사이트 별로 기사의 contents를 표시하는 tag와 class...
python의 pickle 기능을 활용하여 data를 저장하고 불러오는 방법
큰 용량의 dataset을 다루다 보면, 중간에 binary file 형태로 저장하고, 이를 나중에 불러와야하는 경우가 있습니다.
Data Science (데이터 분석)을 위한 python package 리스트(2) - 시각화
Data 분석시 유용하게 쓰이는 시각화 관련 파이썬 라이브러리에 대하여 알아보겠습니다.
Data Science (데이터 분석)을 위한 python package 리스트(1) - 필수 패키지
Python을 활용한 Data Science, 즉 더 구체적으로 얘기하자면, 데이터 분석을 할 때는 다양한 패키지들을 활용하게 됩니다. 초기에 가상환경을 여러개 만들어 놓고 상황에 맞춰 돌아가면서 쓸 수 있습니다.
jupyter notebook remote 접속 허용 설정
Jupyter Notebook을 원격에서 접속하려고 할 때 셋팅하는 방법에 대해 알아보겠습니다.
[Linux] Python(.py)을 가상환경(virtualenv)에서 주기별로 실행하기
python으로 주기적으로 크롤링 작업을 하거나, 또는 기타 여러가지 상황때문에 .py 파일을 리눅스 환경에서 주기적으로 실행하고 싶은 경우가 있을 겁니다. 그리고 대부분 .py 파일별로 다른 가상환경에서 .py를 실행시켜야 하는 경우도 있을 겁니다.
python django 프로젝트를 아마존(aws) ec2 인스턴스에 생성 및 원격접속
python 으로 django 프로젝트를 생성해서 작업할 일이 생겼다. 로컬에서 작업하는 것보다 amazon aws에 ec2 인스턴스에 셋팅을 한 뒤에 Visual Studio Code의 ftp-simple 플러그인을 활용해서 remote workplace에서 작업을 해보기로 결정...
Anaconda를 활용한 python 가상환경(virtual env) 설정하기
이번 포스팅에서는 Python을 활용하여 개발 / 혹은 jupyter notebook을 사용할 때 필수인 가상환경 (Virtual Environment) 설정하는 법에 대한 팁과 간단한 강좌를 공유해 드리도록 하겠습니다.
파이썬(Python) 가상환경 설정하기
Python(파이썬) 개발시 필수 환경설정인 가상환경 설치 및 설정하기에 대해 알아보겠다.
딥러닝
LangGraph - Multi-Agent Collaboration(다중 협업 에이전트) 로 복잡한 테스크를 수행하는 LLM 어플리케이션 제작
LangChain 에서 야심차게 LangGraph 를 새롭게 출시하였습니다. LangGraph 라이브러리가 출시하게 된 가장 큰 이유는 “복잡한 문제들은 단일 AI 에이전트만으로 해결하기 어렵다” 라는 문장에서 시작합니다.
[pytorch] Early Stopping 조기종료 구현 및 적용
조기 종료(Early Stopping)는 학습시 일정기간(여기서 기간은 보통 N번의 Epoch을 기준으로 합니다)동안 Loss 나 Score 기준으로 개선이 일어나지 않으면 학습을 조기에 종료해 주는 기능입니다. 만약, 20번의 Epoch 동안 학습이 진행한다고 가정했을 때, 아래...
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
[huggingface] 한글 pre-trained 사전학습 BERT 모델로 텍스트 분류하기
이번 포스팅에서는 Huggingface의 한글 데이터셋으로 사전 학습된 kykim/bert-kor-base 모델을 가져와서 한글 자연어 데이터에 대한 텍스트 분류기를 만들어 보겠습니다. 이미지넷에서는 전이학습을 통해 손쉽게 Transfer Learning을 수행할 수 있습니다. ...
GoogLeNet의 Inception Module, 1x1 컨볼루션의 의미와 구현
Going Deeper with Convolutions(2015) Inception 모듈에 대한 내용입니다. 해당 논문에서는 Inception Module이라는 새로운 neural network architecture 를 공개하였습니다. 논문의 제목과 같이 Going Deeper ...
torchvision의 transform으로 이미지 정규화하기(평균, 표준편차를 계산하여 적용)
딥러닝 모델이 이미지를 학습하기 전 이미지 정규화를 진행하는 것은 일반적으로 수행하는 전처리 입니다.
[PyTorch] RNN Layer 입출력 파라미터와 차원(shape) 이해
이번 포스팅에서는 pytorch의 rnn 레이어의 input 차원, output 차원, hidden dimension, num_layers 파라미터를 직접 확인하면서 동작 결과를 눈으로 직접 확인해 보고 코딩시 적절하게 활용하는 방법에 대하여 알아보도록 하겠습니다.
[PyTorch] 모델의 구조도 요약(summary) 출력 (torchsummary)
이번 포스팅에서는 pytorch 모델의 구조도(structure) 요약(summary)을 손쉽게 확인해 볼 수 있는 라이브러리인 torchsummary에 대해 소개해 드리겠습니다.
[PyTorch] 텐서(tensor)의 다양한 생성 방법, 속성, dtype 그리고 shape 변경
이번 포스팅에서는 PyTorch의 텐서(Tensor) 생성하는 다양한 방법, 랜덤 텐서의 생성, 그리고 텐서의 shape 확인 및 변경 방법에 대하여 알아보도록 하겠습니다.
[PyTorch] numpy로부터 텐서 변환(copying과 sharing의 차이)
이번 포스팅에서는 Tensor의 기본 특징과 PyTorch에서 정의한 Tensor타입, PyTorch에서 numpy array를 tensor 변환시 3가지 함수 from_numpy(), as_tensor(), tensor()의 사용법과 그 차이점에 대하여 알아보도록 하겠습니다.
뽀로로(PORORO) 자연어처리 라이브러리 활용기 (dev. and maintained by 카카오 브레인(Kakao Brain) PORORO팀)
카카오 브레인(Kakao Brain) 에서 개발한 자연어처리 종합 선물 세트
[AI SPARK 챌린지] 수도관 누수 탐지 분류 문제 베이스라인 코드! (오디오 파일 전처리)
얼마전 연구개발특구진흥재단에서 주최하고 AIFactory에서 주관한 [AI SPARK 챌린지] 대회2. 수도관 누수 탐지 분류 문제에 대하여 베이스라인 코드를 잡아봤습니다.
원격 서버 Jupyter Notebook에서 TensorBoard(텐서보드) 로드 하기
tensorboard는 딥러닝 프레임워크에서 모델이 학습되는 과정을 실시간으로 모니터링 할 수 있는 강력한 툴입니다.
파이썬 딥러닝 텐서플로 책이 출간되었습니다!
지난 6개월간 동료 3명과 집필한 “파이썬 딥러닝 텐서플로” 책이 드디어 온라인/오프라인 출간 되었습니다!!!
머신러닝/딥러닝 라이브러리 - GPU 사용 테스트
본 포스팅은 딥러닝 도커 설치 후 머신러닝/딥러닝 라이브러리의 GPU 사용 여부를 테스트하는 코드를 공유 드립니다. 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker)글을 참고하셔서 도커로 딥러닝 환경 구성을 하신 후, 아래 코드로 테스트 해 볼 수 있습...
[tensorflow] 함수형 (Functional) API 모델링
본 튜토리얼은 TensorFlow Advanced Technique 시리즈의 일부 내용을 발췌하였습니다.
LSTM과 FinanceDataReader API를 활용한 삼성전자 주가 예측
이번 튜토리얼에서는 딥러닝 모델을 활용하여 삼성전자 주가 예측을 진행해 보겠습니다.
Attention을 활용한 Seq2Seq 모델 생성과 데이터셋 구성
이번 포스팅에서는 Attention을 활용한 Seq2Seq 모델을 생성하는 방법 그리고 Seq2Seq 모델의 학습을 위해 필요한 데이터셋을 구성하는 방법에 대하여 알아보도록 하겠습니다.
[tensorflow] LSTM layer 활용법
시계열 데이터 그리고 NLP에서 흔히 사용되는 LSTM Layer의 주요 Hyper Parameter에 대하여 알아보고, 많이 헷갈려 하시는 input_shape 지정과 결과 값 (output)에 대해서도 직접 실행해 보면서 어떻게 동작하는지 살펴보도록 하겠습니다.
입문자를 위한 데이터분석 포트폴리오 완성, 캡스톤프로젝트를 진행합니다.
이번 글은 국내 최고 성인 실무교육 기관인 패스트캠퍼스와 협력하여 지난 3개월간의 고민 끝에 드디어 런칭을 앞두고 있는 데이터분석 캡스톤 프로젝트에 대하여 시작하게 된 배경과 최종 목표에 대하여 공유하고자 합니다.
[tensorflow] RNN Text 생성 (셰익스피어 글 생성)
텐서플로우 공식 튜토리얼인 순환 신경망을 활용한 문자열 생성에 대한 클론 코드입니다. 셰익스피어 글 데이터셋을 활용하여 인공지능 모델을 학습시키고, 셰익스피어 스타일의 글을 생성할 수 있는 모델을 만들어 보도록 하겠습니다.
[tensorflow] 오토인코더 구현 (MNIST)
이번 포스팅에서는 오토인코더의 기본 개념에 대하여 알아보고, TensorFlow 2.0으로 오토인코더(Autoencoder)를 구현해 보겠습니다.
[tensorflow] VGG16 Transfer Learning 구현과 CNN 모델과 성능 비교
Tranfer Learning은 사전 학습된 모델을 활용하는 방법입니다. 사전 학습된 모델은 방대한 데이터에 대하여 이미 학습된 모델이기 떄문에 적은 학습 cost로 좋은 성능을 이끌어 낼 수 있습니다.
[tensorflow] 가장 기본모델인 Vanilla GAN 구현하기
GAN 이 참 핫합니다. 이번에는 가장 시초격인 Vanila GAN을 구현해 보도록 하겠습니다.
TensorBoard 활용법 및 colab에서 로드하기
TensorBoard 사용을 위한 callback을 만드는 방법과 colab에서 바로 로드하여 확인할 수 있는 magic command에 대한 내용입니다.
TensorFlow Datasets API 활용법
TensorFlow Datasets 는 다양한 데이터셋을 TensorFlow에서 활용하기 쉽도록 제공합니다. 굉장히 많고, 다양한 데이터셋이 학습하기 편한 형태로 제공 되기 때문에, 간단한 사용법만 알아두어도, 샘플로 모델을 돌려보고 학습하기에 매우 유용합니다.
[tensorflow] ImageDataGenerator / Convolution Neural Network(CNN) 을 활용한 이미지 분류
TensorFlow 2.0의 ImageDataGenerator를 활용하여 Image 데이터를 로컬 폴더에서 로딩 후 Generator를 통해 Image Augmentation과 모델에 Feed 할 수 있는 Generator를 만들어 보도록 하겠습니다.
[tensorflow] Dataset, batch, window, flat_map을 활용한 loader 만들기
tf.data.Dataset을 활용하여 다양한 Dataset 로더를 만들 수 있습니다. 그리고, 로더를 활용하여, shuffle, batch_size, window 데이터셋 생성등 다양한 종류를 데이터 셋을 상황에 맞게 생성하고 모델에 feed할 수 있도록 제공해 줍니다.
[tensorflow] 단어 토큰화, Embedding, LSTM layer를 활용한 뉴스 데이터 sarcasm 판단
캐글의 뉴스의 Sarcasm 에 대한 판단을 해주는 딥러닝 모델을 tensorflow 2.0을 활용하여 만들어 보겠습니다.
Kaggle Digit Recognizer Competition - achieve over 99% accuracy!
This is a very simple tutorial for tensorflow 2.0 beginners! This tutorial is based on Digit Recognizer presented by Kaggle You may be able to submit w...
딥러닝(LSTM)을 활용하여 삼성전자 주가 예측을 해보았습니다
본 내용을 토대로 코드가 업데이트 되었습니다. 최신글을 확인해 주세요
[Keras] 콜백함수 (3) - 조기종료: EarlyStopping
EarlyStopping 콜백을 활용하면, model의 성능 지표가 설정한 epoch동안 개선되지 않을 때 조기 종료할 수 있습니다. EarlyStopping과 이전에 언급한 ModelCheckpoint 콜백의 조합을 통하여, 개선되지 않는 학습에 대한 조기 종료를 실행하고, Mo...
[Keras] 콜백함수 (2) - weight 중간 저장: ModelCheckpoint
keras의 콜백함수인 ModelCheckpoint는 모델이 학습하면서 정의한 조건을 만족했을 때 Model의 weight 값을 중간 저장해 줍니다. 학습시간이 꽤 오래걸린다면, 모델이 개선된 validation score를 도출해낼 때마다 weight를 중간 저장함으로써, 혹시 ...
[Keras] 콜백함수 (1) - 학습률(learning rate): ReduceLROnPlateau
keras의 콜백함수인 ReduceLROnPlateau는 학습률이 개선되지 않을 때, 학습률을 동적으로 조정하여 학습률을 개선하는 효과를 기대할 수 있습니다. 경사하강법에 의하여 학습을 하는 경우 Local Minima에 빠져버리게 되면, 더이상 학습률이 개선되지 않고 정체되거나,...
[Keras] 손실함수(Loss Function)와 평가지표(metric) 커스텀하기
이번 포스팅에서는 Keras 딥러닝 프레임워크 활용시 loss function과 metric 을 커스텀하는 방법에 대하여 다뤄보도록 하겠습니다.
keras를 활용한 word2vec pre-trained 모델을 로딩하여 IMDB 감정분석 분류문제 해결하기
이번 포스팅에서는 keras api를 활용하여 텍스트에 대한 전처리(Tokenization)와 Word Embdding, 그리고 구글이 공개한 word2vec (Google News 300) 모델을 다운로드 받아, pre-trained 모델을 통해 IMDB 데이터의 감정을 분류하는...
딥러닝 PC에 Ubuntu 18.04 설치 후 CUDA 10, cuDNN 설치하기
Amazon AWS에서 좋은 GPU 자원으로 딥러닝을 돌리다보니 요금폭탄을 맞았습니다.. 그래서 이참에 딥러닝 PC를 구매를 하게 되었고 딥러닝 서버를 위한 CUDA 및 cuDNN까지 설치하는 방법에 대하여 알려드리고자 합니다.
Tensorflow를 활용하여 Mnist data classification을 CNN으로 구현
이번 포스팅에서는 Google Tensorflow의 웹사이트의 Demo에 나와 있는 가이드라인에 따라, tensorflow 라이브러리를 활용하여 구현해 보도록 하겠습니다.
Machine Learning - Single Layer NN과 Multi Layer NN으로 XOR문제 다뤄보기
Single-Layer Neural Network 에서 풀 수 없는 문제인 XOR Problem을 Tensorflow를 활용하여 Multi-Layer Neural Network로 구현해 보도록 하겠다.
Python 과 Tensorflow로 Mnist 글자인식 구현하기
이번 포스팅에서는 Mnist 데이터를 땡파이썬으로 구현해봄과 동시에 Tensorflow 를 활용하여 구현해 보겠다.
deep learning
[pytorch] Early Stopping 조기종료 구현 및 적용
조기 종료(Early Stopping)는 학습시 일정기간(여기서 기간은 보통 N번의 Epoch을 기준으로 합니다)동안 Loss 나 Score 기준으로 개선이 일어나지 않으면 학습을 조기에 종료해 주는 기능입니다. 만약, 20번의 Epoch 동안 학습이 진행한다고 가정했을 때, 아래...
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
[huggingface] 한글 pre-trained 사전학습 BERT 모델로 텍스트 분류하기
이번 포스팅에서는 Huggingface의 한글 데이터셋으로 사전 학습된 kykim/bert-kor-base 모델을 가져와서 한글 자연어 데이터에 대한 텍스트 분류기를 만들어 보겠습니다. 이미지넷에서는 전이학습을 통해 손쉽게 Transfer Learning을 수행할 수 있습니다. ...
GoogLeNet의 Inception Module, 1x1 컨볼루션의 의미와 구현
Going Deeper with Convolutions(2015) Inception 모듈에 대한 내용입니다. 해당 논문에서는 Inception Module이라는 새로운 neural network architecture 를 공개하였습니다. 논문의 제목과 같이 Going Deeper ...
torchvision의 transform으로 이미지 정규화하기(평균, 표준편차를 계산하여 적용)
딥러닝 모델이 이미지를 학습하기 전 이미지 정규화를 진행하는 것은 일반적으로 수행하는 전처리 입니다.
[PyTorch] RNN Layer 입출력 파라미터와 차원(shape) 이해
이번 포스팅에서는 pytorch의 rnn 레이어의 input 차원, output 차원, hidden dimension, num_layers 파라미터를 직접 확인하면서 동작 결과를 눈으로 직접 확인해 보고 코딩시 적절하게 활용하는 방법에 대하여 알아보도록 하겠습니다.
[PyTorch] 모델의 구조도 요약(summary) 출력 (torchsummary)
이번 포스팅에서는 pytorch 모델의 구조도(structure) 요약(summary)을 손쉽게 확인해 볼 수 있는 라이브러리인 torchsummary에 대해 소개해 드리겠습니다.
[PyTorch] 텐서(tensor)의 다양한 생성 방법, 속성, dtype 그리고 shape 변경
이번 포스팅에서는 PyTorch의 텐서(Tensor) 생성하는 다양한 방법, 랜덤 텐서의 생성, 그리고 텐서의 shape 확인 및 변경 방법에 대하여 알아보도록 하겠습니다.
[PyTorch] numpy로부터 텐서 변환(copying과 sharing의 차이)
이번 포스팅에서는 Tensor의 기본 특징과 PyTorch에서 정의한 Tensor타입, PyTorch에서 numpy array를 tensor 변환시 3가지 함수 from_numpy(), as_tensor(), tensor()의 사용법과 그 차이점에 대하여 알아보도록 하겠습니다.
뽀로로(PORORO) 자연어처리 라이브러리 활용기 (dev. and maintained by 카카오 브레인(Kakao Brain) PORORO팀)
카카오 브레인(Kakao Brain) 에서 개발한 자연어처리 종합 선물 세트
[AI SPARK 챌린지] 수도관 누수 탐지 분류 문제 베이스라인 코드! (오디오 파일 전처리)
얼마전 연구개발특구진흥재단에서 주최하고 AIFactory에서 주관한 [AI SPARK 챌린지] 대회2. 수도관 누수 탐지 분류 문제에 대하여 베이스라인 코드를 잡아봤습니다.
원격 서버 Jupyter Notebook에서 TensorBoard(텐서보드) 로드 하기
tensorboard는 딥러닝 프레임워크에서 모델이 학습되는 과정을 실시간으로 모니터링 할 수 있는 강력한 툴입니다.
머신러닝/딥러닝 라이브러리 - GPU 사용 테스트
본 포스팅은 딥러닝 도커 설치 후 머신러닝/딥러닝 라이브러리의 GPU 사용 여부를 테스트하는 코드를 공유 드립니다. 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker)글을 참고하셔서 도커로 딥러닝 환경 구성을 하신 후, 아래 코드로 테스트 해 볼 수 있습...
[tensorflow] 함수형 (Functional) API 모델링
본 튜토리얼은 TensorFlow Advanced Technique 시리즈의 일부 내용을 발췌하였습니다.
LSTM과 FinanceDataReader API를 활용한 삼성전자 주가 예측
이번 튜토리얼에서는 딥러닝 모델을 활용하여 삼성전자 주가 예측을 진행해 보겠습니다.
Attention을 활용한 Seq2Seq 모델 생성과 데이터셋 구성
이번 포스팅에서는 Attention을 활용한 Seq2Seq 모델을 생성하는 방법 그리고 Seq2Seq 모델의 학습을 위해 필요한 데이터셋을 구성하는 방법에 대하여 알아보도록 하겠습니다.
[tensorflow] LSTM layer 활용법
시계열 데이터 그리고 NLP에서 흔히 사용되는 LSTM Layer의 주요 Hyper Parameter에 대하여 알아보고, 많이 헷갈려 하시는 input_shape 지정과 결과 값 (output)에 대해서도 직접 실행해 보면서 어떻게 동작하는지 살펴보도록 하겠습니다.
[tensorflow] RNN Text 생성 (셰익스피어 글 생성)
텐서플로우 공식 튜토리얼인 순환 신경망을 활용한 문자열 생성에 대한 클론 코드입니다. 셰익스피어 글 데이터셋을 활용하여 인공지능 모델을 학습시키고, 셰익스피어 스타일의 글을 생성할 수 있는 모델을 만들어 보도록 하겠습니다.
[tensorflow] 오토인코더 구현 (MNIST)
이번 포스팅에서는 오토인코더의 기본 개념에 대하여 알아보고, TensorFlow 2.0으로 오토인코더(Autoencoder)를 구현해 보겠습니다.
[tensorflow] VGG16 Transfer Learning 구현과 CNN 모델과 성능 비교
Tranfer Learning은 사전 학습된 모델을 활용하는 방법입니다. 사전 학습된 모델은 방대한 데이터에 대하여 이미 학습된 모델이기 떄문에 적은 학습 cost로 좋은 성능을 이끌어 낼 수 있습니다.
[tensorflow] 가장 기본모델인 Vanilla GAN 구현하기
GAN 이 참 핫합니다. 이번에는 가장 시초격인 Vanila GAN을 구현해 보도록 하겠습니다.
TensorBoard 활용법 및 colab에서 로드하기
TensorBoard 사용을 위한 callback을 만드는 방법과 colab에서 바로 로드하여 확인할 수 있는 magic command에 대한 내용입니다.
TensorFlow Datasets API 활용법
TensorFlow Datasets 는 다양한 데이터셋을 TensorFlow에서 활용하기 쉽도록 제공합니다. 굉장히 많고, 다양한 데이터셋이 학습하기 편한 형태로 제공 되기 때문에, 간단한 사용법만 알아두어도, 샘플로 모델을 돌려보고 학습하기에 매우 유용합니다.
[tensorflow] ImageDataGenerator / Convolution Neural Network(CNN) 을 활용한 이미지 분류
TensorFlow 2.0의 ImageDataGenerator를 활용하여 Image 데이터를 로컬 폴더에서 로딩 후 Generator를 통해 Image Augmentation과 모델에 Feed 할 수 있는 Generator를 만들어 보도록 하겠습니다.
[tensorflow] Dataset, batch, window, flat_map을 활용한 loader 만들기
tf.data.Dataset을 활용하여 다양한 Dataset 로더를 만들 수 있습니다. 그리고, 로더를 활용하여, shuffle, batch_size, window 데이터셋 생성등 다양한 종류를 데이터 셋을 상황에 맞게 생성하고 모델에 feed할 수 있도록 제공해 줍니다.
[tensorflow] 단어 토큰화, Embedding, LSTM layer를 활용한 뉴스 데이터 sarcasm 판단
캐글의 뉴스의 Sarcasm 에 대한 판단을 해주는 딥러닝 모델을 tensorflow 2.0을 활용하여 만들어 보겠습니다.
Kaggle Digit Recognizer Competition - achieve over 99% accuracy!
This is a very simple tutorial for tensorflow 2.0 beginners! This tutorial is based on Digit Recognizer presented by Kaggle You may be able to submit w...
딥러닝(LSTM)을 활용하여 삼성전자 주가 예측을 해보았습니다
본 내용을 토대로 코드가 업데이트 되었습니다. 최신글을 확인해 주세요
[Keras] 콜백함수 (3) - 조기종료: EarlyStopping
EarlyStopping 콜백을 활용하면, model의 성능 지표가 설정한 epoch동안 개선되지 않을 때 조기 종료할 수 있습니다. EarlyStopping과 이전에 언급한 ModelCheckpoint 콜백의 조합을 통하여, 개선되지 않는 학습에 대한 조기 종료를 실행하고, Mo...
[Keras] 콜백함수 (2) - weight 중간 저장: ModelCheckpoint
keras의 콜백함수인 ModelCheckpoint는 모델이 학습하면서 정의한 조건을 만족했을 때 Model의 weight 값을 중간 저장해 줍니다. 학습시간이 꽤 오래걸린다면, 모델이 개선된 validation score를 도출해낼 때마다 weight를 중간 저장함으로써, 혹시 ...
[Keras] 콜백함수 (1) - 학습률(learning rate): ReduceLROnPlateau
keras의 콜백함수인 ReduceLROnPlateau는 학습률이 개선되지 않을 때, 학습률을 동적으로 조정하여 학습률을 개선하는 효과를 기대할 수 있습니다. 경사하강법에 의하여 학습을 하는 경우 Local Minima에 빠져버리게 되면, 더이상 학습률이 개선되지 않고 정체되거나,...
[Keras] 손실함수(Loss Function)와 평가지표(metric) 커스텀하기
이번 포스팅에서는 Keras 딥러닝 프레임워크 활용시 loss function과 metric 을 커스텀하는 방법에 대하여 다뤄보도록 하겠습니다.
keras를 활용한 word2vec pre-trained 모델을 로딩하여 IMDB 감정분석 분류문제 해결하기
이번 포스팅에서는 keras api를 활용하여 텍스트에 대한 전처리(Tokenization)와 Word Embdding, 그리고 구글이 공개한 word2vec (Google News 300) 모델을 다운로드 받아, pre-trained 모델을 통해 IMDB 데이터의 감정을 분류하는...
딥러닝 PC에 Ubuntu 18.04 설치 후 CUDA 10, cuDNN 설치하기
Amazon AWS에서 좋은 GPU 자원으로 딥러닝을 돌리다보니 요금폭탄을 맞았습니다.. 그래서 이참에 딥러닝 PC를 구매를 하게 되었고 딥러닝 서버를 위한 CUDA 및 cuDNN까지 설치하는 방법에 대하여 알려드리고자 합니다.
Tensorflow를 활용하여 Mnist data classification을 CNN으로 구현
이번 포스팅에서는 Google Tensorflow의 웹사이트의 Demo에 나와 있는 가이드라인에 따라, tensorflow 라이브러리를 활용하여 구현해 보도록 하겠습니다.
Machine Learning - Single Layer NN과 Multi Layer NN으로 XOR문제 다뤄보기
Single-Layer Neural Network 에서 풀 수 없는 문제인 XOR Problem을 Tensorflow를 활용하여 Multi-Layer Neural Network로 구현해 보도록 하겠다.
Python 과 Tensorflow로 Mnist 글자인식 구현하기
이번 포스팅에서는 Mnist 데이터를 땡파이썬으로 구현해봄과 동시에 Tensorflow 를 활용하여 구현해 보겠다.
Deep Learning - Softmax 함수란
인공신경망에서 출력층의 정규화를 위한 함수인 소프트맥스(softmax)함수에 대하여 알아보겠다.
tensorflow
TensorFlow 와 PyTorch 중 무엇을 써야할까?
TensorFlow는 딥러닝 프레임워크 시장에서 초기에 막강한 선두 주자 였습니다. 그러나 최근에 들어 PyTorch가 연구 커뮤니티에서 큰 사랑을 받기 시작했습니다.
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
bbc-text.csv 데이터셋을 활용한 BBC 뉴스 아티클 카테고리 분류기 만들기
BBC 뉴스 아티클 묶음 데이터셋인 bbc-text.csv 파일을 활용하여 TensorFlow 의 Tokenizer로 단어 사전을 만들고 자연어 처리 모델 학습을 위한 데이터 전처리를 진행해 보겠습니다. bbc-text.csv 파일을 pandas로 읽어와서 데이터프레임 변환 후 라...
[2023년 업데이트] 구글 텐서플로 개발자 자격인증 시험을 위한 환경설치(PyCharm, 필요 라이브러리 설치)
본 포스팅은 Google TensorFlow Developers Certificate 자격인증 시험을 위한 환경설치를 위한 내용입니다.
실리콘(M1, M2) 맥(Mac) OS 에서 텐서플로(TensorFlow) 설치 방법
실리콘(M1, M2) 맥(Mac) 사용하는 유저가 최근 1~2년 안에 급격하게 늘어나면서, m1, m2 칩셋을 사용하는 맥 사용자를 위한 가상 환경 설치와 TensorFlow 설치에 대한 문의가 많았습니다. 아쉽게도 그동안 제가 실리콘 맥이 없어 직접 테스트를 해볼 수 없었기 때문...
[AI SPARK 챌린지] 수도관 누수 탐지 분류 문제 베이스라인 코드! (오디오 파일 전처리)
얼마전 연구개발특구진흥재단에서 주최하고 AIFactory에서 주관한 [AI SPARK 챌린지] 대회2. 수도관 누수 탐지 분류 문제에 대하여 베이스라인 코드를 잡아봤습니다.
원격 서버 Jupyter Notebook에서 TensorBoard(텐서보드) 로드 하기
tensorboard는 딥러닝 프레임워크에서 모델이 학습되는 과정을 실시간으로 모니터링 할 수 있는 강력한 툴입니다.
머신러닝/딥러닝 라이브러리 - GPU 사용 테스트
본 포스팅은 딥러닝 도커 설치 후 머신러닝/딥러닝 라이브러리의 GPU 사용 여부를 테스트하는 코드를 공유 드립니다. 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker)글을 참고하셔서 도커로 딥러닝 환경 구성을 하신 후, 아래 코드로 테스트 해 볼 수 있습...
[tensorflow] 함수형 (Functional) API 모델링
본 튜토리얼은 TensorFlow Advanced Technique 시리즈의 일부 내용을 발췌하였습니다.
Attention을 활용한 Seq2Seq 모델 생성과 데이터셋 구성
이번 포스팅에서는 Attention을 활용한 Seq2Seq 모델을 생성하는 방법 그리고 Seq2Seq 모델의 학습을 위해 필요한 데이터셋을 구성하는 방법에 대하여 알아보도록 하겠습니다.
[tensorflow] LSTM layer 활용법
시계열 데이터 그리고 NLP에서 흔히 사용되는 LSTM Layer의 주요 Hyper Parameter에 대하여 알아보고, 많이 헷갈려 하시는 input_shape 지정과 결과 값 (output)에 대해서도 직접 실행해 보면서 어떻게 동작하는지 살펴보도록 하겠습니다.
텐서플로(tensorflow) 윈도우 10 GPU 설치
텐서플로우(TensorFlow) 2.0 를 윈도우(Windows) 10에서 GPU를 활용하여 학습할 수 있도록 설치하는 방법에 대하여 공유드리고자 합니다.
텐서플로우(tensorflow) 파이참(pycharm)에서 dll 오류 해결
TensorFlow 2.0을 Pycharm에서 실행시 dll load failed: 지정된 모듈을 찾을 수 없습니다.가 나는 경우가 있습니다.
[tensorflow] RNN Text 생성 (셰익스피어 글 생성)
텐서플로우 공식 튜토리얼인 순환 신경망을 활용한 문자열 생성에 대한 클론 코드입니다. 셰익스피어 글 데이터셋을 활용하여 인공지능 모델을 학습시키고, 셰익스피어 스타일의 글을 생성할 수 있는 모델을 만들어 보도록 하겠습니다.
[tensorflow] GradientTape의 활용법
TensorFlow 2.0의 자동 미분 기능인 GradientTape에 대하여 알아보겠습니다.
[tensorflow] 오토인코더 구현 (MNIST)
이번 포스팅에서는 오토인코더의 기본 개념에 대하여 알아보고, TensorFlow 2.0으로 오토인코더(Autoencoder)를 구현해 보겠습니다.
[tensorflow] VGG16 Transfer Learning 구현과 CNN 모델과 성능 비교
Tranfer Learning은 사전 학습된 모델을 활용하는 방법입니다. 사전 학습된 모델은 방대한 데이터에 대하여 이미 학습된 모델이기 떄문에 적은 학습 cost로 좋은 성능을 이끌어 낼 수 있습니다.
[tensorflow] 가장 기본모델인 Vanilla GAN 구현하기
GAN 이 참 핫합니다. 이번에는 가장 시초격인 Vanila GAN을 구현해 보도록 하겠습니다.
TensorBoard 활용법 및 colab에서 로드하기
TensorBoard 사용을 위한 callback을 만드는 방법과 colab에서 바로 로드하여 확인할 수 있는 magic command에 대한 내용입니다.
TensorFlow Datasets API 활용법
TensorFlow Datasets 는 다양한 데이터셋을 TensorFlow에서 활용하기 쉽도록 제공합니다. 굉장히 많고, 다양한 데이터셋이 학습하기 편한 형태로 제공 되기 때문에, 간단한 사용법만 알아두어도, 샘플로 모델을 돌려보고 학습하기에 매우 유용합니다.
[tensorflow] ImageDataGenerator / Convolution Neural Network(CNN) 을 활용한 이미지 분류
TensorFlow 2.0의 ImageDataGenerator를 활용하여 Image 데이터를 로컬 폴더에서 로딩 후 Generator를 통해 Image Augmentation과 모델에 Feed 할 수 있는 Generator를 만들어 보도록 하겠습니다.
[tensorflow] Dataset, batch, window, flat_map을 활용한 loader 만들기
tf.data.Dataset을 활용하여 다양한 Dataset 로더를 만들 수 있습니다. 그리고, 로더를 활용하여, shuffle, batch_size, window 데이터셋 생성등 다양한 종류를 데이터 셋을 상황에 맞게 생성하고 모델에 feed할 수 있도록 제공해 줍니다.
[tensorflow] 단어 토큰화, Embedding, LSTM layer를 활용한 뉴스 데이터 sarcasm 판단
캐글의 뉴스의 Sarcasm 에 대한 판단을 해주는 딥러닝 모델을 tensorflow 2.0을 활용하여 만들어 보겠습니다.
Kaggle Digit Recognizer Competition - achieve over 99% accuracy!
This is a very simple tutorial for tensorflow 2.0 beginners! This tutorial is based on Digit Recognizer presented by Kaggle You may be able to submit w...
텐서플로우 개발자 자격증 (Tensorflow Developer Certification) 시험 그리고 취득방법
Google 에서 공식 인증하는 Tensorflow Developers Certification (텐서플로우 2.0 개발자 자격증) 시험에 대한 응시 방법, 취득, 그리고 노하우를 공유드리고자 합니다.
Google Colab에서 코드 한 줄(magic command)로 tensorflow2.0으로 업그레이드
Google Colab에서 tensorflow 2.0으로 magic command를 통해 손쉽게 업그레이드 하는 방법에 대하여 알려드리겠습니다.
딥러닝(LSTM)을 활용하여 삼성전자 주가 예측을 해보았습니다
본 내용을 토대로 코드가 업데이트 되었습니다. 최신글을 확인해 주세요
[Keras] 콜백함수 (3) - 조기종료: EarlyStopping
EarlyStopping 콜백을 활용하면, model의 성능 지표가 설정한 epoch동안 개선되지 않을 때 조기 종료할 수 있습니다. EarlyStopping과 이전에 언급한 ModelCheckpoint 콜백의 조합을 통하여, 개선되지 않는 학습에 대한 조기 종료를 실행하고, Mo...
[Keras] 콜백함수 (2) - weight 중간 저장: ModelCheckpoint
keras의 콜백함수인 ModelCheckpoint는 모델이 학습하면서 정의한 조건을 만족했을 때 Model의 weight 값을 중간 저장해 줍니다. 학습시간이 꽤 오래걸린다면, 모델이 개선된 validation score를 도출해낼 때마다 weight를 중간 저장함으로써, 혹시 ...
[Keras] 콜백함수 (1) - 학습률(learning rate): ReduceLROnPlateau
keras의 콜백함수인 ReduceLROnPlateau는 학습률이 개선되지 않을 때, 학습률을 동적으로 조정하여 학습률을 개선하는 효과를 기대할 수 있습니다. 경사하강법에 의하여 학습을 하는 경우 Local Minima에 빠져버리게 되면, 더이상 학습률이 개선되지 않고 정체되거나,...
[Keras] 손실함수(Loss Function)와 평가지표(metric) 커스텀하기
이번 포스팅에서는 Keras 딥러닝 프레임워크 활용시 loss function과 metric 을 커스텀하는 방법에 대하여 다뤄보도록 하겠습니다.
Tensorflow, Keras, Pytorch GPU 사용여부 체크하기
딥러닝 프레임워크에서 GPU 사용여부를 체크할 수 있는 API에 대하여 알려드리도록 하겠습니다.
Tensorflow를 활용하여 Mnist data classification을 CNN으로 구현
이번 포스팅에서는 Google Tensorflow의 웹사이트의 Demo에 나와 있는 가이드라인에 따라, tensorflow 라이브러리를 활용하여 구현해 보도록 하겠습니다.
Machine Learning - Single Layer NN과 Multi Layer NN으로 XOR문제 다뤄보기
Single-Layer Neural Network 에서 풀 수 없는 문제인 XOR Problem을 Tensorflow를 활용하여 Multi-Layer Neural Network로 구현해 보도록 하겠다.
Python 과 Tensorflow로 Mnist 글자인식 구현하기
이번 포스팅에서는 Mnist 데이터를 땡파이썬으로 구현해봄과 동시에 Tensorflow 를 활용하여 구현해 보겠다.
pytorch
TensorFlow 와 PyTorch 중 무엇을 써야할까?
TensorFlow는 딥러닝 프레임워크 시장에서 초기에 막강한 선두 주자 였습니다. 그러나 최근에 들어 PyTorch가 연구 커뮤니티에서 큰 사랑을 받기 시작했습니다.
데이터 분석(pandas, matplotlib) 모듈과 머신러닝/딥러닝 모듈 사용시 자주 사용하는 옵션 정리
데이터 분석이나 머신러닝 프로젝트 진행시 자주 사용하는 옵션 값을 정리 해 보았습니다. 거의 매번 노트북 파일을 만들 때마다 import 를 해주어야 하는데, 저는 하나의 파일에 정리해 두고 필요한 옵션을 찾아서 사용하는 편입니다. 앞으로 유용한 옵션이 있다면 계속 추가해 나갈 예...
[pytorch] 토큰화(Tokenizing), Embedding + LSTM 모델을 활용한 텍스트 분류 예측
이번 튜토리얼에서는 sarcasm 데이터셋을 활용하여 뉴스 기사의 제목(headline) 텍스트를 학습하여 sarcastic(1) 인지 normal(0) 인지 판별하는 텍스트 분류기를 생성하고, 학습 및 추론까지 진행합니다.
[pytorch] Seq2Seq with Attention 구현 및 한 줄씩 코드 설명
이번 포스팅에서는 Attention 메카니즘이 적용된 Seq2Seq 모델을 pytorch로 구현하고, 코드 한 줄씩 직접 shape를 찍어보고 확인하면서 구현된 코드 통해 동작 원리와 Attention 구조를 이해해 보도록 하겠습니다.
[pytorch] Seq2Seq 으로 챗봇 만들기 (코드 구현)
이번 튜토리얼에서는 seq2seq 모델을 pytorch로 구현하고 한글 챗봇 데이터를 학습시켜 추론해 보는 단계까지 진행해 보도록 하겠습니다.
[pytorch] GRU 입력 텐서와 출력 텐서의 shape 이해
이번에는 지난 LSTM 입력 텐서와 출력 텐서의 shape 이해 의 후속편으로써, pytorch의 GRU layer의 입출력 텐서의 shape에 대하여 이해해 보고 세부 옵션에 대하여 자세히 알아보도록 하겠습니다.
[pytorch] LSTM 입력 텐서와 출력 텐서의 shape 이해
pytorch에서 LSTM 입출력 텐서의 shape 때문에 애를 먹었습니다. 입출력 텐서의 shape에 대해서 명확히 인지하고 있어야 모델 구성시 에러를 최소화 할 수 있습니다.
WandB 를 활용하여 모델의 학습을 추적하는 방법
WandB는 weights and biases 의 약어입니다. 머신러닝을 하시는 분들은 weights & biases 와 굉장히 친숙할텐데요. WandB의 네이밍에서 알 수 있듯이 모델이 학습할 때 실험 결과를 저장 및 시각화, 하이퍼파라미터를 저장, 모델 뿐만아니라 시스템...
[pytorch] Early Stopping 조기종료 구현 및 적용
조기 종료(Early Stopping)는 학습시 일정기간(여기서 기간은 보통 N번의 Epoch을 기준으로 합니다)동안 Loss 나 Score 기준으로 개선이 일어나지 않으면 학습을 조기에 종료해 주는 기능입니다. 만약, 20번의 Epoch 동안 학습이 진행한다고 가정했을 때, 아래...
torchtext를 활용한 텍스트 데이터 전처리 방법
torchtext는 pytorch 모델에 주입하기 위한 텍스트 데이터셋을 구성하기 편하게 만들어 주는 데이터 로더(Data Loader) 입니다. torchtext 를 활용하여 CSV, TSV, JSON 등의 정형 데이터셋을 쉽게 로드하도록 도와주는 TabularDataset 클래...
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
[huggingface] 한글 pre-trained 사전학습 BERT 모델로 텍스트 분류하기
이번 포스팅에서는 Huggingface의 한글 데이터셋으로 사전 학습된 kykim/bert-kor-base 모델을 가져와서 한글 자연어 데이터에 대한 텍스트 분류기를 만들어 보겠습니다. 이미지넷에서는 전이학습을 통해 손쉽게 Transfer Learning을 수행할 수 있습니다. ...
GoogLeNet의 Inception Module, 1x1 컨볼루션의 의미와 구현
Going Deeper with Convolutions(2015) Inception 모듈에 대한 내용입니다. 해당 논문에서는 Inception Module이라는 새로운 neural network architecture 를 공개하였습니다. 논문의 제목과 같이 Going Deeper ...
[pytorch] 변환(Transform)을 활용한 이미지 증강(Image Augmentation) 적용
데이터 증강(Data Augmentation)은 학습을 위한 데이터에 변형을 가하여 데이터의 규모를 키울 뿐만 아니라, 데이터에 대한 변형된 다양한 케이스를 학습하게 만들 수 있는 좋은 수단 중 하나입니다. 또한, 모델이 과적합(overfitting) 되는 것을 방지해주는 효과도 ...
AlexNet Implementation(구현) by PyTorch
AlexNet(2012) 의 PyTorch 구현 입니다. 논문에 대한 세부 인사이트는 생략하며, 오직 코드 구현만 다룹니다.
PyTorch Dataset을 상속받은 사용자 정의 이미지 데이터셋(CustomImageDataset) 구성하기
이번 튜토리얼에서는 torch.utils.data.Dataset을 상속 받아 사용자 정의 이미지 데이터셋을 구성하고, 이를 활용하여 DataLoader를 구성하는 방법에 대하여 알아보겠습니다.
PyTorch 전이학습(transfer learning)과 미세조정(fine tuning)으로 이미지 분류기 생성, 예측, 검증성능 평가하기
PyTorch의 사전 학습된 모델(pretrained model)을 로드하여 전이학습(transfer learning)을 통해 모델 생성, 학습, 예측 및 검증 성능을 측정해 보도록 하겠습니다.
PyTorch 로컬이미지 로드(ImageFolder) 후, DataLoader 생성 및 CNN이미지 분류 모델 생성, 학습, 검증 성능 측정하기
로컬 이미지 폴더에서 ImageFolder를 사용하여 이미지 데이터셋을 로드하고, CNN으로 구성된 모델을 생성, 학습, 예측, 검증 성능을 측정하는 방법을 알아보겠습니다.
PyTorch 심층신경망(DNN) 모델 생성 후 Fashion MNIST 이미지 분류기 생성, 학습, 예측, 검증 성능 측정하기
PyTorch 심층신경망(Deep Neural Network) 모델을 생성하고 PyTorch의 내장 데이터셋인 Fashion MNIST 데이터셋을 로드하여 이미지 분류기를 생성, 학습, 예측, 검증 성능 측정하는 방법을 알아보겠습니다.
PyTorch 정형데이터를 CustomDataset으로 서브클래싱(SubClassing)한 후 예측 모델 생성 및 학습하기
정형데이터셋을 로드하여 PyTorch의 torch.utils.data.Dataset을 상속받아 커스텀 데이터셋(CustomDataset)을 서브클래싱(SubClassing)으로 정의하고, 이를 torch.utils.data.DataLoader에 주입하여 배치구성을 한 뒤, 모델 학...
PyTorch의 자동미분(AutoGrad)을 활용하여 정형 데이터 예측기(regression model)구현
이번 튜토리얼에서는 scikit-learn의 내장 데이터셋인 보스톤 주택 가격 데이터셋을 활용하여 회귀 예측 모델(regression model)을 만들고 예측해 보도록 하겠습니다.
PyTorch의 자동미분(AutoGrad)기능과 경사하강법(Gradient Descent) 구현
이번 포스팅에서는 PyTorch의 자동미분(AutoGrad) 기능을 활용하여 경사하강법 알고리즘을 직접 구현해보고 손실(loss) 값과 weights, bias의 변화량을 시각화해 보겠습니다.
torchvision의 transform으로 이미지 정규화하기(평균, 표준편차를 계산하여 적용)
딥러닝 모델이 이미지를 학습하기 전 이미지 정규화를 진행하는 것은 일반적으로 수행하는 전처리 입니다.
[PyTorch] RNN Layer 입출력 파라미터와 차원(shape) 이해
이번 포스팅에서는 pytorch의 rnn 레이어의 input 차원, output 차원, hidden dimension, num_layers 파라미터를 직접 확인하면서 동작 결과를 눈으로 직접 확인해 보고 코딩시 적절하게 활용하는 방법에 대하여 알아보도록 하겠습니다.
[PyTorch] 모델의 구조도 요약(summary) 출력 (torchsummary)
이번 포스팅에서는 pytorch 모델의 구조도(structure) 요약(summary)을 손쉽게 확인해 볼 수 있는 라이브러리인 torchsummary에 대해 소개해 드리겠습니다.
[PyTorch] 텐서(tensor)의 다양한 생성 방법, 속성, dtype 그리고 shape 변경
이번 포스팅에서는 PyTorch의 텐서(Tensor) 생성하는 다양한 방법, 랜덤 텐서의 생성, 그리고 텐서의 shape 확인 및 변경 방법에 대하여 알아보도록 하겠습니다.
[PyTorch] numpy로부터 텐서 변환(copying과 sharing의 차이)
이번 포스팅에서는 Tensor의 기본 특징과 PyTorch에서 정의한 Tensor타입, PyTorch에서 numpy array를 tensor 변환시 3가지 함수 from_numpy(), as_tensor(), tensor()의 사용법과 그 차이점에 대하여 알아보도록 하겠습니다.
원격 서버 Jupyter Notebook에서 TensorBoard(텐서보드) 로드 하기
tensorboard는 딥러닝 프레임워크에서 모델이 학습되는 과정을 실시간으로 모니터링 할 수 있는 강력한 툴입니다.
머신러닝/딥러닝 라이브러리 - GPU 사용 테스트
본 포스팅은 딥러닝 도커 설치 후 머신러닝/딥러닝 라이브러리의 GPU 사용 여부를 테스트하는 코드를 공유 드립니다. 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker)글을 참고하셔서 도커로 딥러닝 환경 구성을 하신 후, 아래 코드로 테스트 해 볼 수 있습...
Tensorflow, Keras, Pytorch GPU 사용여부 체크하기
딥러닝 프레임워크에서 GPU 사용여부를 체크할 수 있는 API에 대하여 알려드리도록 하겠습니다.
[pytorch] MNIST dataset loading 하기
pytorch 에서 각 종 Datasets에 대하여 제공해줍니다.
Conv2d layer를 겹겹이 쌓을 때 최종 output volume 계산법
이번 포스팅에서는 torch 를 이용하여 CNN(Convolution Neural Network) 에서 convolution layer를 겹겹이 쌓았을 때 최종 output volume size를 구하는 방법에 대하여 알아 보겠습니다.
파이썬
[2024년 UPDATE] OpenAI Python API 튜토리얼 - Whisper API를 사용하여 TTS, STT 구현하기(3)
이번 튜토리얼은 OpenAI 의 Whisper API 를 사용하여 음성을 텍스트로 변환하는 STT, 그리고 텍스트를 음성으로 변환하는 방법에 대해 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 튜토리얼 - DALL·E를 사용하여 이미지 생성, 수정, 다양화하기(2)
이번 튜토리얼은 OpenAI 의 DALL·E 의 Python API 사용법을 다룹니다. 이번 튜토리얼을 통하여 이미지 생성, 수정, 다양화 하는 방법에 대해 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 튜토리얼 - 채팅(chat) 함수 사용하기(1)
이번 튜토리얼 부터는 시리즈 형식으로 OpenAI 에서 지난 2023년 11월에 1.x.x 로 판올림하여 공개한 API 의 사용법에 대해서 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 키 발급방법, 요금체계
이번 튜토리얼은 OpenAI 의 Python API 키를 발급받는 방법과 요금 체계에 대해 알아보겠습니다.
파이썬 비동기(async)함수와 코루틴(coroutine) 흐름 이해하기
파이썬에서 async 함수는 비동기 프로그래밍 을 위한 기능입니다. 파이썬 함수에서 def 키워드로 정의할 때 앞에 async 가 붙습니다. 파이썬의 비동기 함수가 많이 사용될 때는 I/O 바운드 작업 이나 높은 대기 시간이 예상되는 작업을 처리 할 때 유용합니다.
파이썬, 데이터분석가를 위한 초간단 파일공유 서비스
본 내용은 자체 제작한 파일공유 서비스에 대한 내용입니다. 말그대로 파일을 가장 쉬운 방법으로 공유할 수 있는 서비스이며, 링크를 활용하여 공유할 수 있습니다. Python, wget 명령어로 다운로드 받는 코드를 제공하며, 비밀번호로 암호화 하여 공유도 가능합니다.
나만의 파이썬 패키지(PYPI) 만들기 및 등록하고 배포하기
PYPI는 Python Package Index의 약어로 Python 패키지 저장소의 개념으로 생각하시면 됩니다. 수 많은 개발자들이 본인이 만든 파이썬 소프트웨어를 손쉽게 설치하고 활용할 수 있도록 패키지화 하여 저장소에 업로드를 하는데요. 저장소에 업로드된 패키지를 pip in...
실리콘(M1, M2) 맥(Mac) OS 에서 텐서플로(TensorFlow) 설치 방법
실리콘(M1, M2) 맥(Mac) 사용하는 유저가 최근 1~2년 안에 급격하게 늘어나면서, m1, m2 칩셋을 사용하는 맥 사용자를 위한 가상 환경 설치와 TensorFlow 설치에 대한 문의가 많았습니다. 아쉽게도 그동안 제가 실리콘 맥이 없어 직접 테스트를 해볼 수 없었기 때문...
Google Cloud API를 활용하여 주소의 위도, 경도 정보 가져오기
Google Cloud API 의 Geocoding API를 활용하여 한글 주소를 위/경도 좌표계로 변경해 보는 방법에 대하여 알아보겠습니다.
지도 시각화 도구 Folium 사용법을 파헤쳐보자!
지도위에 데이터를 interactive하게 표현해 주는 대표적인 파이썬 지도 시각화 라이브러리 folium에 대해서 알아보고 그 사용법을 파헤쳐보도록 하겠습니다.
코사인 유사도(cosine similarity)로 과거 주가의 유사 패턴을 찾아 미래 예측하기
주가의 과거 패턴을 찾아 미래를 예측하는 것이 가능할까요?
파이썬 딥러닝 텐서플로 책이 출간되었습니다!
지난 6개월간 동료 3명과 집필한 “파이썬 딥러닝 텐서플로” 책이 드디어 온라인/오프라인 출간 되었습니다!!!
#11-파이썬(Python) 패키지(package)와 모듈(module)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 패키지(package)와 모듈(module)을 다룹니다.
#10-파이썬(Python) 내장함수-map, zip, filter, enumerate
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 내장함수(built-in function) 중 map(), zip(), filter(), enumerate()를 다룹니다.
#09-파이썬(Python) 함수, lambda 함수, 인수(arguments), 매개변수(parameters)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 함수(function), lambda 함수, 인수(arguments)와 매개변수(parameters)를 다룹니다.
#08-파이썬(Python) 컴프리헨션(Comprehension)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 컴프리헨션(Comprehension)을 다룹니다.
#07-파이썬(Python) 반복문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
#06-파이썬(Python) 비교, 논리, 삼항연산자와 조건문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
#05-파이썬(Python) 연산
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
#04-파이썬(Python) 문자열(str)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
#03-파이썬(Python) 세트(set)와 딕셔너리(dictionary)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 세트(set)와 딕셔너리(dictionary)를 다룹니다.
#02-파이썬(Python) 리스트(list)와 튜플(tuple)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 리스트(list)와 튜플(tuple)을 다룹니다.
#01-파이썬(Python) 기본 자료구조
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
처음 만나는 AI수학 with 파이썬 책 리뷰 - 수포자, 비전공자를 위한 수학
이번 포스팅에서는 처음 만나는 AI수학 with 파이썬 책 리뷰를 해보도록 하겠습니다.
Python 클래스의 상속 (inheritance)
텐서플로의 Model Subclassing 구현을 위해서는 python의 상속(inheritance) 개념을 필히 알고 있어야 합니다. 그래서, 이번 포스팅에서는 python의 클래스 그리고 상속에 대한 내용을 다뤄 보도록 하겠습니다.
Google Colab에서 python 패키지를 영구적(permanently)으로 설치하는 방법
Colab에서 영구적(permanently)으로 파이썬 패키지를 설치(install) 하는 방법에 대하여 공유드리고자 합니다.
python의 built-in function인 lambda, map, filter, 그리고 reduce에 대한 쉬운 이해와 사용법
lambda, map, filter 그리고 reduce는 python 코딩에서 자주 활용되는 대표적인 built-in function입니다. (reduce는 python3에서 built-in에서는 제거되었습니다)
뉴스 기사 와 RSS 피드에서 손쉽게 크롤링 하여 정보 수집하기
최근 뉴스 기사를 크롤링하여 군집화 하는 작업을 하기 위해서, 국내 신문기사의 정보들을 크롤링해야하는 작업이 필요하였습니다. request와 BeautifulSoup4를 사용해서 크롤링하는 것은 간단하지만, 언론사 웹사이트 별로 기사의 contents를 표시하는 tag와 class...
python의 pickle 기능을 활용하여 data를 저장하고 불러오는 방법
큰 용량의 dataset을 다루다 보면, 중간에 binary file 형태로 저장하고, 이를 나중에 불러와야하는 경우가 있습니다.
Data Science (데이터 분석)을 위한 python package 리스트(2) - 시각화
Data 분석시 유용하게 쓰이는 시각화 관련 파이썬 라이브러리에 대하여 알아보겠습니다.
Data Science (데이터 분석)을 위한 python package 리스트(1) - 필수 패키지
Python을 활용한 Data Science, 즉 더 구체적으로 얘기하자면, 데이터 분석을 할 때는 다양한 패키지들을 활용하게 됩니다. 초기에 가상환경을 여러개 만들어 놓고 상황에 맞춰 돌아가면서 쓸 수 있습니다.
jupyter notebook remote 접속 허용 설정
Jupyter Notebook을 원격에서 접속하려고 할 때 셋팅하는 방법에 대해 알아보겠습니다.
python django 프로젝트를 아마존(aws) ec2 인스턴스에 생성 및 원격접속
python 으로 django 프로젝트를 생성해서 작업할 일이 생겼다. 로컬에서 작업하는 것보다 amazon aws에 ec2 인스턴스에 셋팅을 한 뒤에 Visual Studio Code의 ftp-simple 플러그인을 활용해서 remote workplace에서 작업을 해보기로 결정...
튜토리얼
파이썬 비동기(async)함수와 코루틴(coroutine) 흐름 이해하기
파이썬에서 async 함수는 비동기 프로그래밍 을 위한 기능입니다. 파이썬 함수에서 def 키워드로 정의할 때 앞에 async 가 붙습니다. 파이썬의 비동기 함수가 많이 사용될 때는 I/O 바운드 작업 이나 높은 대기 시간이 예상되는 작업을 처리 할 때 유용합니다.
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
bbc-text.csv 데이터셋을 활용한 BBC 뉴스 아티클 카테고리 분류기 만들기
BBC 뉴스 아티클 묶음 데이터셋인 bbc-text.csv 파일을 활용하여 TensorFlow 의 Tokenizer로 단어 사전을 만들고 자연어 처리 모델 학습을 위한 데이터 전처리를 진행해 보겠습니다. bbc-text.csv 파일을 pandas로 읽어와서 데이터프레임 변환 후 라...
[2023년 업데이트] 구글 텐서플로 개발자 자격인증 시험을 위한 환경설치(PyCharm, 필요 라이브러리 설치)
본 포스팅은 Google TensorFlow Developers Certificate 자격인증 시험을 위한 환경설치를 위한 내용입니다.
[pytorch] 변환(Transform)을 활용한 이미지 증강(Image Augmentation) 적용
데이터 증강(Data Augmentation)은 학습을 위한 데이터에 변형을 가하여 데이터의 규모를 키울 뿐만 아니라, 데이터에 대한 변형된 다양한 케이스를 학습하게 만들 수 있는 좋은 수단 중 하나입니다. 또한, 모델이 과적합(overfitting) 되는 것을 방지해주는 효과도 ...
PyTorch 심층신경망(DNN) 모델 생성 후 Fashion MNIST 이미지 분류기 생성, 학습, 예측, 검증 성능 측정하기
PyTorch 심층신경망(Deep Neural Network) 모델을 생성하고 PyTorch의 내장 데이터셋인 Fashion MNIST 데이터셋을 로드하여 이미지 분류기를 생성, 학습, 예측, 검증 성능 측정하는 방법을 알아보겠습니다.
PyTorch의 자동미분(AutoGrad)을 활용하여 정형 데이터 예측기(regression model)구현
이번 튜토리얼에서는 scikit-learn의 내장 데이터셋인 보스톤 주택 가격 데이터셋을 활용하여 회귀 예측 모델(regression model)을 만들고 예측해 보도록 하겠습니다.
PyTorch의 자동미분(AutoGrad)기능과 경사하강법(Gradient Descent) 구현
이번 포스팅에서는 PyTorch의 자동미분(AutoGrad) 기능을 활용하여 경사하강법 알고리즘을 직접 구현해보고 손실(loss) 값과 weights, bias의 변화량을 시각화해 보겠습니다.
[PyTorch] RNN Layer 입출력 파라미터와 차원(shape) 이해
이번 포스팅에서는 pytorch의 rnn 레이어의 input 차원, output 차원, hidden dimension, num_layers 파라미터를 직접 확인하면서 동작 결과를 눈으로 직접 확인해 보고 코딩시 적절하게 활용하는 방법에 대하여 알아보도록 하겠습니다.
[PyTorch] 모델의 구조도 요약(summary) 출력 (torchsummary)
이번 포스팅에서는 pytorch 모델의 구조도(structure) 요약(summary)을 손쉽게 확인해 볼 수 있는 라이브러리인 torchsummary에 대해 소개해 드리겠습니다.
[PyTorch] 텐서(tensor)의 다양한 생성 방법, 속성, dtype 그리고 shape 변경
이번 포스팅에서는 PyTorch의 텐서(Tensor) 생성하는 다양한 방법, 랜덤 텐서의 생성, 그리고 텐서의 shape 확인 및 변경 방법에 대하여 알아보도록 하겠습니다.
[PyTorch] numpy로부터 텐서 변환(copying과 sharing의 차이)
이번 포스팅에서는 Tensor의 기본 특징과 PyTorch에서 정의한 Tensor타입, PyTorch에서 numpy array를 tensor 변환시 3가지 함수 from_numpy(), as_tensor(), tensor()의 사용법과 그 차이점에 대하여 알아보도록 하겠습니다.
[AI SPARK 챌린지] 수도관 누수 탐지 분류 문제 베이스라인 코드! (오디오 파일 전처리)
얼마전 연구개발특구진흥재단에서 주최하고 AIFactory에서 주관한 [AI SPARK 챌린지] 대회2. 수도관 누수 탐지 분류 문제에 대하여 베이스라인 코드를 잡아봤습니다.
캐글 노트북(Kaggle Notebook) 도커에 한글 자연어처리 패키지를 추가한 딥러닝 도커 배포, 설치 및 실행
캐글 노트북(Kaggle Notebook) 커널로도 유명한 도커인 Kaggle/docker-python의 GPU Docker(gpu.Dockerfile)를 기반으로 구성하였습니다. Kaggle에서 공개한 도커 이미지는 한글 폰트, 자연어처리 패키지, 형태소 분석기 등이 누락되어 있...
#11-파이썬(Python) 패키지(package)와 모듈(module)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 패키지(package)와 모듈(module)을 다룹니다.
#10-파이썬(Python) 내장함수-map, zip, filter, enumerate
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 내장함수(built-in function) 중 map(), zip(), filter(), enumerate()를 다룹니다.
#09-파이썬(Python) 함수, lambda 함수, 인수(arguments), 매개변수(parameters)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 함수(function), lambda 함수, 인수(arguments)와 매개변수(parameters)를 다룹니다.
#08-파이썬(Python) 컴프리헨션(Comprehension)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 컴프리헨션(Comprehension)을 다룹니다.
#07-파이썬(Python) 반복문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
#06-파이썬(Python) 비교, 논리, 삼항연산자와 조건문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
#05-파이썬(Python) 연산
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
#04-파이썬(Python) 문자열(str)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
#03-파이썬(Python) 세트(set)와 딕셔너리(dictionary)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 세트(set)와 딕셔너리(dictionary)를 다룹니다.
#02-파이썬(Python) 리스트(list)와 튜플(tuple)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 리스트(list)와 튜플(tuple)을 다룹니다.
넘파이(Numpy) 튜토리얼
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 수치계산용 라이브러리인 넘파이(numpy) 를 다룹니다.
#01-파이썬(Python) 기본 자료구조
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
[tensorflow] LSTM layer 활용법
시계열 데이터 그리고 NLP에서 흔히 사용되는 LSTM Layer의 주요 Hyper Parameter에 대하여 알아보고, 많이 헷갈려 하시는 input_shape 지정과 결과 값 (output)에 대해서도 직접 실행해 보면서 어떻게 동작하는지 살펴보도록 하겠습니다.
깃헙(GitHub) 웹사이트 기능들로 GitHub 입문하기
Git, GitHub은 프로젝트의 협업을 위해서 꼭 필요한 소스코드 형상 관리 시스템입니다. 형상 관리 시스템은 소스코드의 버전 관리 시스템이라고도 불리웁니다. 다수의 인원이 하나의 프로젝트를 진행할 때, 소스코드의 충돌을 효율적으로 해결하고, 업데이트되는 사항들을 병합해주기도 ...
[tensorflow] ImageDataGenerator / Convolution Neural Network(CNN) 을 활용한 이미지 분류
TensorFlow 2.0의 ImageDataGenerator를 활용하여 Image 데이터를 로컬 폴더에서 로딩 후 Generator를 통해 Image Augmentation과 모델에 Feed 할 수 있는 Generator를 만들어 보도록 하겠습니다.
Seaborn의 통계 차트 및 데이터 시각화 예제
seaborn은 matplotlib의 상위 호환 데이터 시각화를 위한 라이브러리입니다. seaborn패키지는 데이터프레임으로 다양한 통계 지표를 낼 수 있는 시각화 차트를 제공하기 때문에 데이터 분석에 활발히 사용되고 있는 라이브러리입니다.
Matplotlib을 활용한 데이터 시각화 그래프 예제
데이터 시각화를 위한 라이브러리인 matplotlib 의 주요 그래프와 세부 옵션들에 대하여 알아보는 튜토리얼입니다.
matplotlib.pyplot 기본 튜토리얼, 스타일, 캔버스
본 튜토리얼은 matplotlib의 가장 기본적인 튜토리얼을 제공합니다.
머신러닝
LangGraph - Multi-Agent Collaboration(다중 협업 에이전트) 로 복잡한 테스크를 수행하는 LLM 어플리케이션 제작
LangChain 에서 야심차게 LangGraph 를 새롭게 출시하였습니다. LangGraph 라이브러리가 출시하게 된 가장 큰 이유는 “복잡한 문제들은 단일 AI 에이전트만으로 해결하기 어렵다” 라는 문장에서 시작합니다.
Gemini API를 활용한 이상 탐지: 임베딩으로 데이터셋 분석하기
이 글에서는 Gemini API를 사용하여 데이터셋에서 이상치를 탐지하는 방법을 알아봅니다. 그리고 임베딩과 t-SNE를 활용한 데이터 시각화 및 이상치 탐지 과정을 단계별로 설명합니다.
Optuna를 활용한 하이퍼파라미터 최적화
이번 포스팅에서는 기계 학습 모델의 성능을 극대화하기 위해 하이퍼파라미터 최적화 과정에 대해 깊게 다루려고 합니다.
베이지안 최적화에 기반한 HyperOpt를 활용한 하이퍼 파라미터 튜닝
Baysian Optimization 기반한 하이퍼파라미터 튜닝 라이브러리인 HyperOpt 에 대하여 다뤄보도록 하겠습니다.
머신러닝 실전 앙상블 (Ensemble)과 Hyperparameter 튜닝
머신러닝 알고리즘의 끝판왕인 앙상블(Ensemble) 알고리즘에 대하여 알아보도록 하겠습니다. 앙상블 알고리즘은 방법론 적인 측면에서 Voting, Bagging, Boosting 알고리즘등으로 나뉠 수 있겠고, 앙상블의 앙상블 알고리즘인 Stacking 그리고 Weighted B...
의사결정 나무 (Decision Tree)와 Entropy, 그리고 Gini 계수
Decision Tree는 Random Forest Ensemble 알고리즘의 기본이 되는 알고리즘이며, Tree 기반 알고리즘입니다. 의사결정나무 혹은 결정트리로 불리우는 이 알고리즘은 머신러닝의 학습 결과에 대하여 시각화를 통한 직관적인 이해가 가능하다는 것이 큰 장점입니다. ...
로지스틱회귀(Logistic Regression)와 분류 평가 지표 (Precision, Recall, F1 Score)
Logistic Regression은 선형 알고리즘에 Sigmoid Function 이 결합된 분류 알고리즘 입니다. 알고리즘 이름 뒷부분에 Regression 이 붙기 때문에 흔하게 회귀 알고리즘으로 착각할 수 있지만 분류 알고리즘 입니다.
Lasso, Ridge, ElasticNet-L1, L2규제를 적용한 선형 알고리즘
선형 알고리즘에 기반한 알고리즘에 대해서 알아보고 회귀 (Regression) 문제를 다뤄보도록 하겠습니다. 이번 선형 알고리즘에 기반한 회귀 문제를 다룰 때 L1, L2 규제의 개념이 등장합니다. L1, L2 규제는 딥러닝까지 쭉 이어지는 개념이고, 앞으로 머신러닝/딥러닝 학습시...
최근접 이웃 (KNN) 알고리즘을 활용한 분류
K-Nearest Neighbors 이른바, 최근접 이웃 분류 알고리즘을 활용한 간단한 머신러닝 분류 문제를 풀어보도록 하겠습니다. 알고리즘은 동작 원리는 매우 직관적이고 단순 합니다. 이해는 어렵지 않으나, 복잡한 분류 문제에 있어서는 모델의 성능에 대한 큰 기대를 하기 어렵습니...
scikit-learn 데이터 전처리
데이터 전처리는 데이터 분석 및 머신러닝 학습을 위해서 매우 중요한 단계 입니다. 실무 프로젝트에서는 전체 프로젝트 기간 중 평균 50~70% 이상 시간을 전처리 및 EDA에 투자한다고 합니다. 그만큼 좋은 전처리를 하면 할수록 좋은 성능을 내는 머신러닝 모델을 만들 수 있습니다.
scikit-learn 데이터셋(dataset) 다루기
scikit-learn의 패키지에 포함된 dataset 패키지에서 Toy Dataset을 로딩하여 학습해 보는 튜토리얼입니다.
경사하강법 (Gradient Descent) 직접 구현하기
이번에는 머신러닝 뿐만아니라, 인공신경망 모델의 가장 기초가 되는 경사하강법 (Gradient Descent)에 대하여 알아보도록 하겠습니다. 경사하강법을 Python으로 직접 구현해보는 튜토리얼 입니다. 자세한 설명은 유튜브 영상을 참고해 보셔도 좋습니다.
최소제곱법 (Ordinary Least Squares) 과 선형회귀 알고리즘 (Linear Regression)
이번 포스팅에서는 최소제곱법(Least Ordinary Sqaures)의 Python 코드 구현과 scikit-learn의 LinearRegression을 활용하여 회귀(Regression) 예측까지 해보겠습니다.
입문자를 위한 데이터분석 포트폴리오 완성, 캡스톤프로젝트를 진행합니다.
이번 글은 국내 최고 성인 실무교육 기관인 패스트캠퍼스와 협력하여 지난 3개월간의 고민 끝에 드디어 런칭을 앞두고 있는 데이터분석 캡스톤 프로젝트에 대하여 시작하게 된 배경과 최종 목표에 대하여 공유하고자 합니다.
train_test_split 모듈을 활용하여 학습과 테스트 세트 분리
사이킷런(scikit-learn)의 model_selection 패키지 안에 train_test_split 모듈을 활용하여 손쉽게 train set(학습 데이터 셋)과 test set(테스트 셋)을 분리할 수 있습니다. 이번 포스팅에서는 train_test_split 에 대해 자세...
카테고리형 데이터를 수치형으로 변환하기 (LabelEncoder와 Categorical dtype)
카테고리형 데이터(Categorical Data)를 수치형 데이터(Numerical Data)로 변환해주는 작업은 머신러닝 모델을 돌려보기 위해서 필수로 해줘야하는 전처리 작업입니다.
PCA 를 활용한 차원축소
Principal Component Analysis는 대표적인 Linear 차원 축소 기법입니다.
Tree기반 모델(DecisionTree, RandomForest)의 분할 그래프 시각화하기 (graphviz)
Tree 기반 모델은 RandomForest 모델때문에 참 인기있게 활용되는 알고리즘 입니다. RandomForest 모델은 데이터 분석 대회인 캐글에서도 활발히 활용되고 있으며, 성능이 좋을 뿐만아니라 쉽고 간편하게 사용할 수 있기 때문에 저 또한 데이터 분석 대회에서 basel...
GridSearch를 이용한 머신러닝 Hyperparameter 튜닝
Hyperparameter 튜닝을 위해서는 다양한 방법론이 존재합니다. 가장 쉬운 방법으로는 일명 손튜닝이 있을 수 있겠구요. RandomSearch, GridSearch, HyperOpt등 다양한 방법으로 Hyperparameter를 튜닝할 수 있습니다.
앙상블 학습(ensemble learning)으로 알고리즘 성능 개선하기(3) - Boosting
Boosting 알고리즘 역시 앙상블 학습 (ensemble learning)이며, 약한 학습기를 순차적으로 학습을 하되, 이전 학습에 대하여 잘못 예측된 데이터에 가중치를 부여해 오차를 보완해 나가는 방식입니다.
앙상블 학습(ensemble learning)으로 알고리즘 성능 개선하기(2) - Bagging
Bagging 기반의 앙상블(ensemble) 기법은 이미 널리 사용되고 있는 랜덤포레스트(RandomForest) 알고리즘이 바로 그 대표적인 예 입니다.
앙상블 학습(ensemble learning)으로 알고리즘 성능 개선하기(1) - Voting
Kaggle의 상위 솔루션들만 봐도 알겠지만, 단일 모델로는 어느 정도 성능을 극으로 끌어올리기는 한계가 있습니다. 그렇기 때문에 거의 모든 상위권에 랭크되는 솔루션들을 살펴보면 앙상블 학습(emsemble learning)으로 랭크를 올리는 모습을 볼 수 있습니다. 이번 포스팅에...
Kaggle(캐글) 타이타닉 생존자 예측 81% 이상 달성하기
캐글(Kaggle)의 대표적인 입문용 데이터 분석 경진대회인 타이타닉 생존자 예측 (Titanic: Machine Learning from Disaster) 에서 81% 이상의 정확도를 기록하여 상위 5% 안에 들 수 있는 Solution을 공유하고자 합니다.
sklearn의 K-Nearest Neighbors 분류기를 활용하여 Iris 꽃 종류 분류하기 (Classifier)
K-최근접 이웃 (K-Nearest Neighbors) 알고리즘은 분류(Classifier)와 회귀(Regression)에 모두 쓰입니다. 처음 접하는 사람들도 이해하기 쉬운 알고리즘이며, 단순한 데이터를 대상으로 분류나 회귀를 할 때 사용합니다.
sklearn.datasets 모듈을 활용하여 샘플데이터 로딩하기
sklearn.datasets 모듈에는 대표적인 sample dataset들을 제공하고 손쉽게 다운로드 및 로딩할 수 있습니다.
sklearn 라이브러리를 활용한 mnist 손글씨 10분만에 70,000개 분류하기
sklearn라이브러리(scikit-learn)는 machine learning을 하기 위하여 필요한 막강한 라이브러리입니다.
sklearn의 KMeans 모듈을 활용한 뉴스 클러스터링
하루에도 수만개의 뉴스기사가 쏟아져 나옵니다. 수많은 뉴스기사들을 중복되거나 매우 유사도가 높은 기사들은 구독자에게 중복되게 노출시키지 않기 위해서 뉴스기사를 서비스 하고 있는 포털 사이트나 언론사에서도 뉴스기사 클러스터링 기법을 사용하고 있습니다.
Tensorflow를 활용하여 Mnist data classification을 CNN으로 구현
이번 포스팅에서는 Google Tensorflow의 웹사이트의 Demo에 나와 있는 가이드라인에 따라, tensorflow 라이브러리를 활용하여 구현해 보도록 하겠습니다.
Machine Learning - Single Layer NN과 Multi Layer NN으로 XOR문제 다뤄보기
Single-Layer Neural Network 에서 풀 수 없는 문제인 XOR Problem을 Tensorflow를 활용하여 Multi-Layer Neural Network로 구현해 보도록 하겠다.
Simple Gradient Descent on predicting Boston Housing
SImple Gradient Descent implementations Examples
machine learning
[2023년 업데이트] 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 - 데이터분석편
지난 2020년에 작성한 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1), 글과 후속 글인 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2) 을 많이 읽어 주셔서 감사드립니다. 작성 당시에는 가벼운 마음으로 개인...
베이지안 최적화에 기반한 HyperOpt를 활용한 하이퍼 파라미터 튜닝
Baysian Optimization 기반한 하이퍼파라미터 튜닝 라이브러리인 HyperOpt 에 대하여 다뤄보도록 하겠습니다.
머신러닝 실전 앙상블 (Ensemble)과 Hyperparameter 튜닝
머신러닝 알고리즘의 끝판왕인 앙상블(Ensemble) 알고리즘에 대하여 알아보도록 하겠습니다. 앙상블 알고리즘은 방법론 적인 측면에서 Voting, Bagging, Boosting 알고리즘등으로 나뉠 수 있겠고, 앙상블의 앙상블 알고리즘인 Stacking 그리고 Weighted B...
의사결정 나무 (Decision Tree)와 Entropy, 그리고 Gini 계수
Decision Tree는 Random Forest Ensemble 알고리즘의 기본이 되는 알고리즘이며, Tree 기반 알고리즘입니다. 의사결정나무 혹은 결정트리로 불리우는 이 알고리즘은 머신러닝의 학습 결과에 대하여 시각화를 통한 직관적인 이해가 가능하다는 것이 큰 장점입니다. ...
로지스틱회귀(Logistic Regression)와 분류 평가 지표 (Precision, Recall, F1 Score)
Logistic Regression은 선형 알고리즘에 Sigmoid Function 이 결합된 분류 알고리즘 입니다. 알고리즘 이름 뒷부분에 Regression 이 붙기 때문에 흔하게 회귀 알고리즘으로 착각할 수 있지만 분류 알고리즘 입니다.
Lasso, Ridge, ElasticNet-L1, L2규제를 적용한 선형 알고리즘
선형 알고리즘에 기반한 알고리즘에 대해서 알아보고 회귀 (Regression) 문제를 다뤄보도록 하겠습니다. 이번 선형 알고리즘에 기반한 회귀 문제를 다룰 때 L1, L2 규제의 개념이 등장합니다. L1, L2 규제는 딥러닝까지 쭉 이어지는 개념이고, 앞으로 머신러닝/딥러닝 학습시...
최근접 이웃 (KNN) 알고리즘을 활용한 분류
K-Nearest Neighbors 이른바, 최근접 이웃 분류 알고리즘을 활용한 간단한 머신러닝 분류 문제를 풀어보도록 하겠습니다. 알고리즘은 동작 원리는 매우 직관적이고 단순 합니다. 이해는 어렵지 않으나, 복잡한 분류 문제에 있어서는 모델의 성능에 대한 큰 기대를 하기 어렵습니...
scikit-learn 데이터 전처리
데이터 전처리는 데이터 분석 및 머신러닝 학습을 위해서 매우 중요한 단계 입니다. 실무 프로젝트에서는 전체 프로젝트 기간 중 평균 50~70% 이상 시간을 전처리 및 EDA에 투자한다고 합니다. 그만큼 좋은 전처리를 하면 할수록 좋은 성능을 내는 머신러닝 모델을 만들 수 있습니다.
scikit-learn 데이터셋(dataset) 다루기
scikit-learn의 패키지에 포함된 dataset 패키지에서 Toy Dataset을 로딩하여 학습해 보는 튜토리얼입니다.
최소제곱법 (Ordinary Least Squares) 과 선형회귀 알고리즘 (Linear Regression)
이번 포스팅에서는 최소제곱법(Least Ordinary Sqaures)의 Python 코드 구현과 scikit-learn의 LinearRegression을 활용하여 회귀(Regression) 예측까지 해보겠습니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
train_test_split 모듈을 활용하여 학습과 테스트 세트 분리
사이킷런(scikit-learn)의 model_selection 패키지 안에 train_test_split 모듈을 활용하여 손쉽게 train set(학습 데이터 셋)과 test set(테스트 셋)을 분리할 수 있습니다. 이번 포스팅에서는 train_test_split 에 대해 자세...
카테고리형 데이터를 수치형으로 변환하기 (LabelEncoder와 Categorical dtype)
카테고리형 데이터(Categorical Data)를 수치형 데이터(Numerical Data)로 변환해주는 작업은 머신러닝 모델을 돌려보기 위해서 필수로 해줘야하는 전처리 작업입니다.
PCA 를 활용한 차원축소
Principal Component Analysis는 대표적인 Linear 차원 축소 기법입니다.
Tree기반 모델(DecisionTree, RandomForest)의 분할 그래프 시각화하기 (graphviz)
Tree 기반 모델은 RandomForest 모델때문에 참 인기있게 활용되는 알고리즘 입니다. RandomForest 모델은 데이터 분석 대회인 캐글에서도 활발히 활용되고 있으며, 성능이 좋을 뿐만아니라 쉽고 간편하게 사용할 수 있기 때문에 저 또한 데이터 분석 대회에서 basel...
GridSearch를 이용한 머신러닝 Hyperparameter 튜닝
Hyperparameter 튜닝을 위해서는 다양한 방법론이 존재합니다. 가장 쉬운 방법으로는 일명 손튜닝이 있을 수 있겠구요. RandomSearch, GridSearch, HyperOpt등 다양한 방법으로 Hyperparameter를 튜닝할 수 있습니다.
앙상블 학습(ensemble learning)으로 알고리즘 성능 개선하기(3) - Boosting
Boosting 알고리즘 역시 앙상블 학습 (ensemble learning)이며, 약한 학습기를 순차적으로 학습을 하되, 이전 학습에 대하여 잘못 예측된 데이터에 가중치를 부여해 오차를 보완해 나가는 방식입니다.
앙상블 학습(ensemble learning)으로 알고리즘 성능 개선하기(2) - Bagging
Bagging 기반의 앙상블(ensemble) 기법은 이미 널리 사용되고 있는 랜덤포레스트(RandomForest) 알고리즘이 바로 그 대표적인 예 입니다.
앙상블 학습(ensemble learning)으로 알고리즘 성능 개선하기(1) - Voting
Kaggle의 상위 솔루션들만 봐도 알겠지만, 단일 모델로는 어느 정도 성능을 극으로 끌어올리기는 한계가 있습니다. 그렇기 때문에 거의 모든 상위권에 랭크되는 솔루션들을 살펴보면 앙상블 학습(emsemble learning)으로 랭크를 올리는 모습을 볼 수 있습니다. 이번 포스팅에...
Kaggle(캐글) 타이타닉 생존자 예측 81% 이상 달성하기
캐글(Kaggle)의 대표적인 입문용 데이터 분석 경진대회인 타이타닉 생존자 예측 (Titanic: Machine Learning from Disaster) 에서 81% 이상의 정확도를 기록하여 상위 5% 안에 들 수 있는 Solution을 공유하고자 합니다.
sklearn의 K-Nearest Neighbors 분류기를 활용하여 Iris 꽃 종류 분류하기 (Classifier)
K-최근접 이웃 (K-Nearest Neighbors) 알고리즘은 분류(Classifier)와 회귀(Regression)에 모두 쓰입니다. 처음 접하는 사람들도 이해하기 쉬운 알고리즘이며, 단순한 데이터를 대상으로 분류나 회귀를 할 때 사용합니다.
sklearn.datasets 모듈을 활용하여 샘플데이터 로딩하기
sklearn.datasets 모듈에는 대표적인 sample dataset들을 제공하고 손쉽게 다운로드 및 로딩할 수 있습니다.
sklearn 라이브러리를 활용한 mnist 손글씨 10분만에 70,000개 분류하기
sklearn라이브러리(scikit-learn)는 machine learning을 하기 위하여 필요한 막강한 라이브러리입니다.
sklearn의 KMeans 모듈을 활용한 뉴스 클러스터링
하루에도 수만개의 뉴스기사가 쏟아져 나옵니다. 수많은 뉴스기사들을 중복되거나 매우 유사도가 높은 기사들은 구독자에게 중복되게 노출시키지 않기 위해서 뉴스기사를 서비스 하고 있는 포털 사이트나 언론사에서도 뉴스기사 클러스터링 기법을 사용하고 있습니다.
Tensorflow를 활용하여 Mnist data classification을 CNN으로 구현
이번 포스팅에서는 Google Tensorflow의 웹사이트의 Demo에 나와 있는 가이드라인에 따라, tensorflow 라이브러리를 활용하여 구현해 보도록 하겠습니다.
Pandas와 scikit-learn으로 정말 간단한 pre-processing 몇 가지 팁
캐글 (Kaggle) 의 Titanic: Machine Learning from Disaster 의 train 데이터를 활용해 간단한 시각화 및 빠진 데이터 pre-processing 그리고 간단한 Normalization까지 해보도록 하겠습니다. Train 데이터는 윗 줄의 링크...
Machine Learning - Single Layer NN과 Multi Layer NN으로 XOR문제 다뤄보기
Single-Layer Neural Network 에서 풀 수 없는 문제인 XOR Problem을 Tensorflow를 활용하여 Multi-Layer Neural Network로 구현해 보도록 하겠다.
Simple Gradient Descent on predicting Boston Housing
SImple Gradient Descent implementations Examples
tutorial
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
bbc-text.csv 데이터셋을 활용한 BBC 뉴스 아티클 카테고리 분류기 만들기
BBC 뉴스 아티클 묶음 데이터셋인 bbc-text.csv 파일을 활용하여 TensorFlow 의 Tokenizer로 단어 사전을 만들고 자연어 처리 모델 학습을 위한 데이터 전처리를 진행해 보겠습니다. bbc-text.csv 파일을 pandas로 읽어와서 데이터프레임 변환 후 라...
[2023년 업데이트] 구글 텐서플로 개발자 자격인증 시험을 위한 환경설치(PyCharm, 필요 라이브러리 설치)
본 포스팅은 Google TensorFlow Developers Certificate 자격인증 시험을 위한 환경설치를 위한 내용입니다.
[pytorch] 변환(Transform)을 활용한 이미지 증강(Image Augmentation) 적용
데이터 증강(Data Augmentation)은 학습을 위한 데이터에 변형을 가하여 데이터의 규모를 키울 뿐만 아니라, 데이터에 대한 변형된 다양한 케이스를 학습하게 만들 수 있는 좋은 수단 중 하나입니다. 또한, 모델이 과적합(overfitting) 되는 것을 방지해주는 효과도 ...
PyTorch 심층신경망(DNN) 모델 생성 후 Fashion MNIST 이미지 분류기 생성, 학습, 예측, 검증 성능 측정하기
PyTorch 심층신경망(Deep Neural Network) 모델을 생성하고 PyTorch의 내장 데이터셋인 Fashion MNIST 데이터셋을 로드하여 이미지 분류기를 생성, 학습, 예측, 검증 성능 측정하는 방법을 알아보겠습니다.
PyTorch의 자동미분(AutoGrad)을 활용하여 정형 데이터 예측기(regression model)구현
이번 튜토리얼에서는 scikit-learn의 내장 데이터셋인 보스톤 주택 가격 데이터셋을 활용하여 회귀 예측 모델(regression model)을 만들고 예측해 보도록 하겠습니다.
PyTorch의 자동미분(AutoGrad)기능과 경사하강법(Gradient Descent) 구현
이번 포스팅에서는 PyTorch의 자동미분(AutoGrad) 기능을 활용하여 경사하강법 알고리즘을 직접 구현해보고 손실(loss) 값과 weights, bias의 변화량을 시각화해 보겠습니다.
[PyTorch] RNN Layer 입출력 파라미터와 차원(shape) 이해
이번 포스팅에서는 pytorch의 rnn 레이어의 input 차원, output 차원, hidden dimension, num_layers 파라미터를 직접 확인하면서 동작 결과를 눈으로 직접 확인해 보고 코딩시 적절하게 활용하는 방법에 대하여 알아보도록 하겠습니다.
[PyTorch] 모델의 구조도 요약(summary) 출력 (torchsummary)
이번 포스팅에서는 pytorch 모델의 구조도(structure) 요약(summary)을 손쉽게 확인해 볼 수 있는 라이브러리인 torchsummary에 대해 소개해 드리겠습니다.
[PyTorch] 텐서(tensor)의 다양한 생성 방법, 속성, dtype 그리고 shape 변경
이번 포스팅에서는 PyTorch의 텐서(Tensor) 생성하는 다양한 방법, 랜덤 텐서의 생성, 그리고 텐서의 shape 확인 및 변경 방법에 대하여 알아보도록 하겠습니다.
[PyTorch] numpy로부터 텐서 변환(copying과 sharing의 차이)
이번 포스팅에서는 Tensor의 기본 특징과 PyTorch에서 정의한 Tensor타입, PyTorch에서 numpy array를 tensor 변환시 3가지 함수 from_numpy(), as_tensor(), tensor()의 사용법과 그 차이점에 대하여 알아보도록 하겠습니다.
[AI SPARK 챌린지] 수도관 누수 탐지 분류 문제 베이스라인 코드! (오디오 파일 전처리)
얼마전 연구개발특구진흥재단에서 주최하고 AIFactory에서 주관한 [AI SPARK 챌린지] 대회2. 수도관 누수 탐지 분류 문제에 대하여 베이스라인 코드를 잡아봤습니다.
캐글 노트북(Kaggle Notebook) 도커에 한글 자연어처리 패키지를 추가한 딥러닝 도커 배포, 설치 및 실행
캐글 노트북(Kaggle Notebook) 커널로도 유명한 도커인 Kaggle/docker-python의 GPU Docker(gpu.Dockerfile)를 기반으로 구성하였습니다. Kaggle에서 공개한 도커 이미지는 한글 폰트, 자연어처리 패키지, 형태소 분석기 등이 누락되어 있...
#11-파이썬(Python) 패키지(package)와 모듈(module)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 패키지(package)와 모듈(module)을 다룹니다.
#10-파이썬(Python) 내장함수-map, zip, filter, enumerate
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 내장함수(built-in function) 중 map(), zip(), filter(), enumerate()를 다룹니다.
#09-파이썬(Python) 함수, lambda 함수, 인수(arguments), 매개변수(parameters)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 함수(function), lambda 함수, 인수(arguments)와 매개변수(parameters)를 다룹니다.
#08-파이썬(Python) 컴프리헨션(Comprehension)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 컴프리헨션(Comprehension)을 다룹니다.
#07-파이썬(Python) 반복문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
#06-파이썬(Python) 비교, 논리, 삼항연산자와 조건문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
#05-파이썬(Python) 연산
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
#04-파이썬(Python) 문자열(str)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
#03-파이썬(Python) 세트(set)와 딕셔너리(dictionary)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 세트(set)와 딕셔너리(dictionary)를 다룹니다.
#02-파이썬(Python) 리스트(list)와 튜플(tuple)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 리스트(list)와 튜플(tuple)을 다룹니다.
넘파이(Numpy) 튜토리얼
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 수치계산용 라이브러리인 넘파이(numpy) 를 다룹니다.
#01-파이썬(Python) 기본 자료구조
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
[tensorflow] LSTM layer 활용법
시계열 데이터 그리고 NLP에서 흔히 사용되는 LSTM Layer의 주요 Hyper Parameter에 대하여 알아보고, 많이 헷갈려 하시는 input_shape 지정과 결과 값 (output)에 대해서도 직접 실행해 보면서 어떻게 동작하는지 살펴보도록 하겠습니다.
[tensorflow] RNN Text 생성 (셰익스피어 글 생성)
텐서플로우 공식 튜토리얼인 순환 신경망을 활용한 문자열 생성에 대한 클론 코드입니다. 셰익스피어 글 데이터셋을 활용하여 인공지능 모델을 학습시키고, 셰익스피어 스타일의 글을 생성할 수 있는 모델을 만들어 보도록 하겠습니다.
깃헙(GitHub) 웹사이트 기능들로 GitHub 입문하기
Git, GitHub은 프로젝트의 협업을 위해서 꼭 필요한 소스코드 형상 관리 시스템입니다. 형상 관리 시스템은 소스코드의 버전 관리 시스템이라고도 불리웁니다. 다수의 인원이 하나의 프로젝트를 진행할 때, 소스코드의 충돌을 효율적으로 해결하고, 업데이트되는 사항들을 병합해주기도 ...
[tensorflow] ImageDataGenerator / Convolution Neural Network(CNN) 을 활용한 이미지 분류
TensorFlow 2.0의 ImageDataGenerator를 활용하여 Image 데이터를 로컬 폴더에서 로딩 후 Generator를 통해 Image Augmentation과 모델에 Feed 할 수 있는 Generator를 만들어 보도록 하겠습니다.
텐서플로
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
bbc-text.csv 데이터셋을 활용한 BBC 뉴스 아티클 카테고리 분류기 만들기
BBC 뉴스 아티클 묶음 데이터셋인 bbc-text.csv 파일을 활용하여 TensorFlow 의 Tokenizer로 단어 사전을 만들고 자연어 처리 모델 학습을 위한 데이터 전처리를 진행해 보겠습니다. bbc-text.csv 파일을 pandas로 읽어와서 데이터프레임 변환 후 라...
실리콘(M1, M2) 맥(Mac) OS 에서 텐서플로(TensorFlow) 설치 방법
실리콘(M1, M2) 맥(Mac) 사용하는 유저가 최근 1~2년 안에 급격하게 늘어나면서, m1, m2 칩셋을 사용하는 맥 사용자를 위한 가상 환경 설치와 TensorFlow 설치에 대한 문의가 많았습니다. 아쉽게도 그동안 제가 실리콘 맥이 없어 직접 테스트를 해볼 수 없었기 때문...
[AI SPARK 챌린지] 수도관 누수 탐지 분류 문제 베이스라인 코드! (오디오 파일 전처리)
얼마전 연구개발특구진흥재단에서 주최하고 AIFactory에서 주관한 [AI SPARK 챌린지] 대회2. 수도관 누수 탐지 분류 문제에 대하여 베이스라인 코드를 잡아봤습니다.
원격 서버 Jupyter Notebook에서 TensorBoard(텐서보드) 로드 하기
tensorboard는 딥러닝 프레임워크에서 모델이 학습되는 과정을 실시간으로 모니터링 할 수 있는 강력한 툴입니다.
머신러닝/딥러닝 라이브러리 - GPU 사용 테스트
본 포스팅은 딥러닝 도커 설치 후 머신러닝/딥러닝 라이브러리의 GPU 사용 여부를 테스트하는 코드를 공유 드립니다. 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker)글을 참고하셔서 도커로 딥러닝 환경 구성을 하신 후, 아래 코드로 테스트 해 볼 수 있습...
[tensorflow] 함수형 (Functional) API 모델링
본 튜토리얼은 TensorFlow Advanced Technique 시리즈의 일부 내용을 발췌하였습니다.
Attention을 활용한 Seq2Seq 모델 생성과 데이터셋 구성
이번 포스팅에서는 Attention을 활용한 Seq2Seq 모델을 생성하는 방법 그리고 Seq2Seq 모델의 학습을 위해 필요한 데이터셋을 구성하는 방법에 대하여 알아보도록 하겠습니다.
[tensorflow] LSTM layer 활용법
시계열 데이터 그리고 NLP에서 흔히 사용되는 LSTM Layer의 주요 Hyper Parameter에 대하여 알아보고, 많이 헷갈려 하시는 input_shape 지정과 결과 값 (output)에 대해서도 직접 실행해 보면서 어떻게 동작하는지 살펴보도록 하겠습니다.
텐서플로(tensorflow) 윈도우 10 GPU 설치
텐서플로우(TensorFlow) 2.0 를 윈도우(Windows) 10에서 GPU를 활용하여 학습할 수 있도록 설치하는 방법에 대하여 공유드리고자 합니다.
텐서플로우(tensorflow) 파이참(pycharm)에서 dll 오류 해결
TensorFlow 2.0을 Pycharm에서 실행시 dll load failed: 지정된 모듈을 찾을 수 없습니다.가 나는 경우가 있습니다.
[tensorflow] RNN Text 생성 (셰익스피어 글 생성)
텐서플로우 공식 튜토리얼인 순환 신경망을 활용한 문자열 생성에 대한 클론 코드입니다. 셰익스피어 글 데이터셋을 활용하여 인공지능 모델을 학습시키고, 셰익스피어 스타일의 글을 생성할 수 있는 모델을 만들어 보도록 하겠습니다.
[tensorflow] 오토인코더 구현 (MNIST)
이번 포스팅에서는 오토인코더의 기본 개념에 대하여 알아보고, TensorFlow 2.0으로 오토인코더(Autoencoder)를 구현해 보겠습니다.
[tensorflow] VGG16 Transfer Learning 구현과 CNN 모델과 성능 비교
Tranfer Learning은 사전 학습된 모델을 활용하는 방법입니다. 사전 학습된 모델은 방대한 데이터에 대하여 이미 학습된 모델이기 떄문에 적은 학습 cost로 좋은 성능을 이끌어 낼 수 있습니다.
[tensorflow] 가장 기본모델인 Vanilla GAN 구현하기
GAN 이 참 핫합니다. 이번에는 가장 시초격인 Vanila GAN을 구현해 보도록 하겠습니다.
TensorBoard 활용법 및 colab에서 로드하기
TensorBoard 사용을 위한 callback을 만드는 방법과 colab에서 바로 로드하여 확인할 수 있는 magic command에 대한 내용입니다.
TensorFlow Datasets API 활용법
TensorFlow Datasets 는 다양한 데이터셋을 TensorFlow에서 활용하기 쉽도록 제공합니다. 굉장히 많고, 다양한 데이터셋이 학습하기 편한 형태로 제공 되기 때문에, 간단한 사용법만 알아두어도, 샘플로 모델을 돌려보고 학습하기에 매우 유용합니다.
[tensorflow] ImageDataGenerator / Convolution Neural Network(CNN) 을 활용한 이미지 분류
TensorFlow 2.0의 ImageDataGenerator를 활용하여 Image 데이터를 로컬 폴더에서 로딩 후 Generator를 통해 Image Augmentation과 모델에 Feed 할 수 있는 Generator를 만들어 보도록 하겠습니다.
[tensorflow] Dataset, batch, window, flat_map을 활용한 loader 만들기
tf.data.Dataset을 활용하여 다양한 Dataset 로더를 만들 수 있습니다. 그리고, 로더를 활용하여, shuffle, batch_size, window 데이터셋 생성등 다양한 종류를 데이터 셋을 상황에 맞게 생성하고 모델에 feed할 수 있도록 제공해 줍니다.
[tensorflow] 단어 토큰화, Embedding, LSTM layer를 활용한 뉴스 데이터 sarcasm 판단
캐글의 뉴스의 Sarcasm 에 대한 판단을 해주는 딥러닝 모델을 tensorflow 2.0을 활용하여 만들어 보겠습니다.
Kaggle Digit Recognizer Competition - achieve over 99% accuracy!
This is a very simple tutorial for tensorflow 2.0 beginners! This tutorial is based on Digit Recognizer presented by Kaggle You may be able to submit w...
딥러닝(LSTM)을 활용하여 삼성전자 주가 예측을 해보았습니다
본 내용을 토대로 코드가 업데이트 되었습니다. 최신글을 확인해 주세요
[Keras] 콜백함수 (3) - 조기종료: EarlyStopping
EarlyStopping 콜백을 활용하면, model의 성능 지표가 설정한 epoch동안 개선되지 않을 때 조기 종료할 수 있습니다. EarlyStopping과 이전에 언급한 ModelCheckpoint 콜백의 조합을 통하여, 개선되지 않는 학습에 대한 조기 종료를 실행하고, Mo...
[Keras] 콜백함수 (2) - weight 중간 저장: ModelCheckpoint
keras의 콜백함수인 ModelCheckpoint는 모델이 학습하면서 정의한 조건을 만족했을 때 Model의 weight 값을 중간 저장해 줍니다. 학습시간이 꽤 오래걸린다면, 모델이 개선된 validation score를 도출해낼 때마다 weight를 중간 저장함으로써, 혹시 ...
[Keras] 콜백함수 (1) - 학습률(learning rate): ReduceLROnPlateau
keras의 콜백함수인 ReduceLROnPlateau는 학습률이 개선되지 않을 때, 학습률을 동적으로 조정하여 학습률을 개선하는 효과를 기대할 수 있습니다. 경사하강법에 의하여 학습을 하는 경우 Local Minima에 빠져버리게 되면, 더이상 학습률이 개선되지 않고 정체되거나,...
[Keras] 손실함수(Loss Function)와 평가지표(metric) 커스텀하기
이번 포스팅에서는 Keras 딥러닝 프레임워크 활용시 loss function과 metric 을 커스텀하는 방법에 대하여 다뤄보도록 하겠습니다.
pandas
Python 에서 glob.glob() 을 활용한 유연한 파일 검색 기법
이번 포스팅에서는 Python의 glob.glob() 함수를 활용하여 파일 시스템 내의 특정 패턴을 가진 파일들을 쉽게 찾는 방법에 대해 소개하려고 합니다.
Python, Pandas 의 날짜 파싱(parsing)시 적용하는 날짜/시간 관련 형식 정리표
이번 포스팅에서는 pandas의 to_datetime() 함수를 사용하면서 발생할 수 있는 날짜 파싱 오류에 대한 해결 방법 을 소개하려고 합니다.
데이터 분석(pandas, matplotlib) 모듈과 머신러닝/딥러닝 모듈 사용시 자주 사용하는 옵션 정리
데이터 분석이나 머신러닝 프로젝트 진행시 자주 사용하는 옵션 값을 정리 해 보았습니다. 거의 매번 노트북 파일을 만들 때마다 import 를 해주어야 하는데, 저는 하나의 파일에 정리해 두고 필요한 옵션을 찾아서 사용하는 편입니다. 앞으로 유용한 옵션이 있다면 계속 추가해 나갈 예...
Pandas 데이터프레임 출력결과 및 표기옵션 수정(컬럼, 행 최대 출력, 콤마 구분자, 과학표기법)
판다스(Pandas) 데이터프레임(DataFrame)의 출력결과 표기형식을 설정할 수 있는 다양한 옵션들에 대해 알아보겠습니다.
[2023년 업데이트] 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 - 데이터분석편
지난 2020년에 작성한 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1), 글과 후속 글인 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2) 을 많이 읽어 주셔서 감사드립니다. 작성 당시에는 가벼운 마음으로 개인...
판다스(Pandas) .groupby()로 할 수 있는 거의 모든 것! (통계량, 전처리)
판다스(Pandas)의 .groupby() 기능은 데이터를 그룹별로 분할하여 독립된 그룹에 대하여 별도로 데이터를 처리(혹은 적용)하거나 그룹별 통계량을 확인하고자 할 때 유용한 함수 입니다.
지도 시각화 도구 Folium 사용법을 파헤쳐보자!
지도위에 데이터를 interactive하게 표현해 주는 대표적인 파이썬 지도 시각화 라이브러리 folium에 대해서 알아보고 그 사용법을 파헤쳐보도록 하겠습니다.
#08-Pandas(판다스) Concat(연결), Merge(병합)
이번 에피소드에서는 Pandas DataFrame의 여러 개의 DataFrame으로 이루어진 데이터를 합치는 방법인 concat()(연결), merge()(병합)에 대하여 다뤄 보도록 하겠습니다.
#07-Pandas(판다스) Groupby와 Pivot table
이번 에피소드에서는 Pandas DataFrame의 groupby(), pivot_table()을 활용한 데이터 분석 방법에 대하여 다뤄 보도록 하겠습니다.
#06-Pandas(판다스) 데이터 전처리, 추가, 삭제, 데이터 type 변환
이번 에피소드에서는 Pandas DataFrame의 row, column의 추가, 삭제, 컬럼간 연산, 타입의 변환 그리고 데이터 전처리 방법에 대하여 다뤄 보도록 하겠습니다.
#05-Pandas(판다스) DataFrame의 복사(Copy)와 결측치(NaN values) 처리
이번 에피소드에서는 Pandas 데이터프레임(DataFrame) 의 복사(Copy)와 중요한 전처리 Task 중의 하나인 결측치 처리 에 대해서 알아보겠습니다.
#04-Pandas(판다스) 통계
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 유용하면서 탐색적 데이터 분석(Exploratory Data Analysis)에서 가장 유용하게 사용되는 기능인 통계 입니다.
#03-Pandas(판다스) 데이터프레임(DataFrame) 조회, 정렬(sort), 조건필터(loc, iloc)
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 많이 사용하는 기능인 조회, 정렬 그리고 조건필터 입니다.
#02-Pandas(판다스) 파일 입출력 - Excel, CSV
이번 에피소드에서는 Pandas의 파일 입출력에 대하여 알아보겠습니다. 그리고, 데이터 분석에서 DB를 제외한 가장 많이 사용되는 파일 형식인 엑셀(Excel)과 CSV (Comma Separated Value)을 로드하고 데이터프레임(DataFrame)을 엑셀(Excel)이나 C...
#01-Pandas(판다스) 기본 자료구조
Pandas(판다스) 는 막강한 오픈소스 데이터 분석 도구 입니다. Pandas는 업무자동화, 크롤링(Crawling), 데이터베이스 입출력, 시계열 데이터분석, 시각화 등등 다양한 분야에 활용할 수 있는 방대한 기능을 갖추고 있습니다. Pandas의 DataFrame은 Micro...
국민연금 데이터를 활용한 연봉추정 분석
국민연금 데이터를 공공 데이터 포털에서 제공합니다. 국민연금 데이터를 활용하여 특정 회사의 임직원 평균 연봉을 역추정해보는 것도 가능합니다.
나라장터 입찰공고 데이터 분석 및 머신러닝 예측
나라장터에서 토건, 토목 등 다양한 시공에 대한 입찰 공고를 고지합니다.
Pandas를 활용한 결측치 보간(interpolation) 하기
탐색적 데이터 분석 (Exploratory Data Analysis)를 진행하다보면, 매우 흔한 확률로 결측치가 존재하는 것을 볼 수 있습니다. 우리는 이런 경우 결측치를 버릴건지(drop), 혹은 채워주어야 합니다. 그러나, 데이터를 함부로 drop하여 머신러닝 예측을 ...
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
[pandas] 공공데이터(csv) 활용시 한글 깨짐 현상 해결
이번 포스팅에서는 공공데이터 포털에서 다운로드 받은 csv파일을 pandas에서 로딩할 때 한글깨짐 현상을 해결하는 방법에 대하여 알아보겠습니다.
pandas 를 활용한 기본적인 산술과 통계 적용 & 이해
Pandas를 활용한 통계부분을 좀 더 다뤄보려고 합니다. 평균, 표준 편차, 분산, 중간값등 통계를 전공하셨거나, 조금이라도 공부하신 분들은 물론 익숙하시겠지만, 그렇지 않고 데이터 분석에 뛰어든 분들은 용어만 봐도 머리속에 혼란이 찾아오기 마련입니다.
10분만에 pandas 정복하기 - 대한민국 부동산 데이터 활용편
Data 분석을 위해서는 pandas는 당연히 기본입니다.
Pandas와 scikit-learn으로 정말 간단한 pre-processing 몇 가지 팁
캐글 (Kaggle) 의 Titanic: Machine Learning from Disaster 의 train 데이터를 활용해 간단한 시각화 및 빠진 데이터 pre-processing 그리고 간단한 Normalization까지 해보도록 하겠습니다. Train 데이터는 윗 줄의 링크...
파이토치
TensorFlow 와 PyTorch 중 무엇을 써야할까?
TensorFlow는 딥러닝 프레임워크 시장에서 초기에 막강한 선두 주자 였습니다. 그러나 최근에 들어 PyTorch가 연구 커뮤니티에서 큰 사랑을 받기 시작했습니다.
torchtext를 활용한 텍스트 데이터 전처리 방법
torchtext는 pytorch 모델에 주입하기 위한 텍스트 데이터셋을 구성하기 편하게 만들어 주는 데이터 로더(Data Loader) 입니다. torchtext 를 활용하여 CSV, TSV, JSON 등의 정형 데이터셋을 쉽게 로드하도록 도와주는 TabularDataset 클래...
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
[huggingface] 한글 pre-trained 사전학습 BERT 모델로 텍스트 분류하기
이번 포스팅에서는 Huggingface의 한글 데이터셋으로 사전 학습된 kykim/bert-kor-base 모델을 가져와서 한글 자연어 데이터에 대한 텍스트 분류기를 만들어 보겠습니다. 이미지넷에서는 전이학습을 통해 손쉽게 Transfer Learning을 수행할 수 있습니다. ...
GoogLeNet의 Inception Module, 1x1 컨볼루션의 의미와 구현
Going Deeper with Convolutions(2015) Inception 모듈에 대한 내용입니다. 해당 논문에서는 Inception Module이라는 새로운 neural network architecture 를 공개하였습니다. 논문의 제목과 같이 Going Deeper ...
[pytorch] 변환(Transform)을 활용한 이미지 증강(Image Augmentation) 적용
데이터 증강(Data Augmentation)은 학습을 위한 데이터에 변형을 가하여 데이터의 규모를 키울 뿐만 아니라, 데이터에 대한 변형된 다양한 케이스를 학습하게 만들 수 있는 좋은 수단 중 하나입니다. 또한, 모델이 과적합(overfitting) 되는 것을 방지해주는 효과도 ...
AlexNet Implementation(구현) by PyTorch
AlexNet(2012) 의 PyTorch 구현 입니다. 논문에 대한 세부 인사이트는 생략하며, 오직 코드 구현만 다룹니다.
PyTorch Dataset을 상속받은 사용자 정의 이미지 데이터셋(CustomImageDataset) 구성하기
이번 튜토리얼에서는 torch.utils.data.Dataset을 상속 받아 사용자 정의 이미지 데이터셋을 구성하고, 이를 활용하여 DataLoader를 구성하는 방법에 대하여 알아보겠습니다.
PyTorch 전이학습(transfer learning)과 미세조정(fine tuning)으로 이미지 분류기 생성, 예측, 검증성능 평가하기
PyTorch의 사전 학습된 모델(pretrained model)을 로드하여 전이학습(transfer learning)을 통해 모델 생성, 학습, 예측 및 검증 성능을 측정해 보도록 하겠습니다.
PyTorch 로컬이미지 로드(ImageFolder) 후, DataLoader 생성 및 CNN이미지 분류 모델 생성, 학습, 검증 성능 측정하기
로컬 이미지 폴더에서 ImageFolder를 사용하여 이미지 데이터셋을 로드하고, CNN으로 구성된 모델을 생성, 학습, 예측, 검증 성능을 측정하는 방법을 알아보겠습니다.
PyTorch 심층신경망(DNN) 모델 생성 후 Fashion MNIST 이미지 분류기 생성, 학습, 예측, 검증 성능 측정하기
PyTorch 심층신경망(Deep Neural Network) 모델을 생성하고 PyTorch의 내장 데이터셋인 Fashion MNIST 데이터셋을 로드하여 이미지 분류기를 생성, 학습, 예측, 검증 성능 측정하는 방법을 알아보겠습니다.
PyTorch 정형데이터를 CustomDataset으로 서브클래싱(SubClassing)한 후 예측 모델 생성 및 학습하기
정형데이터셋을 로드하여 PyTorch의 torch.utils.data.Dataset을 상속받아 커스텀 데이터셋(CustomDataset)을 서브클래싱(SubClassing)으로 정의하고, 이를 torch.utils.data.DataLoader에 주입하여 배치구성을 한 뒤, 모델 학...
PyTorch의 자동미분(AutoGrad)을 활용하여 정형 데이터 예측기(regression model)구현
이번 튜토리얼에서는 scikit-learn의 내장 데이터셋인 보스톤 주택 가격 데이터셋을 활용하여 회귀 예측 모델(regression model)을 만들고 예측해 보도록 하겠습니다.
PyTorch의 자동미분(AutoGrad)기능과 경사하강법(Gradient Descent) 구현
이번 포스팅에서는 PyTorch의 자동미분(AutoGrad) 기능을 활용하여 경사하강법 알고리즘을 직접 구현해보고 손실(loss) 값과 weights, bias의 변화량을 시각화해 보겠습니다.
torchvision의 transform으로 이미지 정규화하기(평균, 표준편차를 계산하여 적용)
딥러닝 모델이 이미지를 학습하기 전 이미지 정규화를 진행하는 것은 일반적으로 수행하는 전처리 입니다.
[PyTorch] RNN Layer 입출력 파라미터와 차원(shape) 이해
이번 포스팅에서는 pytorch의 rnn 레이어의 input 차원, output 차원, hidden dimension, num_layers 파라미터를 직접 확인하면서 동작 결과를 눈으로 직접 확인해 보고 코딩시 적절하게 활용하는 방법에 대하여 알아보도록 하겠습니다.
[PyTorch] 모델의 구조도 요약(summary) 출력 (torchsummary)
이번 포스팅에서는 pytorch 모델의 구조도(structure) 요약(summary)을 손쉽게 확인해 볼 수 있는 라이브러리인 torchsummary에 대해 소개해 드리겠습니다.
[PyTorch] 텐서(tensor)의 다양한 생성 방법, 속성, dtype 그리고 shape 변경
이번 포스팅에서는 PyTorch의 텐서(Tensor) 생성하는 다양한 방법, 랜덤 텐서의 생성, 그리고 텐서의 shape 확인 및 변경 방법에 대하여 알아보도록 하겠습니다.
[PyTorch] numpy로부터 텐서 변환(copying과 sharing의 차이)
이번 포스팅에서는 Tensor의 기본 특징과 PyTorch에서 정의한 Tensor타입, PyTorch에서 numpy array를 tensor 변환시 3가지 함수 from_numpy(), as_tensor(), tensor()의 사용법과 그 차이점에 대하여 알아보도록 하겠습니다.
원격 서버 Jupyter Notebook에서 TensorBoard(텐서보드) 로드 하기
tensorboard는 딥러닝 프레임워크에서 모델이 학습되는 과정을 실시간으로 모니터링 할 수 있는 강력한 툴입니다.
머신러닝/딥러닝 라이브러리 - GPU 사용 테스트
본 포스팅은 딥러닝 도커 설치 후 머신러닝/딥러닝 라이브러리의 GPU 사용 여부를 테스트하는 코드를 공유 드립니다. 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker)글을 참고하셔서 도커로 딥러닝 환경 구성을 하신 후, 아래 코드로 테스트 해 볼 수 있습...
[pytorch] MNIST dataset loading 하기
pytorch 에서 각 종 Datasets에 대하여 제공해줍니다.
데이터 분석
[2023년 업데이트] 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 - 데이터분석편
지난 2020년에 작성한 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1), 글과 후속 글인 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2) 을 많이 읽어 주셔서 감사드립니다. 작성 당시에는 가벼운 마음으로 개인...
matplotlib 컬러명(color name), 팔레트(palette) 이름
matplotlib이나 seaborn을 활용하여 시각화를 할 때 color, cmap, palette의 옵션 설정을 통해 그래프(시각화)의 색상을 쉽게 변경할 수 있습니다.
지도 시각화 도구 Folium 사용법을 파헤쳐보자!
지도위에 데이터를 interactive하게 표현해 주는 대표적인 파이썬 지도 시각화 라이브러리 folium에 대해서 알아보고 그 사용법을 파헤쳐보도록 하겠습니다.
파이썬 딥러닝 텐서플로 책이 출간되었습니다!
지난 6개월간 동료 3명과 집필한 “파이썬 딥러닝 텐서플로” 책이 드디어 온라인/오프라인 출간 되었습니다!!!
인공지능? 모를수도 있지! 책 리뷰
이번 포스팅에서는 Algorima에서 집필한 인공지능? 모를수도 있지! 책 리뷰를 해보도록 하겠습니다.
무료 E-Book 소개 - Python, 데이터분석, SQL, 정규식 표현
이번 포스팅에서는 yes24.com 에서 2021년 6월 9일 기준 무료로 제공되는 e-book 중 Python, 데이터분석, SQL, 정규식 표현 등에 도움이 되는 책과 링크들을 정리하여 공유 드려 보고자 합니다. 본 포스팅은 광고글은 아니며, 언제까지 무료로 제공될지는 모릅니다...
처음 만나는 AI수학 with 파이썬 책 리뷰 - 수포자, 비전공자를 위한 수학
이번 포스팅에서는 처음 만나는 AI수학 with 파이썬 책 리뷰를 해보도록 하겠습니다.
국민연금 데이터를 활용한 연봉추정 분석
국민연금 데이터를 공공 데이터 포털에서 제공합니다. 국민연금 데이터를 활용하여 특정 회사의 임직원 평균 연봉을 역추정해보는 것도 가능합니다.
입문자를 위한 데이터분석 포트폴리오 완성, 캡스톤프로젝트를 진행합니다.
이번 글은 국내 최고 성인 실무교육 기관인 패스트캠퍼스와 협력하여 지난 3개월간의 고민 끝에 드디어 런칭을 앞두고 있는 데이터분석 캡스톤 프로젝트에 대하여 시작하게 된 배경과 최종 목표에 대하여 공유하고자 합니다.
[tensorflow] RNN Text 생성 (셰익스피어 글 생성)
텐서플로우 공식 튜토리얼인 순환 신경망을 활용한 문자열 생성에 대한 클론 코드입니다. 셰익스피어 글 데이터셋을 활용하여 인공지능 모델을 학습시키고, 셰익스피어 스타일의 글을 생성할 수 있는 모델을 만들어 보도록 하겠습니다.
나라장터 입찰공고 데이터 분석 및 머신러닝 예측
나라장터에서 토건, 토목 등 다양한 시공에 대한 입찰 공고를 고지합니다.
2019년 KBO 관객수를 크롤링하여 matplotlib으로 시각화 해보겠습니다
이번 포스팅에서는 2019년 KBO 관객수를 크롤링해보고, matplotlib 라이브러리를 활용하여 시각화 해보도록 하겠습니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
[pandas] 공공데이터(csv) 활용시 한글 깨짐 현상 해결
이번 포스팅에서는 공공데이터 포털에서 다운로드 받은 csv파일을 pandas에서 로딩할 때 한글깨짐 현상을 해결하는 방법에 대하여 알아보겠습니다.
matplotlib/seaborn으로 시각화할 때 한글 폰트 깨짐현상 해결방법
matplotlib/seaborn 을 활용하여 시각화를 할 때, 한 번씩 필연적으로 겪는 당황스러운 모먼트는 바로 한글 폰트 깨짐 입니다. 데이터를 다룰 때 한글 데이터는 흔히 존재하며, 이를 jupyter notebook 에서 inline으로 시각화하려 한다면, 분명히 깨짐 현상...
pandas 를 활용한 기본적인 산술과 통계 적용 & 이해
Pandas를 활용한 통계부분을 좀 더 다뤄보려고 합니다. 평균, 표준 편차, 분산, 중간값등 통계를 전공하셨거나, 조금이라도 공부하신 분들은 물론 익숙하시겠지만, 그렇지 않고 데이터 분석에 뛰어든 분들은 용어만 봐도 머리속에 혼란이 찾아오기 마련입니다.
10분만에 pandas 정복하기 - 대한민국 부동산 데이터 활용편
Data 분석을 위해서는 pandas는 당연히 기본입니다.
Data Science (데이터 분석)을 위한 python package 리스트(2) - 시각화
Data 분석시 유용하게 쓰이는 시각화 관련 파이썬 라이브러리에 대하여 알아보겠습니다.
Data Science (데이터 분석)을 위한 python package 리스트(1) - 필수 패키지
Python을 활용한 Data Science, 즉 더 구체적으로 얘기하자면, 데이터 분석을 할 때는 다양한 패키지들을 활용하게 됩니다. 초기에 가상환경을 여러개 만들어 놓고 상황에 맞춰 돌아가면서 쓸 수 있습니다.
강의
[2023년 업데이트] 구글 텐서플로 개발자 자격인증 시험을 위한 환경설치(PyCharm, 필요 라이브러리 설치)
본 포스팅은 Google TensorFlow Developers Certificate 자격인증 시험을 위한 환경설치를 위한 내용입니다.
[pytorch] 변환(Transform)을 활용한 이미지 증강(Image Augmentation) 적용
데이터 증강(Data Augmentation)은 학습을 위한 데이터에 변형을 가하여 데이터의 규모를 키울 뿐만 아니라, 데이터에 대한 변형된 다양한 케이스를 학습하게 만들 수 있는 좋은 수단 중 하나입니다. 또한, 모델이 과적합(overfitting) 되는 것을 방지해주는 효과도 ...
[PyTorch] RNN Layer 입출력 파라미터와 차원(shape) 이해
이번 포스팅에서는 pytorch의 rnn 레이어의 input 차원, output 차원, hidden dimension, num_layers 파라미터를 직접 확인하면서 동작 결과를 눈으로 직접 확인해 보고 코딩시 적절하게 활용하는 방법에 대하여 알아보도록 하겠습니다.
[PyTorch] 모델의 구조도 요약(summary) 출력 (torchsummary)
이번 포스팅에서는 pytorch 모델의 구조도(structure) 요약(summary)을 손쉽게 확인해 볼 수 있는 라이브러리인 torchsummary에 대해 소개해 드리겠습니다.
[PyTorch] 텐서(tensor)의 다양한 생성 방법, 속성, dtype 그리고 shape 변경
이번 포스팅에서는 PyTorch의 텐서(Tensor) 생성하는 다양한 방법, 랜덤 텐서의 생성, 그리고 텐서의 shape 확인 및 변경 방법에 대하여 알아보도록 하겠습니다.
[PyTorch] numpy로부터 텐서 변환(copying과 sharing의 차이)
이번 포스팅에서는 Tensor의 기본 특징과 PyTorch에서 정의한 Tensor타입, PyTorch에서 numpy array를 tensor 변환시 3가지 함수 from_numpy(), as_tensor(), tensor()의 사용법과 그 차이점에 대하여 알아보도록 하겠습니다.
#11-파이썬(Python) 패키지(package)와 모듈(module)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 패키지(package)와 모듈(module)을 다룹니다.
#10-파이썬(Python) 내장함수-map, zip, filter, enumerate
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 내장함수(built-in function) 중 map(), zip(), filter(), enumerate()를 다룹니다.
#09-파이썬(Python) 함수, lambda 함수, 인수(arguments), 매개변수(parameters)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 함수(function), lambda 함수, 인수(arguments)와 매개변수(parameters)를 다룹니다.
#08-파이썬(Python) 컴프리헨션(Comprehension)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 컴프리헨션(Comprehension)을 다룹니다.
#07-파이썬(Python) 반복문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
#06-파이썬(Python) 비교, 논리, 삼항연산자와 조건문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
#05-파이썬(Python) 연산
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
#04-파이썬(Python) 문자열(str)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
#03-파이썬(Python) 세트(set)와 딕셔너리(dictionary)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 세트(set)와 딕셔너리(dictionary)를 다룹니다.
#02-파이썬(Python) 리스트(list)와 튜플(tuple)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 리스트(list)와 튜플(tuple)을 다룹니다.
넘파이(Numpy) 튜토리얼
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 수치계산용 라이브러리인 넘파이(numpy) 를 다룹니다.
#01-파이썬(Python) 기본 자료구조
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
입문자를 위한 데이터분석 포트폴리오 완성, 캡스톤프로젝트를 진행합니다.
이번 글은 국내 최고 성인 실무교육 기관인 패스트캠퍼스와 협력하여 지난 3개월간의 고민 끝에 드디어 런칭을 앞두고 있는 데이터분석 캡스톤 프로젝트에 대하여 시작하게 된 배경과 최종 목표에 대하여 공유하고자 합니다.
비전공자를 위한 데이터 분석 강의를 오픈합니다. feat.패스트캠퍼스
비전공자, 직장인들을 위한 데이터 분석 강의를 패스트캠퍼스에서 오픈하게 되었습니다.
scikit-learn
머신러닝 실전 앙상블 (Ensemble)과 Hyperparameter 튜닝
머신러닝 알고리즘의 끝판왕인 앙상블(Ensemble) 알고리즘에 대하여 알아보도록 하겠습니다. 앙상블 알고리즘은 방법론 적인 측면에서 Voting, Bagging, Boosting 알고리즘등으로 나뉠 수 있겠고, 앙상블의 앙상블 알고리즘인 Stacking 그리고 Weighted B...
의사결정 나무 (Decision Tree)와 Entropy, 그리고 Gini 계수
Decision Tree는 Random Forest Ensemble 알고리즘의 기본이 되는 알고리즘이며, Tree 기반 알고리즘입니다. 의사결정나무 혹은 결정트리로 불리우는 이 알고리즘은 머신러닝의 학습 결과에 대하여 시각화를 통한 직관적인 이해가 가능하다는 것이 큰 장점입니다. ...
로지스틱회귀(Logistic Regression)와 분류 평가 지표 (Precision, Recall, F1 Score)
Logistic Regression은 선형 알고리즘에 Sigmoid Function 이 결합된 분류 알고리즘 입니다. 알고리즘 이름 뒷부분에 Regression 이 붙기 때문에 흔하게 회귀 알고리즘으로 착각할 수 있지만 분류 알고리즘 입니다.
Lasso, Ridge, ElasticNet-L1, L2규제를 적용한 선형 알고리즘
선형 알고리즘에 기반한 알고리즘에 대해서 알아보고 회귀 (Regression) 문제를 다뤄보도록 하겠습니다. 이번 선형 알고리즘에 기반한 회귀 문제를 다룰 때 L1, L2 규제의 개념이 등장합니다. L1, L2 규제는 딥러닝까지 쭉 이어지는 개념이고, 앞으로 머신러닝/딥러닝 학습시...
최근접 이웃 (KNN) 알고리즘을 활용한 분류
K-Nearest Neighbors 이른바, 최근접 이웃 분류 알고리즘을 활용한 간단한 머신러닝 분류 문제를 풀어보도록 하겠습니다. 알고리즘은 동작 원리는 매우 직관적이고 단순 합니다. 이해는 어렵지 않으나, 복잡한 분류 문제에 있어서는 모델의 성능에 대한 큰 기대를 하기 어렵습니...
scikit-learn 데이터 전처리
데이터 전처리는 데이터 분석 및 머신러닝 학습을 위해서 매우 중요한 단계 입니다. 실무 프로젝트에서는 전체 프로젝트 기간 중 평균 50~70% 이상 시간을 전처리 및 EDA에 투자한다고 합니다. 그만큼 좋은 전처리를 하면 할수록 좋은 성능을 내는 머신러닝 모델을 만들 수 있습니다.
scikit-learn 데이터셋(dataset) 다루기
scikit-learn의 패키지에 포함된 dataset 패키지에서 Toy Dataset을 로딩하여 학습해 보는 튜토리얼입니다.
경사하강법 (Gradient Descent) 직접 구현하기
이번에는 머신러닝 뿐만아니라, 인공신경망 모델의 가장 기초가 되는 경사하강법 (Gradient Descent)에 대하여 알아보도록 하겠습니다. 경사하강법을 Python으로 직접 구현해보는 튜토리얼 입니다. 자세한 설명은 유튜브 영상을 참고해 보셔도 좋습니다.
최소제곱법 (Ordinary Least Squares) 과 선형회귀 알고리즘 (Linear Regression)
이번 포스팅에서는 최소제곱법(Least Ordinary Sqaures)의 Python 코드 구현과 scikit-learn의 LinearRegression을 활용하여 회귀(Regression) 예측까지 해보겠습니다.
train_test_split 모듈을 활용하여 학습과 테스트 세트 분리
사이킷런(scikit-learn)의 model_selection 패키지 안에 train_test_split 모듈을 활용하여 손쉽게 train set(학습 데이터 셋)과 test set(테스트 셋)을 분리할 수 있습니다. 이번 포스팅에서는 train_test_split 에 대해 자세...
카테고리형 데이터를 수치형으로 변환하기 (LabelEncoder와 Categorical dtype)
카테고리형 데이터(Categorical Data)를 수치형 데이터(Numerical Data)로 변환해주는 작업은 머신러닝 모델을 돌려보기 위해서 필수로 해줘야하는 전처리 작업입니다.
PCA 를 활용한 차원축소
Principal Component Analysis는 대표적인 Linear 차원 축소 기법입니다.
Tree기반 모델(DecisionTree, RandomForest)의 분할 그래프 시각화하기 (graphviz)
Tree 기반 모델은 RandomForest 모델때문에 참 인기있게 활용되는 알고리즘 입니다. RandomForest 모델은 데이터 분석 대회인 캐글에서도 활발히 활용되고 있으며, 성능이 좋을 뿐만아니라 쉽고 간편하게 사용할 수 있기 때문에 저 또한 데이터 분석 대회에서 basel...
sklearn의 K-Nearest Neighbors 분류기를 활용하여 Iris 꽃 종류 분류하기 (Classifier)
K-최근접 이웃 (K-Nearest Neighbors) 알고리즘은 분류(Classifier)와 회귀(Regression)에 모두 쓰입니다. 처음 접하는 사람들도 이해하기 쉬운 알고리즘이며, 단순한 데이터를 대상으로 분류나 회귀를 할 때 사용합니다.
sklearn.datasets 모듈을 활용하여 샘플데이터 로딩하기
sklearn.datasets 모듈에는 대표적인 sample dataset들을 제공하고 손쉽게 다운로드 및 로딩할 수 있습니다.
sklearn 라이브러리를 활용한 mnist 손글씨 10분만에 70,000개 분류하기
sklearn라이브러리(scikit-learn)는 machine learning을 하기 위하여 필요한 막강한 라이브러리입니다.
sklearn의 KMeans 모듈을 활용한 뉴스 클러스터링
하루에도 수만개의 뉴스기사가 쏟아져 나옵니다. 수많은 뉴스기사들을 중복되거나 매우 유사도가 높은 기사들은 구독자에게 중복되게 노출시키지 않기 위해서 뉴스기사를 서비스 하고 있는 포털 사이트나 언론사에서도 뉴스기사 클러스터링 기법을 사용하고 있습니다.
Pandas와 scikit-learn으로 정말 간단한 pre-processing 몇 가지 팁
캐글 (Kaggle) 의 Titanic: Machine Learning from Disaster 의 train 데이터를 활용해 간단한 시각화 및 빠진 데이터 pre-processing 그리고 간단한 Normalization까지 해보도록 하겠습니다. Train 데이터는 윗 줄의 링크...
Simple Gradient Descent on predicting Boston Housing
SImple Gradient Descent implementations Examples
판다스
Pandas 데이터프레임 출력결과 및 표기옵션 수정(컬럼, 행 최대 출력, 콤마 구분자, 과학표기법)
판다스(Pandas) 데이터프레임(DataFrame)의 출력결과 표기형식을 설정할 수 있는 다양한 옵션들에 대해 알아보겠습니다.
판다스(Pandas) .groupby()로 할 수 있는 거의 모든 것! (통계량, 전처리)
판다스(Pandas)의 .groupby() 기능은 데이터를 그룹별로 분할하여 독립된 그룹에 대하여 별도로 데이터를 처리(혹은 적용)하거나 그룹별 통계량을 확인하고자 할 때 유용한 함수 입니다.
지도 시각화 도구 Folium 사용법을 파헤쳐보자!
지도위에 데이터를 interactive하게 표현해 주는 대표적인 파이썬 지도 시각화 라이브러리 folium에 대해서 알아보고 그 사용법을 파헤쳐보도록 하겠습니다.
#08-Pandas(판다스) Concat(연결), Merge(병합)
이번 에피소드에서는 Pandas DataFrame의 여러 개의 DataFrame으로 이루어진 데이터를 합치는 방법인 concat()(연결), merge()(병합)에 대하여 다뤄 보도록 하겠습니다.
#07-Pandas(판다스) Groupby와 Pivot table
이번 에피소드에서는 Pandas DataFrame의 groupby(), pivot_table()을 활용한 데이터 분석 방법에 대하여 다뤄 보도록 하겠습니다.
#06-Pandas(판다스) 데이터 전처리, 추가, 삭제, 데이터 type 변환
이번 에피소드에서는 Pandas DataFrame의 row, column의 추가, 삭제, 컬럼간 연산, 타입의 변환 그리고 데이터 전처리 방법에 대하여 다뤄 보도록 하겠습니다.
#05-Pandas(판다스) DataFrame의 복사(Copy)와 결측치(NaN values) 처리
이번 에피소드에서는 Pandas 데이터프레임(DataFrame) 의 복사(Copy)와 중요한 전처리 Task 중의 하나인 결측치 처리 에 대해서 알아보겠습니다.
#04-Pandas(판다스) 통계
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 유용하면서 탐색적 데이터 분석(Exploratory Data Analysis)에서 가장 유용하게 사용되는 기능인 통계 입니다.
#03-Pandas(판다스) 데이터프레임(DataFrame) 조회, 정렬(sort), 조건필터(loc, iloc)
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 많이 사용하는 기능인 조회, 정렬 그리고 조건필터 입니다.
#02-Pandas(판다스) 파일 입출력 - Excel, CSV
이번 에피소드에서는 Pandas의 파일 입출력에 대하여 알아보겠습니다. 그리고, 데이터 분석에서 DB를 제외한 가장 많이 사용되는 파일 형식인 엑셀(Excel)과 CSV (Comma Separated Value)을 로드하고 데이터프레임(DataFrame)을 엑셀(Excel)이나 C...
#02-Pandas(판다스) 파일 입출력 - Excel, CSV
이번 에피소드에서는 Pandas의 파일 입출력에 대하여 알아보겠습니다. 그리고, 데이터 분석에서 DB를 제외한 가장 많이 사용되는 파일 형식인 엑셀(Excel)과 CSV (Comma Separated Value)을 로드하고 데이터프레임(DataFrame)을 엑셀(Excel)이나 C...
#01-Pandas(판다스) 기본 자료구조
Pandas(판다스) 는 막강한 오픈소스 데이터 분석 도구 입니다. Pandas는 업무자동화, 크롤링(Crawling), 데이터베이스 입출력, 시계열 데이터분석, 시각화 등등 다양한 분야에 활용할 수 있는 방대한 기능을 갖추고 있습니다. Pandas의 DataFrame은 Micro...
#01-Pandas(판다스) 기본 자료구조
Pandas(판다스) 는 막강한 오픈소스 데이터 분석 도구 입니다. Pandas는 업무자동화, 크롤링(Crawling), 데이터베이스 입출력, 시계열 데이터분석, 시각화 등등 다양한 분야에 활용할 수 있는 방대한 기능을 갖추고 있습니다. Pandas의 DataFrame은 Micro...
국민연금 데이터를 활용한 연봉추정 분석
국민연금 데이터를 공공 데이터 포털에서 제공합니다. 국민연금 데이터를 활용하여 특정 회사의 임직원 평균 연봉을 역추정해보는 것도 가능합니다.
나라장터 입찰공고 데이터 분석 및 머신러닝 예측
나라장터에서 토건, 토목 등 다양한 시공에 대한 입찰 공고를 고지합니다.
Pandas를 활용한 결측치 보간(interpolation) 하기
탐색적 데이터 분석 (Exploratory Data Analysis)를 진행하다보면, 매우 흔한 확률로 결측치가 존재하는 것을 볼 수 있습니다. 우리는 이런 경우 결측치를 버릴건지(drop), 혹은 채워주어야 합니다. 그러나, 데이터를 함부로 drop하여 머신러닝 예측을 ...
[pandas] 공공데이터(csv) 활용시 한글 깨짐 현상 해결
이번 포스팅에서는 공공데이터 포털에서 다운로드 받은 csv파일을 pandas에서 로딩할 때 한글깨짐 현상을 해결하는 방법에 대하여 알아보겠습니다.
pandas 를 활용한 기본적인 산술과 통계 적용 & 이해
Pandas를 활용한 통계부분을 좀 더 다뤄보려고 합니다. 평균, 표준 편차, 분산, 중간값등 통계를 전공하셨거나, 조금이라도 공부하신 분들은 물론 익숙하시겠지만, 그렇지 않고 데이터 분석에 뛰어든 분들은 용어만 봐도 머리속에 혼란이 찾아오기 마련입니다.
10분만에 pandas 정복하기 - 대한민국 부동산 데이터 활용편
Data 분석을 위해서는 pandas는 당연히 기본입니다.
OpenAI
[Assistants API] Code Interpreter, Retrieval, Functions 활용법
OpenAI의 새로운 Assistants API는 대화와 더불어 강력한 도구 접근성을 제공합니다. 본 튜토리얼은 OpenAI Assistants API를 활용하는 내용을 다룹니다. 특히, Assistant API 가 제공하는 도구인 Code Interpreter, Retrieval...
[Assistants API] Code Interpreter, Retrieval, Functions 활용법
OpenAI의 새로운 Assistants API는 대화와 더불어 강력한 도구 접근성을 제공합니다. 본 튜토리얼은 OpenAI Assistants API를 활용하는 내용을 다룹니다. 특히, Assistant API 가 제공하는 도구인 Code Interpreter, Retrieval...
[LangChain] 에이전트(Agent)와 도구(tools)를 활용한 지능형 검색 시스템 구축 가이드
이 글에서는 LangChain 의 Agent 프레임워크를 활용하여 복잡한 검색과 데이터 처리 작업을 수행하는 방법을 소개합니다. LangSmith 를 사용하여 Agent의 추론 단계를 추적합니다. Agent가 활용할 검색 도구(Tavily Search), PDF 기반 검색 리트리버...
자동화된 메타데이터 태깅으로 문서의 메타데이터(metadata) 생성 및 자동 라벨링
문서 관리를 위한 메타데이터 태깅은 필수적이지만 번거로울 수 있습니다. OpenAI 기반의 자동화된 메타데이터 태깅 방법을 통해 이 과정을 효율적으로 만드는 방법을 알아보도록 하겠습니다.
LangChain Expression Language(LCEL) 원리 이해와 파이프라인 구축 가이드
이 블로그 글에서는 LangChain Expression Language(LCEL) 원리 이해와 LCEL 에 기반한 파이프라인 구축의 기본을 소개합니다.
[LangChain] 문장을 파이썬 코드로, 이미지를 파이썬 코드로 변경하는 방법
이번 튜토리얼에는 langchain 라이브러리와 GPT-4 모델을 사용하여 문장을 파이썬 코드로 변경 및 실행하고, 이미지를 이해하고 이를 파이썬 코드로 변경하는 방법을 다룹니다.
[2024년 UPDATE] OpenAI Python API 튜토리얼 - Whisper API를 사용하여 TTS, STT 구현하기(3)
이번 튜토리얼은 OpenAI 의 Whisper API 를 사용하여 음성을 텍스트로 변환하는 STT, 그리고 텍스트를 음성으로 변환하는 방법에 대해 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 튜토리얼 - DALL·E를 사용하여 이미지 생성, 수정, 다양화하기(2)
이번 튜토리얼은 OpenAI 의 DALL·E 의 Python API 사용법을 다룹니다. 이번 튜토리얼을 통하여 이미지 생성, 수정, 다양화 하는 방법에 대해 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 튜토리얼 - 채팅(chat) 함수 사용하기(1)
이번 튜토리얼 부터는 시리즈 형식으로 OpenAI 에서 지난 2023년 11월에 1.x.x 로 판올림하여 공개한 API 의 사용법에 대해서 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 키 발급방법, 요금체계
이번 튜토리얼은 OpenAI 의 Python API 키를 발급받는 방법과 요금 체계에 대해 알아보겠습니다.
랭체인(langchain) + PDF 기반 질의응답(Question-Answering) (8)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용에 기반하여 질의응답(Question-Answering) 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + PDF 문서요약, Map-Reduce (7)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용을 요약 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 웹사이트 정보 추출 - 스키마 활용법 (6)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 스크래핑한 뒤, 형식(schema) 에 맞게 정보 추출 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 웹사이트 크롤링 - 웹사이트 문서 요약 (5)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 크롤링 한 뒤, 문서 요약/편집 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 정형데이터(CSV, Excel) - ChatGPT 기반 데이터분석 (4)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 정형데이터(CSV, Excel) 에 대한 ChatGPT 기반 질의응답을 통해 데이터 분석하는 방법 에 대해 알아보겠습니다.
랭체인(langchain) + 챗(chat) - ConversationChain, 템플릿 사용법 (3)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 챗(Chat) 기능 구현을 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 허깅페이스(HuggingFace) 모델 사용법 (2)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 허깅페이스(HuggingFace) 허브 에 배포된 사전학습 모델을 활용하여 LLM 체인을 구성하는 방법에 대하여 다뤄보고자 합니다.
랭체인(langchain)의 OpenAI GPT 모델(ChatOpenAI) 사용법 (1)
언어 모델을 활용한 애플리케이션 개발을 돕는 프레임워크인 랭체인(LangChain) 에 대해 깊이 있게 다뤄보고자 합니다.
torch
torchtext를 활용한 텍스트 데이터 전처리 방법
torchtext는 pytorch 모델에 주입하기 위한 텍스트 데이터셋을 구성하기 편하게 만들어 주는 데이터 로더(Data Loader) 입니다. torchtext 를 활용하여 CSV, TSV, JSON 등의 정형 데이터셋을 쉽게 로드하도록 도와주는 TabularDataset 클래...
[huggingface] 한글 pre-trained 사전학습 BERT 모델로 텍스트 분류하기
이번 포스팅에서는 Huggingface의 한글 데이터셋으로 사전 학습된 kykim/bert-kor-base 모델을 가져와서 한글 자연어 데이터에 대한 텍스트 분류기를 만들어 보겠습니다. 이미지넷에서는 전이학습을 통해 손쉽게 Transfer Learning을 수행할 수 있습니다. ...
GoogLeNet의 Inception Module, 1x1 컨볼루션의 의미와 구현
Going Deeper with Convolutions(2015) Inception 모듈에 대한 내용입니다. 해당 논문에서는 Inception Module이라는 새로운 neural network architecture 를 공개하였습니다. 논문의 제목과 같이 Going Deeper ...
[pytorch] 변환(Transform)을 활용한 이미지 증강(Image Augmentation) 적용
데이터 증강(Data Augmentation)은 학습을 위한 데이터에 변형을 가하여 데이터의 규모를 키울 뿐만 아니라, 데이터에 대한 변형된 다양한 케이스를 학습하게 만들 수 있는 좋은 수단 중 하나입니다. 또한, 모델이 과적합(overfitting) 되는 것을 방지해주는 효과도 ...
AlexNet Implementation(구현) by PyTorch
AlexNet(2012) 의 PyTorch 구현 입니다. 논문에 대한 세부 인사이트는 생략하며, 오직 코드 구현만 다룹니다.
PyTorch Dataset을 상속받은 사용자 정의 이미지 데이터셋(CustomImageDataset) 구성하기
이번 튜토리얼에서는 torch.utils.data.Dataset을 상속 받아 사용자 정의 이미지 데이터셋을 구성하고, 이를 활용하여 DataLoader를 구성하는 방법에 대하여 알아보겠습니다.
PyTorch 전이학습(transfer learning)과 미세조정(fine tuning)으로 이미지 분류기 생성, 예측, 검증성능 평가하기
PyTorch의 사전 학습된 모델(pretrained model)을 로드하여 전이학습(transfer learning)을 통해 모델 생성, 학습, 예측 및 검증 성능을 측정해 보도록 하겠습니다.
PyTorch 로컬이미지 로드(ImageFolder) 후, DataLoader 생성 및 CNN이미지 분류 모델 생성, 학습, 검증 성능 측정하기
로컬 이미지 폴더에서 ImageFolder를 사용하여 이미지 데이터셋을 로드하고, CNN으로 구성된 모델을 생성, 학습, 예측, 검증 성능을 측정하는 방법을 알아보겠습니다.
PyTorch 심층신경망(DNN) 모델 생성 후 Fashion MNIST 이미지 분류기 생성, 학습, 예측, 검증 성능 측정하기
PyTorch 심층신경망(Deep Neural Network) 모델을 생성하고 PyTorch의 내장 데이터셋인 Fashion MNIST 데이터셋을 로드하여 이미지 분류기를 생성, 학습, 예측, 검증 성능 측정하는 방법을 알아보겠습니다.
PyTorch 정형데이터를 CustomDataset으로 서브클래싱(SubClassing)한 후 예측 모델 생성 및 학습하기
정형데이터셋을 로드하여 PyTorch의 torch.utils.data.Dataset을 상속받아 커스텀 데이터셋(CustomDataset)을 서브클래싱(SubClassing)으로 정의하고, 이를 torch.utils.data.DataLoader에 주입하여 배치구성을 한 뒤, 모델 학...
PyTorch의 자동미분(AutoGrad)을 활용하여 정형 데이터 예측기(regression model)구현
이번 튜토리얼에서는 scikit-learn의 내장 데이터셋인 보스톤 주택 가격 데이터셋을 활용하여 회귀 예측 모델(regression model)을 만들고 예측해 보도록 하겠습니다.
PyTorch의 자동미분(AutoGrad)기능과 경사하강법(Gradient Descent) 구현
이번 포스팅에서는 PyTorch의 자동미분(AutoGrad) 기능을 활용하여 경사하강법 알고리즘을 직접 구현해보고 손실(loss) 값과 weights, bias의 변화량을 시각화해 보겠습니다.
torchvision의 transform으로 이미지 정규화하기(평균, 표준편차를 계산하여 적용)
딥러닝 모델이 이미지를 학습하기 전 이미지 정규화를 진행하는 것은 일반적으로 수행하는 전처리 입니다.
[PyTorch] 텐서(tensor)의 다양한 생성 방법, 속성, dtype 그리고 shape 변경
이번 포스팅에서는 PyTorch의 텐서(Tensor) 생성하는 다양한 방법, 랜덤 텐서의 생성, 그리고 텐서의 shape 확인 및 변경 방법에 대하여 알아보도록 하겠습니다.
[pytorch] MNIST dataset loading 하기
pytorch 에서 각 종 Datasets에 대하여 제공해줍니다.
Conv2d layer를 겹겹이 쌓을 때 최종 output volume 계산법
이번 포스팅에서는 torch 를 이용하여 CNN(Convolution Neural Network) 에서 convolution layer를 겹겹이 쌓았을 때 최종 output volume size를 구하는 방법에 대하여 알아 보겠습니다.
실습
[PyTorch] RNN Layer 입출력 파라미터와 차원(shape) 이해
이번 포스팅에서는 pytorch의 rnn 레이어의 input 차원, output 차원, hidden dimension, num_layers 파라미터를 직접 확인하면서 동작 결과를 눈으로 직접 확인해 보고 코딩시 적절하게 활용하는 방법에 대하여 알아보도록 하겠습니다.
[PyTorch] 모델의 구조도 요약(summary) 출력 (torchsummary)
이번 포스팅에서는 pytorch 모델의 구조도(structure) 요약(summary)을 손쉽게 확인해 볼 수 있는 라이브러리인 torchsummary에 대해 소개해 드리겠습니다.
[PyTorch] 텐서(tensor)의 다양한 생성 방법, 속성, dtype 그리고 shape 변경
이번 포스팅에서는 PyTorch의 텐서(Tensor) 생성하는 다양한 방법, 랜덤 텐서의 생성, 그리고 텐서의 shape 확인 및 변경 방법에 대하여 알아보도록 하겠습니다.
[PyTorch] numpy로부터 텐서 변환(copying과 sharing의 차이)
이번 포스팅에서는 Tensor의 기본 특징과 PyTorch에서 정의한 Tensor타입, PyTorch에서 numpy array를 tensor 변환시 3가지 함수 from_numpy(), as_tensor(), tensor()의 사용법과 그 차이점에 대하여 알아보도록 하겠습니다.
#11-파이썬(Python) 패키지(package)와 모듈(module)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 패키지(package)와 모듈(module)을 다룹니다.
#10-파이썬(Python) 내장함수-map, zip, filter, enumerate
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 내장함수(built-in function) 중 map(), zip(), filter(), enumerate()를 다룹니다.
#09-파이썬(Python) 함수, lambda 함수, 인수(arguments), 매개변수(parameters)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 함수(function), lambda 함수, 인수(arguments)와 매개변수(parameters)를 다룹니다.
#08-파이썬(Python) 컴프리헨션(Comprehension)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 컴프리헨션(Comprehension)을 다룹니다.
#07-파이썬(Python) 반복문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
#06-파이썬(Python) 비교, 논리, 삼항연산자와 조건문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
#05-파이썬(Python) 연산
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
#04-파이썬(Python) 문자열(str)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
#03-파이썬(Python) 세트(set)와 딕셔너리(dictionary)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 세트(set)와 딕셔너리(dictionary)를 다룹니다.
#02-파이썬(Python) 리스트(list)와 튜플(tuple)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 리스트(list)와 튜플(tuple)을 다룹니다.
넘파이(Numpy) 튜토리얼
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 수치계산용 라이브러리인 넘파이(numpy) 를 다룹니다.
#01-파이썬(Python) 기본 자료구조
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
data science
[Docker] 한글폰트가 추가된 Data Science 전용 jupyter notebook 컨테이너
이번 포스팅에서는 도커(docker)로 패키징한 주피터 노트북(jupyter notebook) 컨테이너를 실행하여 매우 쉽고 빠르게 노트북 서버를 구동하는 방법 에 대해 공유드리고자 합니다.
파이썬 딥러닝 텐서플로 책이 출간되었습니다!
지난 6개월간 동료 3명과 집필한 “파이썬 딥러닝 텐서플로” 책이 드디어 온라인/오프라인 출간 되었습니다!!!
인공지능? 모를수도 있지! 책 리뷰
이번 포스팅에서는 Algorima에서 집필한 인공지능? 모를수도 있지! 책 리뷰를 해보도록 하겠습니다.
무료 E-Book 소개 - Python, 데이터분석, SQL, 정규식 표현
이번 포스팅에서는 yes24.com 에서 2021년 6월 9일 기준 무료로 제공되는 e-book 중 Python, 데이터분석, SQL, 정규식 표현 등에 도움이 되는 책과 링크들을 정리하여 공유 드려 보고자 합니다. 본 포스팅은 광고글은 아니며, 언제까지 무료로 제공될지는 모릅니다...
처음 만나는 AI수학 with 파이썬 책 리뷰 - 수포자, 비전공자를 위한 수학
이번 포스팅에서는 처음 만나는 AI수학 with 파이썬 책 리뷰를 해보도록 하겠습니다.
국민연금 데이터를 활용한 연봉추정 분석
국민연금 데이터를 공공 데이터 포털에서 제공합니다. 국민연금 데이터를 활용하여 특정 회사의 임직원 평균 연봉을 역추정해보는 것도 가능합니다.
[tensorflow] RNN Text 생성 (셰익스피어 글 생성)
텐서플로우 공식 튜토리얼인 순환 신경망을 활용한 문자열 생성에 대한 클론 코드입니다. 셰익스피어 글 데이터셋을 활용하여 인공지능 모델을 학습시키고, 셰익스피어 스타일의 글을 생성할 수 있는 모델을 만들어 보도록 하겠습니다.
비전공자를 위한 데이터 분석 강의를 오픈합니다. feat.패스트캠퍼스
비전공자, 직장인들을 위한 데이터 분석 강의를 패스트캠퍼스에서 오픈하게 되었습니다.
2019년 KBO 관객수를 크롤링하여 matplotlib으로 시각화 해보겠습니다
이번 포스팅에서는 2019년 KBO 관객수를 크롤링해보고, matplotlib 라이브러리를 활용하여 시각화 해보도록 하겠습니다.
[pandas] 공공데이터(csv) 활용시 한글 깨짐 현상 해결
이번 포스팅에서는 공공데이터 포털에서 다운로드 받은 csv파일을 pandas에서 로딩할 때 한글깨짐 현상을 해결하는 방법에 대하여 알아보겠습니다.
matplotlib/seaborn으로 시각화할 때 한글 폰트 깨짐현상 해결방법
matplotlib/seaborn 을 활용하여 시각화를 할 때, 한 번씩 필연적으로 겪는 당황스러운 모먼트는 바로 한글 폰트 깨짐 입니다. 데이터를 다룰 때 한글 데이터는 흔히 존재하며, 이를 jupyter notebook 에서 inline으로 시각화하려 한다면, 분명히 깨짐 현상...
pandas 를 활용한 기본적인 산술과 통계 적용 & 이해
Pandas를 활용한 통계부분을 좀 더 다뤄보려고 합니다. 평균, 표준 편차, 분산, 중간값등 통계를 전공하셨거나, 조금이라도 공부하신 분들은 물론 익숙하시겠지만, 그렇지 않고 데이터 분석에 뛰어든 분들은 용어만 봐도 머리속에 혼란이 찾아오기 마련입니다.
Data Science (데이터 분석)을 위한 python package 리스트(2) - 시각화
Data 분석시 유용하게 쓰이는 시각화 관련 파이썬 라이브러리에 대하여 알아보겠습니다.
Data Science (데이터 분석)을 위한 python package 리스트(1) - 필수 패키지
Python을 활용한 Data Science, 즉 더 구체적으로 얘기하자면, 데이터 분석을 할 때는 다양한 패키지들을 활용하게 됩니다. 초기에 가상환경을 여러개 만들어 놓고 상황에 맞춰 돌아가면서 쓸 수 있습니다.
이미지 분류
GoogLeNet의 Inception Module, 1x1 컨볼루션의 의미와 구현
Going Deeper with Convolutions(2015) Inception 모듈에 대한 내용입니다. 해당 논문에서는 Inception Module이라는 새로운 neural network architecture 를 공개하였습니다. 논문의 제목과 같이 Going Deeper ...
[pytorch] 변환(Transform)을 활용한 이미지 증강(Image Augmentation) 적용
데이터 증강(Data Augmentation)은 학습을 위한 데이터에 변형을 가하여 데이터의 규모를 키울 뿐만 아니라, 데이터에 대한 변형된 다양한 케이스를 학습하게 만들 수 있는 좋은 수단 중 하나입니다. 또한, 모델이 과적합(overfitting) 되는 것을 방지해주는 효과도 ...
AlexNet Implementation(구현) by PyTorch
AlexNet(2012) 의 PyTorch 구현 입니다. 논문에 대한 세부 인사이트는 생략하며, 오직 코드 구현만 다룹니다.
PyTorch 전이학습(transfer learning)과 미세조정(fine tuning)으로 이미지 분류기 생성, 예측, 검증성능 평가하기
PyTorch의 사전 학습된 모델(pretrained model)을 로드하여 전이학습(transfer learning)을 통해 모델 생성, 학습, 예측 및 검증 성능을 측정해 보도록 하겠습니다.
PyTorch 로컬이미지 로드(ImageFolder) 후, DataLoader 생성 및 CNN이미지 분류 모델 생성, 학습, 검증 성능 측정하기
로컬 이미지 폴더에서 ImageFolder를 사용하여 이미지 데이터셋을 로드하고, CNN으로 구성된 모델을 생성, 학습, 예측, 검증 성능을 측정하는 방법을 알아보겠습니다.
PyTorch 심층신경망(DNN) 모델 생성 후 Fashion MNIST 이미지 분류기 생성, 학습, 예측, 검증 성능 측정하기
PyTorch 심층신경망(Deep Neural Network) 모델을 생성하고 PyTorch의 내장 데이터셋인 Fashion MNIST 데이터셋을 로드하여 이미지 분류기를 생성, 학습, 예측, 검증 성능 측정하는 방법을 알아보겠습니다.
[tensorflow] VGG16 Transfer Learning 구현과 CNN 모델과 성능 비교
Tranfer Learning은 사전 학습된 모델을 활용하는 방법입니다. 사전 학습된 모델은 방대한 데이터에 대하여 이미 학습된 모델이기 떄문에 적은 학습 cost로 좋은 성능을 이끌어 낼 수 있습니다.
[tensorflow] ImageDataGenerator / Convolution Neural Network(CNN) 을 활용한 이미지 분류
TensorFlow 2.0의 ImageDataGenerator를 활용하여 Image 데이터를 로컬 폴더에서 로딩 후 Generator를 통해 Image Augmentation과 모델에 Feed 할 수 있는 Generator를 만들어 보도록 하겠습니다.
Kaggle Digit Recognizer Competition - achieve over 99% accuracy!
This is a very simple tutorial for tensorflow 2.0 beginners! This tutorial is based on Digit Recognizer presented by Kaggle You may be able to submit w...
sklearn 라이브러리를 활용한 mnist 손글씨 10분만에 70,000개 분류하기
sklearn라이브러리(scikit-learn)는 machine learning을 하기 위하여 필요한 막강한 라이브러리입니다.
Tensorflow를 활용하여 Mnist data classification을 CNN으로 구현
이번 포스팅에서는 Google Tensorflow의 웹사이트의 Demo에 나와 있는 가이드라인에 따라, tensorflow 라이브러리를 활용하여 구현해 보도록 하겠습니다.
Python 과 Tensorflow로 Mnist 글자인식 구현하기
이번 포스팅에서는 Mnist 데이터를 땡파이썬으로 구현해봄과 동시에 Tensorflow 를 활용하여 구현해 보겠다.
ChatGPT
[2024년 UPDATE] OpenAI Python API 튜토리얼 - Whisper API를 사용하여 TTS, STT 구현하기(3)
이번 튜토리얼은 OpenAI 의 Whisper API 를 사용하여 음성을 텍스트로 변환하는 STT, 그리고 텍스트를 음성으로 변환하는 방법에 대해 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 튜토리얼 - DALL·E를 사용하여 이미지 생성, 수정, 다양화하기(2)
이번 튜토리얼은 OpenAI 의 DALL·E 의 Python API 사용법을 다룹니다. 이번 튜토리얼을 통하여 이미지 생성, 수정, 다양화 하는 방법에 대해 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 튜토리얼 - 채팅(chat) 함수 사용하기(1)
이번 튜토리얼 부터는 시리즈 형식으로 OpenAI 에서 지난 2023년 11월에 1.x.x 로 판올림하여 공개한 API 의 사용법에 대해서 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 키 발급방법, 요금체계
이번 튜토리얼은 OpenAI 의 Python API 키를 발급받는 방법과 요금 체계에 대해 알아보겠습니다.
랭체인(langchain) + PDF 기반 질의응답(Question-Answering) (8)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용에 기반하여 질의응답(Question-Answering) 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + PDF 문서요약, Map-Reduce (7)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용을 요약 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 웹사이트 정보 추출 - 스키마 활용법 (6)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 스크래핑한 뒤, 형식(schema) 에 맞게 정보 추출 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 웹사이트 크롤링 - 웹사이트 문서 요약 (5)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 크롤링 한 뒤, 문서 요약/편집 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 정형데이터(CSV, Excel) - ChatGPT 기반 데이터분석 (4)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 정형데이터(CSV, Excel) 에 대한 ChatGPT 기반 질의응답을 통해 데이터 분석하는 방법 에 대해 알아보겠습니다.
랭체인(langchain) + 챗(chat) - ConversationChain, 템플릿 사용법 (3)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 챗(Chat) 기능 구현을 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 허깅페이스(HuggingFace) 모델 사용법 (2)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 허깅페이스(HuggingFace) 허브 에 배포된 사전학습 모델을 활용하여 LLM 체인을 구성하는 방법에 대하여 다뤄보고자 합니다.
랭체인(langchain)의 OpenAI GPT 모델(ChatOpenAI) 사용법 (1)
언어 모델을 활용한 애플리케이션 개발을 돕는 프레임워크인 랭체인(LangChain) 에 대해 깊이 있게 다뤄보고자 합니다.
파이썬 튜토리얼
#11-파이썬(Python) 패키지(package)와 모듈(module)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 패키지(package)와 모듈(module)을 다룹니다.
#10-파이썬(Python) 내장함수-map, zip, filter, enumerate
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 내장함수(built-in function) 중 map(), zip(), filter(), enumerate()를 다룹니다.
#09-파이썬(Python) 함수, lambda 함수, 인수(arguments), 매개변수(parameters)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 함수(function), lambda 함수, 인수(arguments)와 매개변수(parameters)를 다룹니다.
#08-파이썬(Python) 컴프리헨션(Comprehension)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 컴프리헨션(Comprehension)을 다룹니다.
#07-파이썬(Python) 반복문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
#06-파이썬(Python) 비교, 논리, 삼항연산자와 조건문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
#05-파이썬(Python) 연산
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
#04-파이썬(Python) 문자열(str)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
#03-파이썬(Python) 세트(set)와 딕셔너리(dictionary)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 세트(set)와 딕셔너리(dictionary)를 다룹니다.
#02-파이썬(Python) 리스트(list)와 튜플(tuple)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 리스트(list)와 튜플(tuple)을 다룹니다.
#01-파이썬(Python) 기본 자료구조
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
파이썬 강의
#11-파이썬(Python) 패키지(package)와 모듈(module)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 패키지(package)와 모듈(module)을 다룹니다.
#10-파이썬(Python) 내장함수-map, zip, filter, enumerate
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 내장함수(built-in function) 중 map(), zip(), filter(), enumerate()를 다룹니다.
#09-파이썬(Python) 함수, lambda 함수, 인수(arguments), 매개변수(parameters)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 함수(function), lambda 함수, 인수(arguments)와 매개변수(parameters)를 다룹니다.
#08-파이썬(Python) 컴프리헨션(Comprehension)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 컴프리헨션(Comprehension)을 다룹니다.
#07-파이썬(Python) 반복문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
#06-파이썬(Python) 비교, 논리, 삼항연산자와 조건문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
#05-파이썬(Python) 연산
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
#04-파이썬(Python) 문자열(str)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
#03-파이썬(Python) 세트(set)와 딕셔너리(dictionary)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 세트(set)와 딕셔너리(dictionary)를 다룹니다.
#02-파이썬(Python) 리스트(list)와 튜플(tuple)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 리스트(list)와 튜플(tuple)을 다룹니다.
#01-파이썬(Python) 기본 자료구조
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
python 강의
#11-파이썬(Python) 패키지(package)와 모듈(module)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 패키지(package)와 모듈(module)을 다룹니다.
#10-파이썬(Python) 내장함수-map, zip, filter, enumerate
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 내장함수(built-in function) 중 map(), zip(), filter(), enumerate()를 다룹니다.
#09-파이썬(Python) 함수, lambda 함수, 인수(arguments), 매개변수(parameters)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 함수(function), lambda 함수, 인수(arguments)와 매개변수(parameters)를 다룹니다.
#08-파이썬(Python) 컴프리헨션(Comprehension)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 컴프리헨션(Comprehension)을 다룹니다.
#07-파이썬(Python) 반복문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
#06-파이썬(Python) 비교, 논리, 삼항연산자와 조건문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
#05-파이썬(Python) 연산
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
#04-파이썬(Python) 문자열(str)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
#03-파이썬(Python) 세트(set)와 딕셔너리(dictionary)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 세트(set)와 딕셔너리(dictionary)를 다룹니다.
#02-파이썬(Python) 리스트(list)와 튜플(tuple)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 리스트(list)와 튜플(tuple)을 다룹니다.
#01-파이썬(Python) 기본 자료구조
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
파이썬 코딩
#11-파이썬(Python) 패키지(package)와 모듈(module)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 패키지(package)와 모듈(module)을 다룹니다.
#10-파이썬(Python) 내장함수-map, zip, filter, enumerate
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 내장함수(built-in function) 중 map(), zip(), filter(), enumerate()를 다룹니다.
#09-파이썬(Python) 함수, lambda 함수, 인수(arguments), 매개변수(parameters)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 함수(function), lambda 함수, 인수(arguments)와 매개변수(parameters)를 다룹니다.
#08-파이썬(Python) 컴프리헨션(Comprehension)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 컴프리헨션(Comprehension)을 다룹니다.
#07-파이썬(Python) 반복문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
#06-파이썬(Python) 비교, 논리, 삼항연산자와 조건문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
#05-파이썬(Python) 연산
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
#04-파이썬(Python) 문자열(str)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
#03-파이썬(Python) 세트(set)와 딕셔너리(dictionary)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 세트(set)와 딕셔너리(dictionary)를 다룹니다.
#02-파이썬(Python) 리스트(list)와 튜플(tuple)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 리스트(list)와 튜플(tuple)을 다룹니다.
#01-파이썬(Python) 기본 자료구조
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
코딩 강의
#11-파이썬(Python) 패키지(package)와 모듈(module)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 패키지(package)와 모듈(module)을 다룹니다.
#10-파이썬(Python) 내장함수-map, zip, filter, enumerate
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 내장함수(built-in function) 중 map(), zip(), filter(), enumerate()를 다룹니다.
#09-파이썬(Python) 함수, lambda 함수, 인수(arguments), 매개변수(parameters)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 함수(function), lambda 함수, 인수(arguments)와 매개변수(parameters)를 다룹니다.
#08-파이썬(Python) 컴프리헨션(Comprehension)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 컴프리헨션(Comprehension)을 다룹니다.
#07-파이썬(Python) 반복문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
#06-파이썬(Python) 비교, 논리, 삼항연산자와 조건문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
#05-파이썬(Python) 연산
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
#04-파이썬(Python) 문자열(str)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
#03-파이썬(Python) 세트(set)와 딕셔너리(dictionary)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 세트(set)와 딕셔너리(dictionary)를 다룹니다.
#02-파이썬(Python) 리스트(list)와 튜플(tuple)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 리스트(list)와 튜플(tuple)을 다룹니다.
#01-파이썬(Python) 기본 자료구조
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
랭체인
[LangChain] 에이전트(Agent)와 도구(tools)를 활용한 지능형 검색 시스템 구축 가이드
이 글에서는 LangChain 의 Agent 프레임워크를 활용하여 복잡한 검색과 데이터 처리 작업을 수행하는 방법을 소개합니다. LangSmith 를 사용하여 Agent의 추론 단계를 추적합니다. Agent가 활용할 검색 도구(Tavily Search), PDF 기반 검색 리트리버...
LangChain Expression Language(LCEL) 원리 이해와 파이프라인 구축 가이드
이 블로그 글에서는 LangChain Expression Language(LCEL) 원리 이해와 LCEL 에 기반한 파이프라인 구축의 기본을 소개합니다.
LangGraph - Multi-Agent Collaboration(다중 협업 에이전트) 로 복잡한 테스크를 수행하는 LLM 어플리케이션 제작
LangChain 에서 야심차게 LangGraph 를 새롭게 출시하였습니다. LangGraph 라이브러리가 출시하게 된 가장 큰 이유는 “복잡한 문제들은 단일 AI 에이전트만으로 해결하기 어렵다” 라는 문장에서 시작합니다.
랭체인(langchain) + PDF 기반 질의응답(Question-Answering) (8)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용에 기반하여 질의응답(Question-Answering) 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + PDF 문서요약, Map-Reduce (7)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용을 요약 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 웹사이트 정보 추출 - 스키마 활용법 (6)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 스크래핑한 뒤, 형식(schema) 에 맞게 정보 추출 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 웹사이트 크롤링 - 웹사이트 문서 요약 (5)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 크롤링 한 뒤, 문서 요약/편집 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 정형데이터(CSV, Excel) - ChatGPT 기반 데이터분석 (4)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 정형데이터(CSV, Excel) 에 대한 ChatGPT 기반 질의응답을 통해 데이터 분석하는 방법 에 대해 알아보겠습니다.
랭체인(langchain) + 챗(chat) - ConversationChain, 템플릿 사용법 (3)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 챗(Chat) 기능 구현을 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 허깅페이스(HuggingFace) 모델 사용법 (2)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 허깅페이스(HuggingFace) 허브 에 배포된 사전학습 모델을 활용하여 LLM 체인을 구성하는 방법에 대하여 다뤄보고자 합니다.
랭체인(langchain)의 OpenAI GPT 모델(ChatOpenAI) 사용법 (1)
언어 모델을 활용한 애플리케이션 개발을 돕는 프레임워크인 랭체인(LangChain) 에 대해 깊이 있게 다뤄보고자 합니다.
langchain
LangGraph Retrieval Agent를 활용한 동적 문서 검색 및 처리
LangGraph Retrieval Agent는 언어 처리, AI 모델 통합, 데이터베이스 관리, 그래프 기반 데이터 처리 등 다양한 기능을 제공하여 언어 기반 AI 애플리케이션 개발에 필수적인 도구입니다.
LLMs를 활용한 문서 요약 가이드: Stuff, Map-Reduce, Refine 방법 총정리
이번 글은 LangChain 을 활용하여 문서를 요약하는 방법에 대하여 다룹니다. 특히, 문서 요약의 3가지 방식은 Stuff, Map-Reduce, Refine 방식에 대하여 알아보고, 각각의 방식 간의 차이점에 대하여 다룹니다.
[LangChain] 문장을 파이썬 코드로, 이미지를 파이썬 코드로 변경하는 방법
이번 튜토리얼에는 langchain 라이브러리와 GPT-4 모델을 사용하여 문장을 파이썬 코드로 변경 및 실행하고, 이미지를 이해하고 이를 파이썬 코드로 변경하는 방법을 다룹니다.
랭체인(langchain) + PDF 기반 질의응답(Question-Answering) (8)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용에 기반하여 질의응답(Question-Answering) 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + PDF 문서요약, Map-Reduce (7)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용을 요약 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 웹사이트 정보 추출 - 스키마 활용법 (6)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 스크래핑한 뒤, 형식(schema) 에 맞게 정보 추출 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 웹사이트 크롤링 - 웹사이트 문서 요약 (5)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 크롤링 한 뒤, 문서 요약/편집 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 정형데이터(CSV, Excel) - ChatGPT 기반 데이터분석 (4)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 정형데이터(CSV, Excel) 에 대한 ChatGPT 기반 질의응답을 통해 데이터 분석하는 방법 에 대해 알아보겠습니다.
랭체인(langchain) + 챗(chat) - ConversationChain, 템플릿 사용법 (3)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 챗(Chat) 기능 구현을 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 허깅페이스(HuggingFace) 모델 사용법 (2)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 허깅페이스(HuggingFace) 허브 에 배포된 사전학습 모델을 활용하여 LLM 체인을 구성하는 방법에 대하여 다뤄보고자 합니다.
랭체인(langchain)의 OpenAI GPT 모델(ChatOpenAI) 사용법 (1)
언어 모델을 활용한 애플리케이션 개발을 돕는 프레임워크인 랭체인(LangChain) 에 대해 깊이 있게 다뤄보고자 합니다.
ChatOpenAI
자동화된 메타데이터 태깅으로 문서의 메타데이터(metadata) 생성 및 자동 라벨링
문서 관리를 위한 메타데이터 태깅은 필수적이지만 번거로울 수 있습니다. OpenAI 기반의 자동화된 메타데이터 태깅 방법을 통해 이 과정을 효율적으로 만드는 방법을 알아보도록 하겠습니다.
LLMs를 활용한 문서 요약 가이드: Stuff, Map-Reduce, Refine 방법 총정리
이번 글은 LangChain 을 활용하여 문서를 요약하는 방법에 대하여 다룹니다. 특히, 문서 요약의 3가지 방식은 Stuff, Map-Reduce, Refine 방식에 대하여 알아보고, 각각의 방식 간의 차이점에 대하여 다룹니다.
LangChain Expression Language(LCEL) 원리 이해와 파이프라인 구축 가이드
이 블로그 글에서는 LangChain Expression Language(LCEL) 원리 이해와 LCEL 에 기반한 파이프라인 구축의 기본을 소개합니다.
랭체인(langchain) + PDF 기반 질의응답(Question-Answering) (8)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용에 기반하여 질의응답(Question-Answering) 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + PDF 문서요약, Map-Reduce (7)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용을 요약 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 웹사이트 정보 추출 - 스키마 활용법 (6)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 스크래핑한 뒤, 형식(schema) 에 맞게 정보 추출 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 웹사이트 크롤링 - 웹사이트 문서 요약 (5)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 크롤링 한 뒤, 문서 요약/편집 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 정형데이터(CSV, Excel) - ChatGPT 기반 데이터분석 (4)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 정형데이터(CSV, Excel) 에 대한 ChatGPT 기반 질의응답을 통해 데이터 분석하는 방법 에 대해 알아보겠습니다.
랭체인(langchain) + 챗(chat) - ConversationChain, 템플릿 사용법 (3)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 챗(Chat) 기능 구현을 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 허깅페이스(HuggingFace) 모델 사용법 (2)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 허깅페이스(HuggingFace) 허브 에 배포된 사전학습 모델을 활용하여 LLM 체인을 구성하는 방법에 대하여 다뤄보고자 합니다.
랭체인(langchain)의 OpenAI GPT 모델(ChatOpenAI) 사용법 (1)
언어 모델을 활용한 애플리케이션 개발을 돕는 프레임워크인 랭체인(LangChain) 에 대해 깊이 있게 다뤄보고자 합니다.
데이터프레임
Google Gemini Pro API를 활용한 문서 검색 및 임베딩 가이드
Google의 Gemini API로 임베딩을 생성하고 문서 검색하는 방법을 다룹니다.
Pandas 데이터프레임 출력결과 및 표기옵션 수정(컬럼, 행 최대 출력, 콤마 구분자, 과학표기법)
판다스(Pandas) 데이터프레임(DataFrame)의 출력결과 표기형식을 설정할 수 있는 다양한 옵션들에 대해 알아보겠습니다.
로또 1회부터 최신회차까지 크롤링한 뒤 파일 저장하기(requests, beautifulsoup4)
본 내용은 로또 사이트(동행복권) 에서 로또의 1회차 부터 최신회차까지 당첨번호, 보너스번호,당첨일자등의 정보를 크롤링 하여 데이터프레임으로 변환하고 CSV 파일형식으로 저장하는 튜토리얼입니다.
판다스(Pandas) .groupby()로 할 수 있는 거의 모든 것! (통계량, 전처리)
판다스(Pandas)의 .groupby() 기능은 데이터를 그룹별로 분할하여 독립된 그룹에 대하여 별도로 데이터를 처리(혹은 적용)하거나 그룹별 통계량을 확인하고자 할 때 유용한 함수 입니다.
#08-Pandas(판다스) Concat(연결), Merge(병합)
이번 에피소드에서는 Pandas DataFrame의 여러 개의 DataFrame으로 이루어진 데이터를 합치는 방법인 concat()(연결), merge()(병합)에 대하여 다뤄 보도록 하겠습니다.
#07-Pandas(판다스) Groupby와 Pivot table
이번 에피소드에서는 Pandas DataFrame의 groupby(), pivot_table()을 활용한 데이터 분석 방법에 대하여 다뤄 보도록 하겠습니다.
#06-Pandas(판다스) 데이터 전처리, 추가, 삭제, 데이터 type 변환
이번 에피소드에서는 Pandas DataFrame의 row, column의 추가, 삭제, 컬럼간 연산, 타입의 변환 그리고 데이터 전처리 방법에 대하여 다뤄 보도록 하겠습니다.
#05-Pandas(판다스) DataFrame의 복사(Copy)와 결측치(NaN values) 처리
이번 에피소드에서는 Pandas 데이터프레임(DataFrame) 의 복사(Copy)와 중요한 전처리 Task 중의 하나인 결측치 처리 에 대해서 알아보겠습니다.
#04-Pandas(판다스) 통계
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 유용하면서 탐색적 데이터 분석(Exploratory Data Analysis)에서 가장 유용하게 사용되는 기능인 통계 입니다.
#03-Pandas(판다스) 데이터프레임(DataFrame) 조회, 정렬(sort), 조건필터(loc, iloc)
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 많이 사용하는 기능인 조회, 정렬 그리고 조건필터 입니다.
시각화
Gemini API를 활용한 이상 탐지: 임베딩으로 데이터셋 분석하기
이 글에서는 Gemini API를 사용하여 데이터셋에서 이상치를 탐지하는 방법을 알아봅니다. 그리고 임베딩과 t-SNE를 활용한 데이터 시각화 및 이상치 탐지 과정을 단계별로 설명합니다.
matplotlib 컬러명(color name), 팔레트(palette) 이름
matplotlib이나 seaborn을 활용하여 시각화를 할 때 color, cmap, palette의 옵션 설정을 통해 그래프(시각화)의 색상을 쉽게 변경할 수 있습니다.
지도 시각화 도구 Folium 사용법을 파헤쳐보자!
지도위에 데이터를 interactive하게 표현해 주는 대표적인 파이썬 지도 시각화 라이브러리 folium에 대해서 알아보고 그 사용법을 파헤쳐보도록 하겠습니다.
Seaborn의 통계 차트 및 데이터 시각화 예제
seaborn은 matplotlib의 상위 호환 데이터 시각화를 위한 라이브러리입니다. seaborn패키지는 데이터프레임으로 다양한 통계 지표를 낼 수 있는 시각화 차트를 제공하기 때문에 데이터 분석에 활발히 사용되고 있는 라이브러리입니다.
Matplotlib을 활용한 데이터 시각화 그래프 예제
데이터 시각화를 위한 라이브러리인 matplotlib 의 주요 그래프와 세부 옵션들에 대하여 알아보는 튜토리얼입니다.
matplotlib.pyplot 기본 튜토리얼, 스타일, 캔버스
본 튜토리얼은 matplotlib의 가장 기본적인 튜토리얼을 제공합니다.
2019년 KBO 관객수를 크롤링하여 matplotlib으로 시각화 해보겠습니다
이번 포스팅에서는 2019년 KBO 관객수를 크롤링해보고, matplotlib 라이브러리를 활용하여 시각화 해보도록 하겠습니다.
matplotlib/seaborn으로 시각화할 때 한글 폰트 깨짐현상 해결방법
matplotlib/seaborn 을 활용하여 시각화를 할 때, 한 번씩 필연적으로 겪는 당황스러운 모먼트는 바로 한글 폰트 깨짐 입니다. 데이터를 다룰 때 한글 데이터는 흔히 존재하며, 이를 jupyter notebook 에서 inline으로 시각화하려 한다면, 분명히 깨짐 현상...
Data Science (데이터 분석)을 위한 python package 리스트(2) - 시각화
Data 분석시 유용하게 쓰이는 시각화 관련 파이썬 라이브러리에 대하여 알아보겠습니다.
kaggle
자동차 충돌 분석 AI경진대회 - 베이스라인
본 포스팅은 데이콘(dacon.io)에서 2023.02.06 ~ 2023.03.13 기간 동안 진행하는 자동차 충돌 분석 AI경진대회에 제출한 베이스라인 코드 입니다.
캐글/데이콘 경진대회 Baseline을 잡기 위한 optuna + [xgboost, lightgbm, catboost] 패키지 소개
경진대회에서 모델의 Hyperparameter 튜닝에 드는 노력과 시간을 절약하기 위하여 xgboost, lightgbm, catboost 3개의 라이브러리에 대하여 optuna 튜닝을 적용하여 예측 값을 산출해 내는 로직을 라이브러리 형태로 패키징 했습니다.
[AI SPARK 챌린지] 수도관 누수 탐지 분류 문제 베이스라인 코드! (오디오 파일 전처리)
얼마전 연구개발특구진흥재단에서 주최하고 AIFactory에서 주관한 [AI SPARK 챌린지] 대회2. 수도관 누수 탐지 분류 문제에 대하여 베이스라인 코드를 잡아봤습니다.
[캐글] 성인 인구조사 소득 예측 대회 커널
작년 T-Academy와 KaKr가 주최하는 성인 인구조사 소득 예측 대회에 참여하여 EDA 노트북을 공유했었습니다.
캐글 노트북(Kaggle Notebook) 도커에 한글 자연어처리 패키지를 추가한 딥러닝 도커 배포, 설치 및 실행
캐글 노트북(Kaggle Notebook) 커널로도 유명한 도커인 Kaggle/docker-python의 GPU Docker(gpu.Dockerfile)를 기반으로 구성하였습니다. Kaggle에서 공개한 도커 이미지는 한글 폰트, 자연어처리 패키지, 형태소 분석기 등이 누락되어 있...
Kaggle Digit Recognizer Competition - achieve over 99% accuracy!
This is a very simple tutorial for tensorflow 2.0 beginners! This tutorial is based on Digit Recognizer presented by Kaggle You may be able to submit w...
Kaggle(캐글) API 사용법 - 데이터셋 다운로드와 제출을 손쉽게!
local 환경의 jupyter notebook 에서 작업을 한 뒤 Kaggle에 제출할 때면, 다음과 같은 상황마다 번거로운 순간들이 있습니다.
Kaggle(캐글) 타이타닉 생존자 예측 81% 이상 달성하기
캐글(Kaggle)의 대표적인 입문용 데이터 분석 경진대회인 타이타닉 생존자 예측 (Titanic: Machine Learning from Disaster) 에서 81% 이상의 정확도를 기록하여 상위 5% 안에 들 수 있는 Solution을 공유하고자 합니다.
Kaggle에서 활용하는 Notebook을 활용하기 (캐글 제출이 훨씬 쉬워졌습니다!!)
Kaggle 에서 제공하는 Notebook을 활용하면, 매우 손쉽게 submission할 수 있으며, GPU 자원까지 활용할 수 있습니다. Kaggle Notebook을 활용하는 방법과 제출하고 score확인까지 얼마나 쉬워졌는지 확인해 보도록 하겠습니다.
numpy
[2023년 업데이트] 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 - 데이터분석편
지난 2020년에 작성한 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1), 글과 후속 글인 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2) 을 많이 읽어 주셔서 감사드립니다. 작성 당시에는 가벼운 마음으로 개인...
[PyTorch] 텐서(tensor)의 다양한 생성 방법, 속성, dtype 그리고 shape 변경
이번 포스팅에서는 PyTorch의 텐서(Tensor) 생성하는 다양한 방법, 랜덤 텐서의 생성, 그리고 텐서의 shape 확인 및 변경 방법에 대하여 알아보도록 하겠습니다.
[PyTorch] 텐서(tensor)의 다양한 생성 방법, 속성, dtype 그리고 shape 변경
이번 포스팅에서는 PyTorch의 텐서(Tensor) 생성하는 다양한 방법, 랜덤 텐서의 생성, 그리고 텐서의 shape 확인 및 변경 방법에 대하여 알아보도록 하겠습니다.
[PyTorch] numpy로부터 텐서 변환(copying과 sharing의 차이)
이번 포스팅에서는 Tensor의 기본 특징과 PyTorch에서 정의한 Tensor타입, PyTorch에서 numpy array를 tensor 변환시 3가지 함수 from_numpy(), as_tensor(), tensor()의 사용법과 그 차이점에 대하여 알아보도록 하겠습니다.
넘파이(Numpy) 튜토리얼
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 수치계산용 라이브러리인 넘파이(numpy) 를 다룹니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
Numpy로 One-hot Encoding 쉽게 하기
머신러닝(machine-learning)에서 dataset을 돌리기 전에 one-hot encoding을 해야하는 경우가 많다.
google colab
구글 코랩(Google Colab)에서 Mecab 형태소 분석기, konlpy 쉽게 설치하기
Google Colab (구글 코랩) 에서 Mecab 형태소 분석기 설치 과정이 복잡하기 때문에 배시 스크립트(bash script)로 만들어 코드 1줄 실행으로 복잡한 설치 과정을 건너뛸 수 있도록 만들었습니다.
Colab에서 구글 드라이브(Google Drive) 압축파일 다운로드 쉽게하기 (코드 3줄!)
데이콘(dacon.io) 경진대회 데이터셋은 아래 이미지와 같이 대부분 구글 드라이브 download 링크로 제공합니다.
구글 코랩(colab) 한글 깨짐 현상 해결방법
구글 colab에서 시각화 라이브러리(matplotlib, seaborn)을 사용하게 되면 한글 깨짐 현상이 나타나게 됩니다. 한글 폰트 깨짐 현상에 대한 해결 방법에 대하여 알려드리겠습니다.
TensorBoard 활용법 및 colab에서 로드하기
TensorBoard 사용을 위한 callback을 만드는 방법과 colab에서 바로 로드하여 확인할 수 있는 magic command에 대한 내용입니다.
Google Colab에서 코드 한 줄(magic command)로 tensorflow2.0으로 업그레이드
Google Colab에서 tensorflow 2.0으로 magic command를 통해 손쉽게 업그레이드 하는 방법에 대하여 알려드리겠습니다.
Google Colab에서 python 패키지를 영구적(permanently)으로 설치하는 방법
Colab에서 영구적(permanently)으로 파이썬 패키지를 설치(install) 하는 방법에 대하여 공유드리고자 합니다.
구글 코랩 (Google colab)의 런타임 연결 끊김을 방지하는 방법
구글 코랩 (Google colab) 은 90분 동안 아무런 interaction이 없거나, 총 12시간의 세션 timeout이 존재합니다.
Google Colaboratory에 대한 간단 팁과 활용법
이번 포스팅에서는 Google Colaboratory (colab)을 활용하여 jupyter notebook을 구글 플랫폼 내에서 활용하는 방법에 대하여 팁을 드리도록 하겠습니다.
jupyter notebook
도커(docker)로 한글 패키지가 설치된 주피터 노트북(jupyter notebook) 실행하기
이번에 배포한 teddylee777/datascience-notebook 도커 이미지는 파이썬(Python) 기반의 데이터 분석, 머신러닝 패키지가 설치되어 있는 노트북 도커(docker) 이미지 입니다.
macOS의 iTerm/Mac 기본 터미널에서 Docker 명령어를 Alias로 지정하기
Docker는 개발자들에게 매우 유용한 도구입니다. 종종 복잡한 도커 명령어를 자주 사용하게 되는데, 이러한 명령어들을 간단한 명령어로 줄여서 사용 하고 싶을 때가 있습니다.
[Docker] 한글폰트가 추가된 Data Science 전용 jupyter notebook 컨테이너
이번 포스팅에서는 도커(docker)로 패키징한 주피터 노트북(jupyter notebook) 컨테이너를 실행하여 매우 쉽고 빠르게 노트북 서버를 구동하는 방법 에 대해 공유드리고자 합니다.
원격 서버 Jupyter Notebook에서 TensorBoard(텐서보드) 로드 하기
tensorboard는 딥러닝 프레임워크에서 모델이 학습되는 과정을 실시간으로 모니터링 할 수 있는 강력한 툴입니다.
Jupyter Notebook을 마크다운(.md) 형식으로 쉽게 변환하여 블로그에 업데이트하기
많은 분들께서 Jekyll 블로그 (혹은 GitHub Pages 블로그)에 포스팅 할 때 Jupyter Notebook을 바로 변환해서 마크다운 형식으로 바로 업로드 하고 싶어할껍니다. 왜냐면, Jupyter Notebook으로 작성된 코드와 주석, 텍스트, 그리고 이미지등을 다시...
Docker를 활용하여 딥러닝/머신러닝 환경을 10분만에 구성하고 jupyter notebook 원격 연결하기
도커(Docker)를 활용하면 CUDA, CuDNN과 같은 복잡한 설치환경의 충돌 걱정 없이 미리 설치된 dependency 셋팅으로 매우 편리하게 딥러닝/머신러닝을 위한 환경을 구성할 수 있습니다. Docker를 활용하여 Kaggle에서 발행한 Kaggle Docker를 Pull...
jupyter notebook remote 접속 허용 설정
Jupyter Notebook을 원격에서 접속하려고 할 때 셋팅하는 방법에 대해 알아보겠습니다.
AWS에서 딥러닝 인스턴스 만들고 jupyter notebook 실행까지!
Deep learning 을 모델 학습을 위해서 high computing power가 필수 입니다. 아마존의 AWS를 통해 ‘Tesla K80’ GPU를사용하여 학습할 수 있는 인스턴스를 만들고 jupyter notebook 을 실행시켜 아마존 EC2 인스턴스에서 학습시키는 방법...
리눅스
한글 자연어 처리 패키지가 포함된 딥러닝 전용 도커 배포 (손쉬운 설치 및 실행)
최신 버전의 GPU를 활용한 학습이 가능한 딥러닝 도커를 구성하여 배포하게 되었습니다. (배포날짜는 2022년 07월 20일 기준입니다)
Docker를 활용하여 딥러닝/머신러닝 환경을 10분만에 구성하고 jupyter notebook 원격 연결하기
도커(Docker)를 활용하면 CUDA, CuDNN과 같은 복잡한 설치환경의 충돌 걱정 없이 미리 설치된 dependency 셋팅으로 매우 편리하게 딥러닝/머신러닝을 위한 환경을 구성할 수 있습니다. Docker를 활용하여 Kaggle에서 발행한 Kaggle Docker를 Pull...
Ubuntu 18.04 CUDA 10.2 에서 10.0으로 Downgrade 하기
Ubuntu 18.04 환경을 기준으로 CUDA 10.2 에서 CUDA 10.0으로 clean 삭제 후 재설치 하는 과정에 대한 내용입니다.
ubuntu에서 패키지 설치시 mirror를 kakao로 변경하는 방법
ubuntu 환경에서 패키지 설치시 (특히 apt-get을 이용한 패키지 설치시) 에러가 나는 경우가 있는데, 이는 보통 mirror 사이트를 변경해주는 것으로 해결할 수 있다.
딥러닝 PC에 Ubuntu 18.04 설치 후 CUDA 10, cuDNN 설치하기
Amazon AWS에서 좋은 GPU 자원으로 딥러닝을 돌리다보니 요금폭탄을 맞았습니다.. 그래서 이참에 딥러닝 PC를 구매를 하게 되었고 딥러닝 서버를 위한 CUDA 및 cuDNN까지 설치하는 방법에 대하여 알려드리고자 합니다.
[Linux] 기본 터미널을 z shell(zsh)로 바꾸고 oh my zsh 적용해서 스타일링 하기
Bash Shell보다 Z Shell을 설치하여 보다 fancy한 터미널을 구축할 수 있습니다.
[Linux] tmux로 terminal을 닫아도 서비스 백그라운드 실행
django 서버를 임시로 AWS에서 띄워놓고 테스트하고자 할 때, AWS EC2 instance에 접속한 터미널을 닫더라도 계속 서버가 돌아가게끔 하고 싶을 때가 있습니다.
[Linux] Python(.py)을 가상환경(virtualenv)에서 주기별로 실행하기
python으로 주기적으로 크롤링 작업을 하거나, 또는 기타 여러가지 상황때문에 .py 파일을 리눅스 환경에서 주기적으로 실행하고 싶은 경우가 있을 겁니다. 그리고 대부분 .py 파일별로 다른 가상환경에서 .py를 실행시켜야 하는 경우도 있을 겁니다.
linux
한글 자연어 처리 패키지가 포함된 딥러닝 전용 도커 배포 (손쉬운 설치 및 실행)
최신 버전의 GPU를 활용한 학습이 가능한 딥러닝 도커를 구성하여 배포하게 되었습니다. (배포날짜는 2022년 07월 20일 기준입니다)
Docker를 활용하여 딥러닝/머신러닝 환경을 10분만에 구성하고 jupyter notebook 원격 연결하기
도커(Docker)를 활용하면 CUDA, CuDNN과 같은 복잡한 설치환경의 충돌 걱정 없이 미리 설치된 dependency 셋팅으로 매우 편리하게 딥러닝/머신러닝을 위한 환경을 구성할 수 있습니다. Docker를 활용하여 Kaggle에서 발행한 Kaggle Docker를 Pull...
Ubuntu 18.04 CUDA 10.2 에서 10.0으로 Downgrade 하기
Ubuntu 18.04 환경을 기준으로 CUDA 10.2 에서 CUDA 10.0으로 clean 삭제 후 재설치 하는 과정에 대한 내용입니다.
ubuntu에서 패키지 설치시 mirror를 kakao로 변경하는 방법
ubuntu 환경에서 패키지 설치시 (특히 apt-get을 이용한 패키지 설치시) 에러가 나는 경우가 있는데, 이는 보통 mirror 사이트를 변경해주는 것으로 해결할 수 있다.
딥러닝 PC에 Ubuntu 18.04 설치 후 CUDA 10, cuDNN 설치하기
Amazon AWS에서 좋은 GPU 자원으로 딥러닝을 돌리다보니 요금폭탄을 맞았습니다.. 그래서 이참에 딥러닝 PC를 구매를 하게 되었고 딥러닝 서버를 위한 CUDA 및 cuDNN까지 설치하는 방법에 대하여 알려드리고자 합니다.
[Linux] 기본 터미널을 z shell(zsh)로 바꾸고 oh my zsh 적용해서 스타일링 하기
Bash Shell보다 Z Shell을 설치하여 보다 fancy한 터미널을 구축할 수 있습니다.
[Linux] tmux로 terminal을 닫아도 서비스 백그라운드 실행
django 서버를 임시로 AWS에서 띄워놓고 테스트하고자 할 때, AWS EC2 instance에 접속한 터미널을 닫더라도 계속 서버가 돌아가게끔 하고 싶을 때가 있습니다.
[Linux] Python(.py)을 가상환경(virtualenv)에서 주기별로 실행하기
python으로 주기적으로 크롤링 작업을 하거나, 또는 기타 여러가지 상황때문에 .py 파일을 리눅스 환경에서 주기적으로 실행하고 싶은 경우가 있을 겁니다. 그리고 대부분 .py 파일별로 다른 가상환경에서 .py를 실행시켜야 하는 경우도 있을 겁니다.
visualization
matplotlib 컬러명(color name), 팔레트(palette) 이름
matplotlib이나 seaborn을 활용하여 시각화를 할 때 color, cmap, palette의 옵션 설정을 통해 그래프(시각화)의 색상을 쉽게 변경할 수 있습니다.
지도 시각화 도구 Folium 사용법을 파헤쳐보자!
지도위에 데이터를 interactive하게 표현해 주는 대표적인 파이썬 지도 시각화 라이브러리 folium에 대해서 알아보고 그 사용법을 파헤쳐보도록 하겠습니다.
Seaborn의 통계 차트 및 데이터 시각화 예제
seaborn은 matplotlib의 상위 호환 데이터 시각화를 위한 라이브러리입니다. seaborn패키지는 데이터프레임으로 다양한 통계 지표를 낼 수 있는 시각화 차트를 제공하기 때문에 데이터 분석에 활발히 사용되고 있는 라이브러리입니다.
Matplotlib을 활용한 데이터 시각화 그래프 예제
데이터 시각화를 위한 라이브러리인 matplotlib 의 주요 그래프와 세부 옵션들에 대하여 알아보는 튜토리얼입니다.
matplotlib.pyplot 기본 튜토리얼, 스타일, 캔버스
본 튜토리얼은 matplotlib의 가장 기본적인 튜토리얼을 제공합니다.
2019년 KBO 관객수를 크롤링하여 matplotlib으로 시각화 해보겠습니다
이번 포스팅에서는 2019년 KBO 관객수를 크롤링해보고, matplotlib 라이브러리를 활용하여 시각화 해보도록 하겠습니다.
matplotlib/seaborn으로 시각화할 때 한글 폰트 깨짐현상 해결방법
matplotlib/seaborn 을 활용하여 시각화를 할 때, 한 번씩 필연적으로 겪는 당황스러운 모먼트는 바로 한글 폰트 깨짐 입니다. 데이터를 다룰 때 한글 데이터는 흔히 존재하며, 이를 jupyter notebook 에서 inline으로 시각화하려 한다면, 분명히 깨짐 현상...
Data Science (데이터 분석)을 위한 python package 리스트(2) - 시각화
Data 분석시 유용하게 쓰이는 시각화 관련 파이썬 라이브러리에 대하여 알아보겠습니다.
matplotlib
matplotlib 에서 신규 폰트 추가하는 방법
이번 포스팅에서는 matplotlib 에서 누락된 폰트를 추가 하는 방법에 대해 알아보겠습니다. 만약 설치된 폰트가 matplotlib 에서 사용할 수 없다면, 아래의 가이드를 따라 진행해 보시기 바랍니다.
데이터 분석(pandas, matplotlib) 모듈과 머신러닝/딥러닝 모듈 사용시 자주 사용하는 옵션 정리
데이터 분석이나 머신러닝 프로젝트 진행시 자주 사용하는 옵션 값을 정리 해 보았습니다. 거의 매번 노트북 파일을 만들 때마다 import 를 해주어야 하는데, 저는 하나의 파일에 정리해 두고 필요한 옵션을 찾아서 사용하는 편입니다. 앞으로 유용한 옵션이 있다면 계속 추가해 나갈 예...
matplotlib 컬러명(color name), 팔레트(palette) 이름
matplotlib이나 seaborn을 활용하여 시각화를 할 때 color, cmap, palette의 옵션 설정을 통해 그래프(시각화)의 색상을 쉽게 변경할 수 있습니다.
Matplotlib을 활용한 데이터 시각화 그래프 예제
데이터 시각화를 위한 라이브러리인 matplotlib 의 주요 그래프와 세부 옵션들에 대하여 알아보는 튜토리얼입니다.
matplotlib.pyplot 기본 튜토리얼, 스타일, 캔버스
본 튜토리얼은 matplotlib의 가장 기본적인 튜토리얼을 제공합니다.
2019년 KBO 관객수를 크롤링하여 matplotlib으로 시각화 해보겠습니다
이번 포스팅에서는 2019년 KBO 관객수를 크롤링해보고, matplotlib 라이브러리를 활용하여 시각화 해보도록 하겠습니다.
Ubuntu의 Docker환경에서 matplotlib 한글폰트 설치 및 적용
Ubuntu 의 Docker 환경으로 Jupyter Notebook 서버를 돌리고 있을 때 matplotlib 한글 깨짐 현상이 종종일어납니다. 이럴 땐 한 번 한글폰트 설치 후 Image를 백업시키는 것도 방법이 될 수 있습니다.
matplotlib/seaborn으로 시각화할 때 한글 폰트 깨짐현상 해결방법
matplotlib/seaborn 을 활용하여 시각화를 할 때, 한 번씩 필연적으로 겪는 당황스러운 모먼트는 바로 한글 폰트 깨짐 입니다. 데이터를 다룰 때 한글 데이터는 흔히 존재하며, 이를 jupyter notebook 에서 inline으로 시각화하려 한다면, 분명히 깨짐 현상...
크롤링
랭체인(langchain) + PDF 기반 질의응답(Question-Answering) (8)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용에 기반하여 질의응답(Question-Answering) 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + PDF 문서요약, Map-Reduce (7)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용을 요약 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 웹사이트 정보 추출 - 스키마 활용법 (6)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 스크래핑한 뒤, 형식(schema) 에 맞게 정보 추출 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 웹사이트 크롤링 - 웹사이트 문서 요약 (5)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 크롤링 한 뒤, 문서 요약/편집 하는 방법에 대해 알아보겠습니다.
셀레니움(selenium)을 활용한 네이버 환율 정보 크롤링
이번 튜토리얼에서는 네이버의 환율 정보를 크롤링하는 방법에 대해 알아보겠습니다. 이 과정에서 Python의 셀레니움(selenium)을 사용할 예정입니다. 크롤링 과정에서 발생할 수 있는 다양한 오류들을 어떻게 처리 하는지에 대해서도 알아보겠습니다. 튜토리얼 마지막 부분에서는 코드...
로또 1회부터 최신회차까지 크롤링한 뒤 파일 저장하기(requests, beautifulsoup4)
본 내용은 로또 사이트(동행복권) 에서 로또의 1회차 부터 최신회차까지 당첨번호, 보너스번호,당첨일자등의 정보를 크롤링 하여 데이터프레임으로 변환하고 CSV 파일형식으로 저장하는 튜토리얼입니다.
2019년 KBO 관객수를 크롤링하여 matplotlib으로 시각화 해보겠습니다
이번 포스팅에서는 2019년 KBO 관객수를 크롤링해보고, matplotlib 라이브러리를 활용하여 시각화 해보도록 하겠습니다.
뉴스 기사 와 RSS 피드에서 손쉽게 크롤링 하여 정보 수집하기
최근 뉴스 기사를 크롤링하여 군집화 하는 작업을 하기 위해서, 국내 신문기사의 정보들을 크롤링해야하는 작업이 필요하였습니다. request와 BeautifulSoup4를 사용해서 크롤링하는 것은 간단하지만, 언론사 웹사이트 별로 기사의 contents를 표시하는 tag와 class...
캐글
자동차 충돌 분석 AI경진대회 - 베이스라인
본 포스팅은 데이콘(dacon.io)에서 2023.02.06 ~ 2023.03.13 기간 동안 진행하는 자동차 충돌 분석 AI경진대회에 제출한 베이스라인 코드 입니다.
캐글/데이콘 경진대회 Baseline을 잡기 위한 optuna + [xgboost, lightgbm, catboost] 패키지 소개
경진대회에서 모델의 Hyperparameter 튜닝에 드는 노력과 시간을 절약하기 위하여 xgboost, lightgbm, catboost 3개의 라이브러리에 대하여 optuna 튜닝을 적용하여 예측 값을 산출해 내는 로직을 라이브러리 형태로 패키징 했습니다.
[AI SPARK 챌린지] 수도관 누수 탐지 분류 문제 베이스라인 코드! (오디오 파일 전처리)
얼마전 연구개발특구진흥재단에서 주최하고 AIFactory에서 주관한 [AI SPARK 챌린지] 대회2. 수도관 누수 탐지 분류 문제에 대하여 베이스라인 코드를 잡아봤습니다.
[캐글] 성인 인구조사 소득 예측 대회 커널
작년 T-Academy와 KaKr가 주최하는 성인 인구조사 소득 예측 대회에 참여하여 EDA 노트북을 공유했었습니다.
캐글 노트북(Kaggle Notebook) 도커에 한글 자연어처리 패키지를 추가한 딥러닝 도커 배포, 설치 및 실행
캐글 노트북(Kaggle Notebook) 커널로도 유명한 도커인 Kaggle/docker-python의 GPU Docker(gpu.Dockerfile)를 기반으로 구성하였습니다. Kaggle에서 공개한 도커 이미지는 한글 폰트, 자연어처리 패키지, 형태소 분석기 등이 누락되어 있...
Kaggle Digit Recognizer Competition - achieve over 99% accuracy!
This is a very simple tutorial for tensorflow 2.0 beginners! This tutorial is based on Digit Recognizer presented by Kaggle You may be able to submit w...
Kaggle(캐글) API 사용법 - 데이터셋 다운로드와 제출을 손쉽게!
local 환경의 jupyter notebook 에서 작업을 한 뒤 Kaggle에 제출할 때면, 다음과 같은 상황마다 번거로운 순간들이 있습니다.
Kaggle(캐글) 타이타닉 생존자 예측 81% 이상 달성하기
캐글(Kaggle)의 대표적인 입문용 데이터 분석 경진대회인 타이타닉 생존자 예측 (Titanic: Machine Learning from Disaster) 에서 81% 이상의 정확도를 기록하여 상위 5% 안에 들 수 있는 Solution을 공유하고자 합니다.
도커
도커(docker)로 한글 패키지가 설치된 주피터 노트북(jupyter notebook) 실행하기
이번에 배포한 teddylee777/datascience-notebook 도커 이미지는 파이썬(Python) 기반의 데이터 분석, 머신러닝 패키지가 설치되어 있는 노트북 도커(docker) 이미지 입니다.
macOS의 iTerm/Mac 기본 터미널에서 Docker 명령어를 Alias로 지정하기
Docker는 개발자들에게 매우 유용한 도구입니다. 종종 복잡한 도커 명령어를 자주 사용하게 되는데, 이러한 명령어들을 간단한 명령어로 줄여서 사용 하고 싶을 때가 있습니다.
[Docker] 한글폰트가 추가된 Data Science 전용 jupyter notebook 컨테이너
이번 포스팅에서는 도커(docker)로 패키징한 주피터 노트북(jupyter notebook) 컨테이너를 실행하여 매우 쉽고 빠르게 노트북 서버를 구동하는 방법 에 대해 공유드리고자 합니다.
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
한글 자연어 처리 패키지가 포함된 딥러닝 전용 도커 배포 (손쉬운 설치 및 실행)
최신 버전의 GPU를 활용한 학습이 가능한 딥러닝 도커를 구성하여 배포하게 되었습니다. (배포날짜는 2022년 07월 20일 기준입니다)
캐글 노트북(Kaggle Notebook) 도커에 한글 자연어처리 패키지를 추가한 딥러닝 도커 배포, 설치 및 실행
캐글 노트북(Kaggle Notebook) 커널로도 유명한 도커인 Kaggle/docker-python의 GPU Docker(gpu.Dockerfile)를 기반으로 구성하였습니다. Kaggle에서 공개한 도커 이미지는 한글 폰트, 자연어처리 패키지, 형태소 분석기 등이 누락되어 있...
Ubuntu의 Docker환경에서 matplotlib 한글폰트 설치 및 적용
Ubuntu 의 Docker 환경으로 Jupyter Notebook 서버를 돌리고 있을 때 matplotlib 한글 깨짐 현상이 종종일어납니다. 이럴 땐 한 번 한글폰트 설치 후 Image를 백업시키는 것도 방법이 될 수 있습니다.
Docker를 활용하여 딥러닝/머신러닝 환경을 10분만에 구성하고 jupyter notebook 원격 연결하기
도커(Docker)를 활용하면 CUDA, CuDNN과 같은 복잡한 설치환경의 충돌 걱정 없이 미리 설치된 dependency 셋팅으로 매우 편리하게 딥러닝/머신러닝을 위한 환경을 구성할 수 있습니다. Docker를 활용하여 Kaggle에서 발행한 Kaggle Docker를 Pull...
docker
도커(docker)로 한글 패키지가 설치된 주피터 노트북(jupyter notebook) 실행하기
이번에 배포한 teddylee777/datascience-notebook 도커 이미지는 파이썬(Python) 기반의 데이터 분석, 머신러닝 패키지가 설치되어 있는 노트북 도커(docker) 이미지 입니다.
macOS의 iTerm/Mac 기본 터미널에서 Docker 명령어를 Alias로 지정하기
Docker는 개발자들에게 매우 유용한 도구입니다. 종종 복잡한 도커 명령어를 자주 사용하게 되는데, 이러한 명령어들을 간단한 명령어로 줄여서 사용 하고 싶을 때가 있습니다.
[Docker] 한글폰트가 추가된 Data Science 전용 jupyter notebook 컨테이너
이번 포스팅에서는 도커(docker)로 패키징한 주피터 노트북(jupyter notebook) 컨테이너를 실행하여 매우 쉽고 빠르게 노트북 서버를 구동하는 방법 에 대해 공유드리고자 합니다.
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
한글 자연어 처리 패키지가 포함된 딥러닝 전용 도커 배포 (손쉬운 설치 및 실행)
최신 버전의 GPU를 활용한 학습이 가능한 딥러닝 도커를 구성하여 배포하게 되었습니다. (배포날짜는 2022년 07월 20일 기준입니다)
캐글 노트북(Kaggle Notebook) 도커에 한글 자연어처리 패키지를 추가한 딥러닝 도커 배포, 설치 및 실행
캐글 노트북(Kaggle Notebook) 커널로도 유명한 도커인 Kaggle/docker-python의 GPU Docker(gpu.Dockerfile)를 기반으로 구성하였습니다. Kaggle에서 공개한 도커 이미지는 한글 폰트, 자연어처리 패키지, 형태소 분석기 등이 누락되어 있...
Ubuntu의 Docker환경에서 matplotlib 한글폰트 설치 및 적용
Ubuntu 의 Docker 환경으로 Jupyter Notebook 서버를 돌리고 있을 때 matplotlib 한글 깨짐 현상이 종종일어납니다. 이럴 땐 한 번 한글폰트 설치 후 Image를 백업시키는 것도 방법이 될 수 있습니다.
Docker를 활용하여 딥러닝/머신러닝 환경을 10분만에 구성하고 jupyter notebook 원격 연결하기
도커(Docker)를 활용하면 CUDA, CuDNN과 같은 복잡한 설치환경의 충돌 걱정 없이 미리 설치된 dependency 셋팅으로 매우 편리하게 딥러닝/머신러닝을 위한 환경을 구성할 수 있습니다. Docker를 활용하여 Kaggle에서 발행한 Kaggle Docker를 Pull...
자연어처리
torchtext를 활용한 텍스트 데이터 전처리 방법
torchtext는 pytorch 모델에 주입하기 위한 텍스트 데이터셋을 구성하기 편하게 만들어 주는 데이터 로더(Data Loader) 입니다. torchtext 를 활용하여 CSV, TSV, JSON 등의 정형 데이터셋을 쉽게 로드하도록 도와주는 TabularDataset 클래...
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
[huggingface] 한글 pre-trained 사전학습 BERT 모델로 텍스트 분류하기
이번 포스팅에서는 Huggingface의 한글 데이터셋으로 사전 학습된 kykim/bert-kor-base 모델을 가져와서 한글 자연어 데이터에 대한 텍스트 분류기를 만들어 보겠습니다. 이미지넷에서는 전이학습을 통해 손쉽게 Transfer Learning을 수행할 수 있습니다. ...
구글 코랩(Google Colab)에서 Mecab 형태소 분석기, konlpy 쉽게 설치하기
Google Colab (구글 코랩) 에서 Mecab 형태소 분석기 설치 과정이 복잡하기 때문에 배시 스크립트(bash script)로 만들어 코드 1줄 실행으로 복잡한 설치 과정을 건너뛸 수 있도록 만들었습니다.
뽀로로(PORORO) 자연어처리 라이브러리 활용기 (dev. and maintained by 카카오 브레인(Kakao Brain) PORORO팀)
카카오 브레인(Kakao Brain) 에서 개발한 자연어처리 종합 선물 세트
캐글 노트북(Kaggle Notebook) 도커에 한글 자연어처리 패키지를 추가한 딥러닝 도커 배포, 설치 및 실행
캐글 노트북(Kaggle Notebook) 커널로도 유명한 도커인 Kaggle/docker-python의 GPU Docker(gpu.Dockerfile)를 기반으로 구성하였습니다. Kaggle에서 공개한 도커 이미지는 한글 폰트, 자연어처리 패키지, 형태소 분석기 등이 누락되어 있...
Attention을 활용한 Seq2Seq 모델 생성과 데이터셋 구성
이번 포스팅에서는 Attention을 활용한 Seq2Seq 모델을 생성하는 방법 그리고 Seq2Seq 모델의 학습을 위해 필요한 데이터셋을 구성하는 방법에 대하여 알아보도록 하겠습니다.
[tensorflow] 단어 토큰화, Embedding, LSTM layer를 활용한 뉴스 데이터 sarcasm 판단
캐글의 뉴스의 Sarcasm 에 대한 판단을 해주는 딥러닝 모델을 tensorflow 2.0을 활용하여 만들어 보겠습니다.
판다스 자료구조
#08-Pandas(판다스) Concat(연결), Merge(병합)
이번 에피소드에서는 Pandas DataFrame의 여러 개의 DataFrame으로 이루어진 데이터를 합치는 방법인 concat()(연결), merge()(병합)에 대하여 다뤄 보도록 하겠습니다.
#07-Pandas(판다스) Groupby와 Pivot table
이번 에피소드에서는 Pandas DataFrame의 groupby(), pivot_table()을 활용한 데이터 분석 방법에 대하여 다뤄 보도록 하겠습니다.
#06-Pandas(판다스) 데이터 전처리, 추가, 삭제, 데이터 type 변환
이번 에피소드에서는 Pandas DataFrame의 row, column의 추가, 삭제, 컬럼간 연산, 타입의 변환 그리고 데이터 전처리 방법에 대하여 다뤄 보도록 하겠습니다.
#05-Pandas(판다스) DataFrame의 복사(Copy)와 결측치(NaN values) 처리
이번 에피소드에서는 Pandas 데이터프레임(DataFrame) 의 복사(Copy)와 중요한 전처리 Task 중의 하나인 결측치 처리 에 대해서 알아보겠습니다.
#04-Pandas(판다스) 통계
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 유용하면서 탐색적 데이터 분석(Exploratory Data Analysis)에서 가장 유용하게 사용되는 기능인 통계 입니다.
#03-Pandas(판다스) 데이터프레임(DataFrame) 조회, 정렬(sort), 조건필터(loc, iloc)
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 많이 사용하는 기능인 조회, 정렬 그리고 조건필터 입니다.
#02-Pandas(판다스) 파일 입출력 - Excel, CSV
이번 에피소드에서는 Pandas의 파일 입출력에 대하여 알아보겠습니다. 그리고, 데이터 분석에서 DB를 제외한 가장 많이 사용되는 파일 형식인 엑셀(Excel)과 CSV (Comma Separated Value)을 로드하고 데이터프레임(DataFrame)을 엑셀(Excel)이나 C...
#01-Pandas(판다스) 기본 자료구조
Pandas(판다스) 는 막강한 오픈소스 데이터 분석 도구 입니다. Pandas는 업무자동화, 크롤링(Crawling), 데이터베이스 입출력, 시계열 데이터분석, 시각화 등등 다양한 분야에 활용할 수 있는 방대한 기능을 갖추고 있습니다. Pandas의 DataFrame은 Micro...
판다스 튜토리얼
#08-Pandas(판다스) Concat(연결), Merge(병합)
이번 에피소드에서는 Pandas DataFrame의 여러 개의 DataFrame으로 이루어진 데이터를 합치는 방법인 concat()(연결), merge()(병합)에 대하여 다뤄 보도록 하겠습니다.
#07-Pandas(판다스) Groupby와 Pivot table
이번 에피소드에서는 Pandas DataFrame의 groupby(), pivot_table()을 활용한 데이터 분석 방법에 대하여 다뤄 보도록 하겠습니다.
#06-Pandas(판다스) 데이터 전처리, 추가, 삭제, 데이터 type 변환
이번 에피소드에서는 Pandas DataFrame의 row, column의 추가, 삭제, 컬럼간 연산, 타입의 변환 그리고 데이터 전처리 방법에 대하여 다뤄 보도록 하겠습니다.
#05-Pandas(판다스) DataFrame의 복사(Copy)와 결측치(NaN values) 처리
이번 에피소드에서는 Pandas 데이터프레임(DataFrame) 의 복사(Copy)와 중요한 전처리 Task 중의 하나인 결측치 처리 에 대해서 알아보겠습니다.
#04-Pandas(판다스) 통계
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 유용하면서 탐색적 데이터 분석(Exploratory Data Analysis)에서 가장 유용하게 사용되는 기능인 통계 입니다.
#03-Pandas(판다스) 데이터프레임(DataFrame) 조회, 정렬(sort), 조건필터(loc, iloc)
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 많이 사용하는 기능인 조회, 정렬 그리고 조건필터 입니다.
#02-Pandas(판다스) 파일 입출력 - Excel, CSV
이번 에피소드에서는 Pandas의 파일 입출력에 대하여 알아보겠습니다. 그리고, 데이터 분석에서 DB를 제외한 가장 많이 사용되는 파일 형식인 엑셀(Excel)과 CSV (Comma Separated Value)을 로드하고 데이터프레임(DataFrame)을 엑셀(Excel)이나 C...
#01-Pandas(판다스) 기본 자료구조
Pandas(판다스) 는 막강한 오픈소스 데이터 분석 도구 입니다. Pandas는 업무자동화, 크롤링(Crawling), 데이터베이스 입출력, 시계열 데이터분석, 시각화 등등 다양한 분야에 활용할 수 있는 방대한 기능을 갖추고 있습니다. Pandas의 DataFrame은 Micro...
파이썬 데이터 분석
#08-Pandas(판다스) Concat(연결), Merge(병합)
이번 에피소드에서는 Pandas DataFrame의 여러 개의 DataFrame으로 이루어진 데이터를 합치는 방법인 concat()(연결), merge()(병합)에 대하여 다뤄 보도록 하겠습니다.
#07-Pandas(판다스) Groupby와 Pivot table
이번 에피소드에서는 Pandas DataFrame의 groupby(), pivot_table()을 활용한 데이터 분석 방법에 대하여 다뤄 보도록 하겠습니다.
#06-Pandas(판다스) 데이터 전처리, 추가, 삭제, 데이터 type 변환
이번 에피소드에서는 Pandas DataFrame의 row, column의 추가, 삭제, 컬럼간 연산, 타입의 변환 그리고 데이터 전처리 방법에 대하여 다뤄 보도록 하겠습니다.
#05-Pandas(판다스) DataFrame의 복사(Copy)와 결측치(NaN values) 처리
이번 에피소드에서는 Pandas 데이터프레임(DataFrame) 의 복사(Copy)와 중요한 전처리 Task 중의 하나인 결측치 처리 에 대해서 알아보겠습니다.
#04-Pandas(판다스) 통계
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 유용하면서 탐색적 데이터 분석(Exploratory Data Analysis)에서 가장 유용하게 사용되는 기능인 통계 입니다.
#03-Pandas(판다스) 데이터프레임(DataFrame) 조회, 정렬(sort), 조건필터(loc, iloc)
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 많이 사용하는 기능인 조회, 정렬 그리고 조건필터 입니다.
#02-Pandas(판다스) 파일 입출력 - Excel, CSV
이번 에피소드에서는 Pandas의 파일 입출력에 대하여 알아보겠습니다. 그리고, 데이터 분석에서 DB를 제외한 가장 많이 사용되는 파일 형식인 엑셀(Excel)과 CSV (Comma Separated Value)을 로드하고 데이터프레임(DataFrame)을 엑셀(Excel)이나 C...
#01-Pandas(판다스) 기본 자료구조
Pandas(판다스) 는 막강한 오픈소스 데이터 분석 도구 입니다. Pandas는 업무자동화, 크롤링(Crawling), 데이터베이스 입출력, 시계열 데이터분석, 시각화 등등 다양한 분야에 활용할 수 있는 방대한 기능을 갖추고 있습니다. Pandas의 DataFrame은 Micro...
GPT3.5
랭체인(langchain) + PDF 기반 질의응답(Question-Answering) (8)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용에 기반하여 질의응답(Question-Answering) 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + PDF 문서요약, Map-Reduce (7)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용을 요약 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 웹사이트 정보 추출 - 스키마 활용법 (6)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 스크래핑한 뒤, 형식(schema) 에 맞게 정보 추출 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 웹사이트 크롤링 - 웹사이트 문서 요약 (5)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 크롤링 한 뒤, 문서 요약/편집 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 정형데이터(CSV, Excel) - ChatGPT 기반 데이터분석 (4)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 정형데이터(CSV, Excel) 에 대한 ChatGPT 기반 질의응답을 통해 데이터 분석하는 방법 에 대해 알아보겠습니다.
랭체인(langchain) + 챗(chat) - ConversationChain, 템플릿 사용법 (3)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 챗(Chat) 기능 구현을 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 허깅페이스(HuggingFace) 모델 사용법 (2)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 허깅페이스(HuggingFace) 허브 에 배포된 사전학습 모델을 활용하여 LLM 체인을 구성하는 방법에 대하여 다뤄보고자 합니다.
랭체인(langchain)의 OpenAI GPT 모델(ChatOpenAI) 사용법 (1)
언어 모델을 활용한 애플리케이션 개발을 돕는 프레임워크인 랭체인(LangChain) 에 대해 깊이 있게 다뤄보고자 합니다.
GPT4
랭체인(langchain) + PDF 기반 질의응답(Question-Answering) (8)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용에 기반하여 질의응답(Question-Answering) 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + PDF 문서요약, Map-Reduce (7)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용을 요약 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 웹사이트 정보 추출 - 스키마 활용법 (6)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 스크래핑한 뒤, 형식(schema) 에 맞게 정보 추출 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 웹사이트 크롤링 - 웹사이트 문서 요약 (5)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 크롤링 한 뒤, 문서 요약/편집 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 정형데이터(CSV, Excel) - ChatGPT 기반 데이터분석 (4)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 정형데이터(CSV, Excel) 에 대한 ChatGPT 기반 질의응답을 통해 데이터 분석하는 방법 에 대해 알아보겠습니다.
랭체인(langchain) + 챗(chat) - ConversationChain, 템플릿 사용법 (3)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 챗(Chat) 기능 구현을 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 허깅페이스(HuggingFace) 모델 사용법 (2)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 허깅페이스(HuggingFace) 허브 에 배포된 사전학습 모델을 활용하여 LLM 체인을 구성하는 방법에 대하여 다뤄보고자 합니다.
랭체인(langchain)의 OpenAI GPT 모델(ChatOpenAI) 사용법 (1)
언어 모델을 활용한 애플리케이션 개발을 돕는 프레임워크인 랭체인(LangChain) 에 대해 깊이 있게 다뤄보고자 합니다.
랭체인 튜토리얼
랭체인(langchain) + PDF 기반 질의응답(Question-Answering) (8)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용에 기반하여 질의응답(Question-Answering) 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + PDF 문서요약, Map-Reduce (7)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용을 요약 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 웹사이트 정보 추출 - 스키마 활용법 (6)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 스크래핑한 뒤, 형식(schema) 에 맞게 정보 추출 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 웹사이트 크롤링 - 웹사이트 문서 요약 (5)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 크롤링 한 뒤, 문서 요약/편집 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 정형데이터(CSV, Excel) - ChatGPT 기반 데이터분석 (4)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 정형데이터(CSV, Excel) 에 대한 ChatGPT 기반 질의응답을 통해 데이터 분석하는 방법 에 대해 알아보겠습니다.
랭체인(langchain) + 챗(chat) - ConversationChain, 템플릿 사용법 (3)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 챗(Chat) 기능 구현을 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 허깅페이스(HuggingFace) 모델 사용법 (2)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 허깅페이스(HuggingFace) 허브 에 배포된 사전학습 모델을 활용하여 LLM 체인을 구성하는 방법에 대하여 다뤄보고자 합니다.
랭체인(langchain)의 OpenAI GPT 모델(ChatOpenAI) 사용법 (1)
언어 모델을 활용한 애플리케이션 개발을 돕는 프레임워크인 랭체인(LangChain) 에 대해 깊이 있게 다뤄보고자 합니다.
langchain tutorial
랭체인(langchain) + PDF 기반 질의응답(Question-Answering) (8)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용에 기반하여 질의응답(Question-Answering) 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + PDF 문서요약, Map-Reduce (7)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용을 요약 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 웹사이트 정보 추출 - 스키마 활용법 (6)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 스크래핑한 뒤, 형식(schema) 에 맞게 정보 추출 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 웹사이트 크롤링 - 웹사이트 문서 요약 (5)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 크롤링 한 뒤, 문서 요약/편집 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 정형데이터(CSV, Excel) - ChatGPT 기반 데이터분석 (4)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 정형데이터(CSV, Excel) 에 대한 ChatGPT 기반 질의응답을 통해 데이터 분석하는 방법 에 대해 알아보겠습니다.
랭체인(langchain) + 챗(chat) - ConversationChain, 템플릿 사용법 (3)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 챗(Chat) 기능 구현을 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 허깅페이스(HuggingFace) 모델 사용법 (2)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 허깅페이스(HuggingFace) 허브 에 배포된 사전학습 모델을 활용하여 LLM 체인을 구성하는 방법에 대하여 다뤄보고자 합니다.
랭체인(langchain)의 OpenAI GPT 모델(ChatOpenAI) 사용법 (1)
언어 모델을 활용한 애플리케이션 개발을 돕는 프레임워크인 랭체인(LangChain) 에 대해 깊이 있게 다뤄보고자 합니다.
anaconda
poetry 의 거의 모든것 (튜토리얼)
Python 개발에 있어서 poetry는 매우 강력한 도구로, 프로젝트의 의존성 관리와 패키지 배포를 간소화하는 데 큰 도움을 줍니다. 지금부터 poetry 활용 튜토리얼을 살펴 보겠습니다.
PowerShell에서 아나콘다(Anaconda) 환경 설정하기
이번 포스팅에서는 PowerShell에서 Anaconda 환경을 사용하는 방법 에 대해 소개하려고 합니다.
[2023년 업데이트] 구글 텐서플로 개발자 자격인증 시험을 위한 환경설치(PyCharm, 필요 라이브러리 설치)
본 포스팅은 Google TensorFlow Developers Certificate 자격인증 시험을 위한 환경설치를 위한 내용입니다.
jupyter notebook remote 접속 허용 설정
Jupyter Notebook을 원격에서 접속하려고 할 때 셋팅하는 방법에 대해 알아보겠습니다.
Anaconda를 활용한 python 가상환경(virtual env) 설정하기
이번 포스팅에서는 Python을 활용하여 개발 / 혹은 jupyter notebook을 사용할 때 필수인 가상환경 (Virtual Environment) 설정하는 법에 대한 팁과 간단한 강좌를 공유해 드리도록 하겠습니다.
파이썬(Python) - MySQL 패키지 (Client) 설치
Python(파이썬) 개발시 MySQL Client 설치 방법에 대해 알아보겠다.
파이썬(Python) 가상환경 설정하기
Python(파이썬) 개발시 필수 환경설정인 가상환경 설치 및 설정하기에 대해 알아보겠다.
구글 코랩
구글 코랩(Google Colab)에서 Mecab 형태소 분석기, konlpy 쉽게 설치하기
Google Colab (구글 코랩) 에서 Mecab 형태소 분석기 설치 과정이 복잡하기 때문에 배시 스크립트(bash script)로 만들어 코드 1줄 실행으로 복잡한 설치 과정을 건너뛸 수 있도록 만들었습니다.
Colab에서 구글 드라이브(Google Drive) 압축파일 다운로드 쉽게하기 (코드 3줄!)
데이콘(dacon.io) 경진대회 데이터셋은 아래 이미지와 같이 대부분 구글 드라이브 download 링크로 제공합니다.
구글 코랩(colab) 한글 깨짐 현상 해결방법
구글 colab에서 시각화 라이브러리(matplotlib, seaborn)을 사용하게 되면 한글 깨짐 현상이 나타나게 됩니다. 한글 폰트 깨짐 현상에 대한 해결 방법에 대하여 알려드리겠습니다.
Google Colab에서 코드 한 줄(magic command)로 tensorflow2.0으로 업그레이드
Google Colab에서 tensorflow 2.0으로 magic command를 통해 손쉽게 업그레이드 하는 방법에 대하여 알려드리겠습니다.
Google Colab에서 python 패키지를 영구적(permanently)으로 설치하는 방법
Colab에서 영구적(permanently)으로 파이썬 패키지를 설치(install) 하는 방법에 대하여 공유드리고자 합니다.
구글 코랩 (Google colab)의 런타임 연결 끊김을 방지하는 방법
구글 코랩 (Google colab) 은 90분 동안 아무런 interaction이 없거나, 총 12시간의 세션 timeout이 존재합니다.
Google Colaboratory에 대한 간단 팁과 활용법
이번 포스팅에서는 Google Colaboratory (colab)을 활용하여 jupyter notebook을 구글 플랫폼 내에서 활용하는 방법에 대하여 팁을 드리도록 하겠습니다.
keras
딥러닝(LSTM)을 활용하여 삼성전자 주가 예측을 해보았습니다
본 내용을 토대로 코드가 업데이트 되었습니다. 최신글을 확인해 주세요
[Keras] 콜백함수 (3) - 조기종료: EarlyStopping
EarlyStopping 콜백을 활용하면, model의 성능 지표가 설정한 epoch동안 개선되지 않을 때 조기 종료할 수 있습니다. EarlyStopping과 이전에 언급한 ModelCheckpoint 콜백의 조합을 통하여, 개선되지 않는 학습에 대한 조기 종료를 실행하고, Mo...
[Keras] 콜백함수 (2) - weight 중간 저장: ModelCheckpoint
keras의 콜백함수인 ModelCheckpoint는 모델이 학습하면서 정의한 조건을 만족했을 때 Model의 weight 값을 중간 저장해 줍니다. 학습시간이 꽤 오래걸린다면, 모델이 개선된 validation score를 도출해낼 때마다 weight를 중간 저장함으로써, 혹시 ...
[Keras] 콜백함수 (1) - 학습률(learning rate): ReduceLROnPlateau
keras의 콜백함수인 ReduceLROnPlateau는 학습률이 개선되지 않을 때, 학습률을 동적으로 조정하여 학습률을 개선하는 효과를 기대할 수 있습니다. 경사하강법에 의하여 학습을 하는 경우 Local Minima에 빠져버리게 되면, 더이상 학습률이 개선되지 않고 정체되거나,...
[Keras] 손실함수(Loss Function)와 평가지표(metric) 커스텀하기
이번 포스팅에서는 Keras 딥러닝 프레임워크 활용시 loss function과 metric 을 커스텀하는 방법에 대하여 다뤄보도록 하겠습니다.
keras를 활용한 word2vec pre-trained 모델을 로딩하여 IMDB 감정분석 분류문제 해결하기
이번 포스팅에서는 keras api를 활용하여 텍스트에 대한 전처리(Tokenization)와 Word Embdding, 그리고 구글이 공개한 word2vec (Google News 300) 모델을 다운로드 받아, pre-trained 모델을 통해 IMDB 데이터의 감정을 분류하는...
Tensorflow, Keras, Pytorch GPU 사용여부 체크하기
딥러닝 프레임워크에서 GPU 사용여부를 체크할 수 있는 API에 대하여 알려드리도록 하겠습니다.
lstm
[pytorch] 토큰화(Tokenizing), Embedding + LSTM 모델을 활용한 텍스트 분류 예측
이번 튜토리얼에서는 sarcasm 데이터셋을 활용하여 뉴스 기사의 제목(headline) 텍스트를 학습하여 sarcastic(1) 인지 normal(0) 인지 판별하는 텍스트 분류기를 생성하고, 학습 및 추론까지 진행합니다.
[pytorch] LSTM 입력 텐서와 출력 텐서의 shape 이해
pytorch에서 LSTM 입출력 텐서의 shape 때문에 애를 먹었습니다. 입출력 텐서의 shape에 대해서 명확히 인지하고 있어야 모델 구성시 에러를 최소화 할 수 있습니다.
bbc-text.csv 데이터셋을 활용한 BBC 뉴스 아티클 카테고리 분류기 만들기
BBC 뉴스 아티클 묶음 데이터셋인 bbc-text.csv 파일을 활용하여 TensorFlow 의 Tokenizer로 단어 사전을 만들고 자연어 처리 모델 학습을 위한 데이터 전처리를 진행해 보겠습니다. bbc-text.csv 파일을 pandas로 읽어와서 데이터프레임 변환 후 라...
LSTM과 FinanceDataReader API를 활용한 삼성전자 주가 예측
이번 튜토리얼에서는 딥러닝 모델을 활용하여 삼성전자 주가 예측을 진행해 보겠습니다.
[tensorflow] LSTM layer 활용법
시계열 데이터 그리고 NLP에서 흔히 사용되는 LSTM Layer의 주요 Hyper Parameter에 대하여 알아보고, 많이 헷갈려 하시는 input_shape 지정과 결과 값 (output)에 대해서도 직접 실행해 보면서 어떻게 동작하는지 살펴보도록 하겠습니다.
[tensorflow] 단어 토큰화, Embedding, LSTM layer를 활용한 뉴스 데이터 sarcasm 판단
캐글의 뉴스의 Sarcasm 에 대한 판단을 해주는 딥러닝 모델을 tensorflow 2.0을 활용하여 만들어 보겠습니다.
딥러닝(LSTM)을 활용하여 삼성전자 주가 예측을 해보았습니다
본 내용을 토대로 코드가 업데이트 되었습니다. 최신글을 확인해 주세요
gpt
OpenAI API 모델 리스트 / 요금표
최신 버전의 업데이트 된 OpenAI Model 리스트와 API 사용요금(Pricing) 입니다.
[2024년 UPDATE] OpenAI Python API 튜토리얼 - Whisper API를 사용하여 TTS, STT 구현하기(3)
이번 튜토리얼은 OpenAI 의 Whisper API 를 사용하여 음성을 텍스트로 변환하는 STT, 그리고 텍스트를 음성으로 변환하는 방법에 대해 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 튜토리얼 - DALL·E를 사용하여 이미지 생성, 수정, 다양화하기(2)
이번 튜토리얼은 OpenAI 의 DALL·E 의 Python API 사용법을 다룹니다. 이번 튜토리얼을 통하여 이미지 생성, 수정, 다양화 하는 방법에 대해 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 튜토리얼 - 채팅(chat) 함수 사용하기(1)
이번 튜토리얼 부터는 시리즈 형식으로 OpenAI 에서 지난 2023년 11월에 1.x.x 로 판올림하여 공개한 API 의 사용법에 대해서 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 키 발급방법, 요금체계
이번 튜토리얼은 OpenAI 의 Python API 키를 발급받는 방법과 요금 체계에 대해 알아보겠습니다.
AutoGPT 설치 및 실행 방법
인간의 일을 전부 대체할 수 있는 범용 인공지능의 시작점 이라 불리는 새로운 AI 프로그램이 등장했는데요, 그건 바로 AutoGPT 프로젝트 입니다.
뽀로로(PORORO) 자연어처리 라이브러리 활용기 (dev. and maintained by 카카오 브레인(Kakao Brain) PORORO팀)
카카오 브레인(Kakao Brain) 에서 개발한 자연어처리 종합 선물 세트
Python
[Assistants API] Code Interpreter, Retrieval, Functions 활용법
OpenAI의 새로운 Assistants API는 대화와 더불어 강력한 도구 접근성을 제공합니다. 본 튜토리얼은 OpenAI Assistants API를 활용하는 내용을 다룹니다. 특히, Assistant API 가 제공하는 도구인 Code Interpreter, Retrieval...
[LangChain] 에이전트(Agent)와 도구(tools)를 활용한 지능형 검색 시스템 구축 가이드
이 글에서는 LangChain 의 Agent 프레임워크를 활용하여 복잡한 검색과 데이터 처리 작업을 수행하는 방법을 소개합니다. LangSmith 를 사용하여 Agent의 추론 단계를 추적합니다. Agent가 활용할 검색 도구(Tavily Search), PDF 기반 검색 리트리버...
LangChain Expression Language(LCEL) 원리 이해와 파이프라인 구축 가이드
이 블로그 글에서는 LangChain Expression Language(LCEL) 원리 이해와 LCEL 에 기반한 파이프라인 구축의 기본을 소개합니다.
[LangChain] 문장을 파이썬 코드로, 이미지를 파이썬 코드로 변경하는 방법
이번 튜토리얼에는 langchain 라이브러리와 GPT-4 모델을 사용하여 문장을 파이썬 코드로 변경 및 실행하고, 이미지를 이해하고 이를 파이썬 코드로 변경하는 방법을 다룹니다.
LangGraph - Multi-Agent Collaboration(다중 협업 에이전트) 로 복잡한 테스크를 수행하는 LLM 어플리케이션 제작
LangChain 에서 야심차게 LangGraph 를 새롭게 출시하였습니다. LangGraph 라이브러리가 출시하게 된 가장 큰 이유는 “복잡한 문제들은 단일 AI 에이전트만으로 해결하기 어렵다” 라는 문장에서 시작합니다.
Gemini API를 활용한 이상 탐지: 임베딩으로 데이터셋 분석하기
이 글에서는 Gemini API를 사용하여 데이터셋에서 이상치를 탐지하는 방법을 알아봅니다. 그리고 임베딩과 t-SNE를 활용한 데이터 시각화 및 이상치 탐지 과정을 단계별로 설명합니다.
Google Gemini Pro API를 활용한 문서 검색 및 임베딩 가이드
Google의 Gemini API로 임베딩을 생성하고 문서 검색하는 방법을 다룹니다.
전처리
torchtext를 활용한 텍스트 데이터 전처리 방법
torchtext는 pytorch 모델에 주입하기 위한 텍스트 데이터셋을 구성하기 편하게 만들어 주는 데이터 로더(Data Loader) 입니다. torchtext 를 활용하여 CSV, TSV, JSON 등의 정형 데이터셋을 쉽게 로드하도록 도와주는 TabularDataset 클래...
판다스(Pandas) .groupby()로 할 수 있는 거의 모든 것! (통계량, 전처리)
판다스(Pandas)의 .groupby() 기능은 데이터를 그룹별로 분할하여 독립된 그룹에 대하여 별도로 데이터를 처리(혹은 적용)하거나 그룹별 통계량을 확인하고자 할 때 유용한 함수 입니다.
구글 코랩(Google Colab)에서 Mecab 형태소 분석기, konlpy 쉽게 설치하기
Google Colab (구글 코랩) 에서 Mecab 형태소 분석기 설치 과정이 복잡하기 때문에 배시 스크립트(bash script)로 만들어 코드 1줄 실행으로 복잡한 설치 과정을 건너뛸 수 있도록 만들었습니다.
scikit-learn 데이터 전처리
데이터 전처리는 데이터 분석 및 머신러닝 학습을 위해서 매우 중요한 단계 입니다. 실무 프로젝트에서는 전체 프로젝트 기간 중 평균 50~70% 이상 시간을 전처리 및 EDA에 투자한다고 합니다. 그만큼 좋은 전처리를 하면 할수록 좋은 성능을 내는 머신러닝 모델을 만들 수 있습니다.
Pandas와 scikit-learn으로 정말 간단한 pre-processing 몇 가지 팁
캐글 (Kaggle) 의 Titanic: Machine Learning from Disaster 의 train 데이터를 활용해 간단한 시각화 및 빠진 데이터 pre-processing 그리고 간단한 Normalization까지 해보도록 하겠습니다. Train 데이터는 윗 줄의 링크...
cnn
PyTorch 로컬이미지 로드(ImageFolder) 후, DataLoader 생성 및 CNN이미지 분류 모델 생성, 학습, 검증 성능 측정하기
로컬 이미지 폴더에서 ImageFolder를 사용하여 이미지 데이터셋을 로드하고, CNN으로 구성된 모델을 생성, 학습, 예측, 검증 성능을 측정하는 방법을 알아보겠습니다.
[tensorflow] VGG16 Transfer Learning 구현과 CNN 모델과 성능 비교
Tranfer Learning은 사전 학습된 모델을 활용하는 방법입니다. 사전 학습된 모델은 방대한 데이터에 대하여 이미 학습된 모델이기 떄문에 적은 학습 cost로 좋은 성능을 이끌어 낼 수 있습니다.
[tensorflow] ImageDataGenerator / Convolution Neural Network(CNN) 을 활용한 이미지 분류
TensorFlow 2.0의 ImageDataGenerator를 활용하여 Image 데이터를 로컬 폴더에서 로딩 후 Generator를 통해 Image Augmentation과 모델에 Feed 할 수 있는 Generator를 만들어 보도록 하겠습니다.
Conv2d layer를 겹겹이 쌓을 때 최종 output volume 계산법
이번 포스팅에서는 torch 를 이용하여 CNN(Convolution Neural Network) 에서 convolution layer를 겹겹이 쌓았을 때 최종 output volume size를 구하는 방법에 대하여 알아 보겠습니다.
Google Colaboratory에 대한 간단 팁과 활용법
이번 포스팅에서는 Google Colaboratory (colab)을 활용하여 jupyter notebook을 구글 플랫폼 내에서 활용하는 방법에 대하여 팁을 드리도록 하겠습니다.
Tensorflow를 활용하여 Mnist data classification을 CNN으로 구현
이번 포스팅에서는 Google Tensorflow의 웹사이트의 Demo에 나와 있는 가이드라인에 따라, tensorflow 라이브러리를 활용하여 구현해 보도록 하겠습니다.
aws
aws ec2(ubuntu 18.04)에서 flask와 nginx 설정하기
AWS의 EC2 인스턴스를 열고, ubuntu 18.04에서 Python으로 Flask 앱을 만든 후 nginx 설정하여 내가 호스팅하고 싶은 도메인과 연결하여 80포트에서 접속가능하도록 설정하는 방법에 대해서 알아보도록 하겠습니다.
[Linux] tmux로 terminal을 닫아도 서비스 백그라운드 실행
django 서버를 임시로 AWS에서 띄워놓고 테스트하고자 할 때, AWS EC2 instance에 접속한 터미널을 닫더라도 계속 서버가 돌아가게끔 하고 싶을 때가 있습니다.
Visual Studio Code에서 ftp-simple 플러그인을 활용하여 AWS 인스턴스 code 원격(remote) 작업
요즘 AWS의 EC2인스턴스에 원격으로 작업할 일이 많아졌다. 기존에는 git에 소스코드를 push한 뒤 EC2인스턴스에서 업데이트 된 소스코드를 pull해서 작업하는 원시적인 방법을 사용했었다. 근데 Visual Studio Code + ftp-simple 플러그인을 활용하여 이...
python django 프로젝트를 아마존(aws) ec2 인스턴스에 생성 및 원격접속
python 으로 django 프로젝트를 생성해서 작업할 일이 생겼다. 로컬에서 작업하는 것보다 amazon aws에 ec2 인스턴스에 셋팅을 한 뒤에 Visual Studio Code의 ftp-simple 플러그인을 활용해서 remote workplace에서 작업을 해보기로 결정...
아마존 AWS에서 생성한 인스턴스와 도메인 네임서버(가비아/cafe24) 설정하기
아마존 AWS에 워드프레서 AMI(무료 인스턴스)를 생성하고, 이를 이전에 미리 구매한 도메인과 네임서버 연결하는 작업을 해 보았습니다. 우선, 워드프레스 호스팅을 위하여 아마존에 인스턴스를 생성하고 셋업하는 과정은 매우 간단하였고 불과 10분남짓이면 생성할 수 있었습니다. 이에 ...
AWS에서 딥러닝 인스턴스 만들고 jupyter notebook 실행까지!
Deep learning 을 모델 학습을 위해서 high computing power가 필수 입니다. 아마존의 AWS를 통해 ‘Tesla K80’ GPU를사용하여 학습할 수 있는 인스턴스를 만들고 jupyter notebook 을 실행시켜 아마존 EC2 인스턴스에서 학습시키는 방법...
책 추천
[2023년 업데이트] 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 - 데이터분석편
지난 2020년에 작성한 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1), 글과 후속 글인 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2) 을 많이 읽어 주셔서 감사드립니다. 작성 당시에는 가벼운 마음으로 개인...
인공지능? 모를수도 있지! 책 리뷰
이번 포스팅에서는 Algorima에서 집필한 인공지능? 모를수도 있지! 책 리뷰를 해보도록 하겠습니다.
무료 E-Book 소개 - Python, 데이터분석, SQL, 정규식 표현
이번 포스팅에서는 yes24.com 에서 2021년 6월 9일 기준 무료로 제공되는 e-book 중 Python, 데이터분석, SQL, 정규식 표현 등에 도움이 되는 책과 링크들을 정리하여 공유 드려 보고자 합니다. 본 포스팅은 광고글은 아니며, 언제까지 무료로 제공될지는 모릅니다...
처음 만나는 AI수학 with 파이썬 책 리뷰 - 수포자, 비전공자를 위한 수학
이번 포스팅에서는 처음 만나는 AI수학 with 파이썬 책 리뷰를 해보도록 하겠습니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
colab
구글 코랩(Google Colab)에서 Mecab 형태소 분석기, konlpy 쉽게 설치하기
Google Colab (구글 코랩) 에서 Mecab 형태소 분석기 설치 과정이 복잡하기 때문에 배시 스크립트(bash script)로 만들어 코드 1줄 실행으로 복잡한 설치 과정을 건너뛸 수 있도록 만들었습니다.
Colab에서 구글 드라이브(Google Drive) 압축파일 다운로드 쉽게하기 (코드 3줄!)
데이콘(dacon.io) 경진대회 데이터셋은 아래 이미지와 같이 대부분 구글 드라이브 download 링크로 제공합니다.
원격 서버 Jupyter Notebook에서 TensorBoard(텐서보드) 로드 하기
tensorboard는 딥러닝 프레임워크에서 모델이 학습되는 과정을 실시간으로 모니터링 할 수 있는 강력한 툴입니다.
[tensorflow] GradientTape의 활용법
TensorFlow 2.0의 자동 미분 기능인 GradientTape에 대하여 알아보겠습니다.
Google Colab에서 python 패키지를 영구적(permanently)으로 설치하는 방법
Colab에서 영구적(permanently)으로 파이썬 패키지를 설치(install) 하는 방법에 대하여 공유드리고자 합니다.
구글 코랩 (Google colab)의 런타임 연결 끊김을 방지하는 방법
구글 코랩 (Google colab) 은 90분 동안 아무런 interaction이 없거나, 총 12시간의 세션 timeout이 존재합니다.
한글
도커(docker)로 한글 패키지가 설치된 주피터 노트북(jupyter notebook) 실행하기
이번에 배포한 teddylee777/datascience-notebook 도커 이미지는 파이썬(Python) 기반의 데이터 분석, 머신러닝 패키지가 설치되어 있는 노트북 도커(docker) 이미지 입니다.
torchtext를 활용한 텍스트 데이터 전처리 방법
torchtext는 pytorch 모델에 주입하기 위한 텍스트 데이터셋을 구성하기 편하게 만들어 주는 데이터 로더(Data Loader) 입니다. torchtext 를 활용하여 CSV, TSV, JSON 등의 정형 데이터셋을 쉽게 로드하도록 도와주는 TabularDataset 클래...
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
한글 자연어 처리 패키지가 포함된 딥러닝 전용 도커 배포 (손쉬운 설치 및 실행)
최신 버전의 GPU를 활용한 학습이 가능한 딥러닝 도커를 구성하여 배포하게 되었습니다. (배포날짜는 2022년 07월 20일 기준입니다)
구글 코랩(Google Colab)에서 Mecab 형태소 분석기, konlpy 쉽게 설치하기
Google Colab (구글 코랩) 에서 Mecab 형태소 분석기 설치 과정이 복잡하기 때문에 배시 스크립트(bash script)로 만들어 코드 1줄 실행으로 복잡한 설치 과정을 건너뛸 수 있도록 만들었습니다.
캐글 노트북(Kaggle Notebook) 도커에 한글 자연어처리 패키지를 추가한 딥러닝 도커 배포, 설치 및 실행
캐글 노트북(Kaggle Notebook) 커널로도 유명한 도커인 Kaggle/docker-python의 GPU Docker(gpu.Dockerfile)를 기반으로 구성하였습니다. Kaggle에서 공개한 도커 이미지는 한글 폰트, 자연어처리 패키지, 형태소 분석기 등이 누락되어 있...
chatgpt
LangChain으로 네이버 뉴스 기반 Q&A 애플리케이션 구축하기 - 기본편
LangChain을 활용하여 간단하게 네이버 뉴스기사를 바탕으로 Q&A 애플리케이션을 만드는 방법을 다룹니다.
OpenAI API 모델 리스트 / 요금표
최신 버전의 업데이트 된 OpenAI Model 리스트와 API 사용요금(Pricing) 입니다.
Google Bard 파이썬(Python) API 활용
이번 포스팅에서는 구글 바드(Google Bard) 의 파이썬(Python) API 사용법에 대해 알아보겠습니다.
ChatGPT openai 파이썬(python) 모듈을 활용한 챗봇 구현
이번 포스팅에서는 openai 사의 ChatGPT 기능을 파이썬(python) 모듈을 활용하여 챗봇 을 구현하는 방법에 대하여 알아보겠습니다.
영문 뉴스기사 크롤링 후 ChatGPT(OpenAI API) 기사 요약 및 한글 번역하기
이번 튜토리얼에서는 investing.com 의 뉴스기사를 크롤링 후 ChatGPT로 영문 뉴스기사를 요약하고, 이를 한글로 번역하는 튜토리얼을 진행해 보겠습니다.
OPENAI API(ChatGPT)를 활용한 블로그 생성 자동화
이번 포스팅에서는 OPENAI의 API를 활용하여 ChatGPT 의 텍스트 생성 모델인 text-davinci-003로 주제와 세부요구사항에 맞게 자동으로 블로그를 생성하고 이를 GitHub Pages에 블로그로 포스팅으로 자동 배포하는 튜토리얼을 진행해 보도록 하겠습니다.
가상환경
[2023년 업데이트] 구글 텐서플로 개발자 자격인증 시험을 위한 환경설치(PyCharm, 필요 라이브러리 설치)
본 포스팅은 Google TensorFlow Developers Certificate 자격인증 시험을 위한 환경설치를 위한 내용입니다.
실리콘(M1, M2) 맥(Mac) OS 에서 텐서플로(TensorFlow) 설치 방법
실리콘(M1, M2) 맥(Mac) 사용하는 유저가 최근 1~2년 안에 급격하게 늘어나면서, m1, m2 칩셋을 사용하는 맥 사용자를 위한 가상 환경 설치와 TensorFlow 설치에 대한 문의가 많았습니다. 아쉽게도 그동안 제가 실리콘 맥이 없어 직접 테스트를 해볼 수 없었기 때문...
[Linux] Python(.py)을 가상환경(virtualenv)에서 주기별로 실행하기
python으로 주기적으로 크롤링 작업을 하거나, 또는 기타 여러가지 상황때문에 .py 파일을 리눅스 환경에서 주기적으로 실행하고 싶은 경우가 있을 겁니다. 그리고 대부분 .py 파일별로 다른 가상환경에서 .py를 실행시켜야 하는 경우도 있을 겁니다.
Anaconda를 활용한 python 가상환경(virtual env) 설정하기
이번 포스팅에서는 Python을 활용하여 개발 / 혹은 jupyter notebook을 사용할 때 필수인 가상환경 (Virtual Environment) 설정하는 법에 대한 팁과 간단한 강좌를 공유해 드리도록 하겠습니다.
파이썬(Python) 가상환경 설정하기
Python(파이썬) 개발시 필수 환경설정인 가상환경 설치 및 설정하기에 대해 알아보겠다.
아나콘다
poetry 의 거의 모든것 (튜토리얼)
Python 개발에 있어서 poetry는 매우 강력한 도구로, 프로젝트의 의존성 관리와 패키지 배포를 간소화하는 데 큰 도움을 줍니다. 지금부터 poetry 활용 튜토리얼을 살펴 보겠습니다.
PowerShell에서 아나콘다(Anaconda) 환경 설정하기
이번 포스팅에서는 PowerShell에서 Anaconda 환경을 사용하는 방법 에 대해 소개하려고 합니다.
jupyter notebook remote 접속 허용 설정
Jupyter Notebook을 원격에서 접속하려고 할 때 셋팅하는 방법에 대해 알아보겠습니다.
Anaconda를 활용한 python 가상환경(virtual env) 설정하기
이번 포스팅에서는 Python을 활용하여 개발 / 혹은 jupyter notebook을 사용할 때 필수인 가상환경 (Virtual Environment) 설정하는 법에 대한 팁과 간단한 강좌를 공유해 드리도록 하겠습니다.
파이썬(Python) 가상환경 설정하기
Python(파이썬) 개발시 필수 환경설정인 가상환경 설치 및 설정하기에 대해 알아보겠다.
ubuntu
Ubuntu의 Docker환경에서 matplotlib 한글폰트 설치 및 적용
Ubuntu 의 Docker 환경으로 Jupyter Notebook 서버를 돌리고 있을 때 matplotlib 한글 깨짐 현상이 종종일어납니다. 이럴 땐 한 번 한글폰트 설치 후 Image를 백업시키는 것도 방법이 될 수 있습니다.
Ubuntu 18.04 CUDA 10.2 에서 10.0으로 Downgrade 하기
Ubuntu 18.04 환경을 기준으로 CUDA 10.2 에서 CUDA 10.0으로 clean 삭제 후 재설치 하는 과정에 대한 내용입니다.
ubuntu에서 패키지 설치시 mirror를 kakao로 변경하는 방법
ubuntu 환경에서 패키지 설치시 (특히 apt-get을 이용한 패키지 설치시) 에러가 나는 경우가 있는데, 이는 보통 mirror 사이트를 변경해주는 것으로 해결할 수 있다.
딥러닝 PC에 Ubuntu 18.04 설치 후 CUDA 10, cuDNN 설치하기
Amazon AWS에서 좋은 GPU 자원으로 딥러닝을 돌리다보니 요금폭탄을 맞았습니다.. 그래서 이참에 딥러닝 PC를 구매를 하게 되었고 딥러닝 서버를 위한 CUDA 및 cuDNN까지 설치하는 방법에 대하여 알려드리고자 합니다.
aws ec2(ubuntu 18.04)에서 flask와 nginx 설정하기
AWS의 EC2 인스턴스를 열고, ubuntu 18.04에서 Python으로 Flask 앱을 만든 후 nginx 설정하여 내가 호스팅하고 싶은 도메인과 연결하여 80포트에서 접속가능하도록 설정하는 방법에 대해서 알아보도록 하겠습니다.
cudnn
우분투(ubuntu 20.04) 에서 기존의 CUDA 설치버전 업데이트 하는 방법
본 포스팅은 Ubuntu 20.04 환경에서 기존에 설치된 CUDA 11.2 버전을 클린 삭제 후 CUDA 11.8 로 업그레이드 하는 과정을 담고 있습니다. CUDA 가 설치가 되어 있지 않은 서버에서도 동일하게 진행할 수 있습니다.
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
Tensorflow, Keras, Pytorch GPU 사용여부 체크하기
딥러닝 프레임워크에서 GPU 사용여부를 체크할 수 있는 API에 대하여 알려드리도록 하겠습니다.
Ubuntu 18.04 CUDA 10.2 에서 10.0으로 Downgrade 하기
Ubuntu 18.04 환경을 기준으로 CUDA 10.2 에서 CUDA 10.0으로 clean 삭제 후 재설치 하는 과정에 대한 내용입니다.
딥러닝 PC에 Ubuntu 18.04 설치 후 CUDA 10, cuDNN 설치하기
Amazon AWS에서 좋은 GPU 자원으로 딥러닝을 돌리다보니 요금폭탄을 맞았습니다.. 그래서 이참에 딥러닝 PC를 구매를 하게 되었고 딥러닝 서버를 위한 CUDA 및 cuDNN까지 설치하는 방법에 대하여 알려드리고자 합니다.
케라스
딥러닝(LSTM)을 활용하여 삼성전자 주가 예측을 해보았습니다
본 내용을 토대로 코드가 업데이트 되었습니다. 최신글을 확인해 주세요
[Keras] 콜백함수 (3) - 조기종료: EarlyStopping
EarlyStopping 콜백을 활용하면, model의 성능 지표가 설정한 epoch동안 개선되지 않을 때 조기 종료할 수 있습니다. EarlyStopping과 이전에 언급한 ModelCheckpoint 콜백의 조합을 통하여, 개선되지 않는 학습에 대한 조기 종료를 실행하고, Mo...
[Keras] 콜백함수 (2) - weight 중간 저장: ModelCheckpoint
keras의 콜백함수인 ModelCheckpoint는 모델이 학습하면서 정의한 조건을 만족했을 때 Model의 weight 값을 중간 저장해 줍니다. 학습시간이 꽤 오래걸린다면, 모델이 개선된 validation score를 도출해낼 때마다 weight를 중간 저장함으로써, 혹시 ...
[Keras] 콜백함수 (1) - 학습률(learning rate): ReduceLROnPlateau
keras의 콜백함수인 ReduceLROnPlateau는 학습률이 개선되지 않을 때, 학습률을 동적으로 조정하여 학습률을 개선하는 효과를 기대할 수 있습니다. 경사하강법에 의하여 학습을 하는 경우 Local Minima에 빠져버리게 되면, 더이상 학습률이 개선되지 않고 정체되거나,...
[Keras] 손실함수(Loss Function)와 평가지표(metric) 커스텀하기
이번 포스팅에서는 Keras 딥러닝 프레임워크 활용시 loss function과 metric 을 커스텀하는 방법에 대하여 다뤄보도록 하겠습니다.
dataframe
Pandas 데이터프레임 출력결과 및 표기옵션 수정(컬럼, 행 최대 출력, 콤마 구분자, 과학표기법)
판다스(Pandas) 데이터프레임(DataFrame)의 출력결과 표기형식을 설정할 수 있는 다양한 옵션들에 대해 알아보겠습니다.
로또 1회부터 최신회차까지 크롤링한 뒤 파일 저장하기(requests, beautifulsoup4)
본 내용은 로또 사이트(동행복권) 에서 로또의 1회차 부터 최신회차까지 당첨번호, 보너스번호,당첨일자등의 정보를 크롤링 하여 데이터프레임으로 변환하고 CSV 파일형식으로 저장하는 튜토리얼입니다.
#05-Pandas(판다스) DataFrame의 복사(Copy)와 결측치(NaN values) 처리
이번 에피소드에서는 Pandas 데이터프레임(DataFrame) 의 복사(Copy)와 중요한 전처리 Task 중의 하나인 결측치 처리 에 대해서 알아보겠습니다.
#03-Pandas(판다스) 데이터프레임(DataFrame) 조회, 정렬(sort), 조건필터(loc, iloc)
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 많이 사용하는 기능인 조회, 정렬 그리고 조건필터 입니다.
#01-Pandas(판다스) 기본 자료구조
Pandas(판다스) 는 막강한 오픈소스 데이터 분석 도구 입니다. Pandas는 업무자동화, 크롤링(Crawling), 데이터베이스 입출력, 시계열 데이터분석, 시각화 등등 다양한 분야에 활용할 수 있는 방대한 기능을 갖추고 있습니다. Pandas의 DataFrame은 Micro...
openai
LangGraph Retrieval Agent를 활용한 동적 문서 검색 및 처리
LangGraph Retrieval Agent는 언어 처리, AI 모델 통합, 데이터베이스 관리, 그래프 기반 데이터 처리 등 다양한 기능을 제공하여 언어 기반 AI 애플리케이션 개발에 필수적인 도구입니다.
LangChain으로 네이버 뉴스 기반 Q&A 애플리케이션 구축하기 - 기본편
LangChain을 활용하여 간단하게 네이버 뉴스기사를 바탕으로 Q&A 애플리케이션을 만드는 방법을 다룹니다.
ChatGPT openai 파이썬(python) 모듈을 활용한 챗봇 구현
이번 포스팅에서는 openai 사의 ChatGPT 기능을 파이썬(python) 모듈을 활용하여 챗봇 을 구현하는 방법에 대하여 알아보겠습니다.
영문 뉴스기사 크롤링 후 ChatGPT(OpenAI API) 기사 요약 및 한글 번역하기
이번 튜토리얼에서는 investing.com 의 뉴스기사를 크롤링 후 ChatGPT로 영문 뉴스기사를 요약하고, 이를 한글로 번역하는 튜토리얼을 진행해 보겠습니다.
OPENAI API(ChatGPT)를 활용한 블로그 생성 자동화
이번 포스팅에서는 OPENAI의 API를 활용하여 ChatGPT 의 텍스트 생성 모델인 text-davinci-003로 주제와 세부요구사항에 맞게 자동으로 블로그를 생성하고 이를 GitHub Pages에 블로그로 포스팅으로 자동 배포하는 튜토리얼을 진행해 보도록 하겠습니다.
LangChain
[LangChain] 에이전트(Agent)와 도구(tools)를 활용한 지능형 검색 시스템 구축 가이드
이 글에서는 LangChain 의 Agent 프레임워크를 활용하여 복잡한 검색과 데이터 처리 작업을 수행하는 방법을 소개합니다. LangSmith 를 사용하여 Agent의 추론 단계를 추적합니다. Agent가 활용할 검색 도구(Tavily Search), PDF 기반 검색 리트리버...
LangChain RAG 파헤치기: 문서 기반 QA 시스템 설계 방법 - 심화편
LangChain의 RAG 시스템을 통해 문서(PDF, txt, 웹페이지 등)에 대한 질문-답변을 찾는 과정을 정리하였습니다.
LangChain으로 네이버 뉴스 기반 Q&A 애플리케이션 구축하기 - 기본편
LangChain을 활용하여 간단하게 네이버 뉴스기사를 바탕으로 Q&A 애플리케이션을 만드는 방법을 다룹니다.
LangChain Expression Language(LCEL) 원리 이해와 파이프라인 구축 가이드
이 블로그 글에서는 LangChain Expression Language(LCEL) 원리 이해와 LCEL 에 기반한 파이프라인 구축의 기본을 소개합니다.
LangGraph - Multi-Agent Collaboration(다중 협업 에이전트) 로 복잡한 테스크를 수행하는 LLM 어플리케이션 제작
LangChain 에서 야심차게 LangGraph 를 새롭게 출시하였습니다. LangGraph 라이브러리가 출시하게 된 가장 큰 이유는 “복잡한 문제들은 단일 AI 에이전트만으로 해결하기 어렵다” 라는 문장에서 시작합니다.
합성곱신경망
PyTorch 로컬이미지 로드(ImageFolder) 후, DataLoader 생성 및 CNN이미지 분류 모델 생성, 학습, 검증 성능 측정하기
로컬 이미지 폴더에서 ImageFolder를 사용하여 이미지 데이터셋을 로드하고, CNN으로 구성된 모델을 생성, 학습, 예측, 검증 성능을 측정하는 방법을 알아보겠습니다.
[tensorflow] ImageDataGenerator / Convolution Neural Network(CNN) 을 활용한 이미지 분류
TensorFlow 2.0의 ImageDataGenerator를 활용하여 Image 데이터를 로컬 폴더에서 로딩 후 Generator를 통해 Image Augmentation과 모델에 Feed 할 수 있는 Generator를 만들어 보도록 하겠습니다.
Conv2d layer를 겹겹이 쌓을 때 최종 output volume 계산법
이번 포스팅에서는 torch 를 이용하여 CNN(Convolution Neural Network) 에서 convolution layer를 겹겹이 쌓았을 때 최종 output volume size를 구하는 방법에 대하여 알아 보겠습니다.
Tensorflow를 활용하여 Mnist data classification을 CNN으로 구현
이번 포스팅에서는 Google Tensorflow의 웹사이트의 Demo에 나와 있는 가이드라인에 따라, tensorflow 라이브러리를 활용하여 구현해 보도록 하겠습니다.
아마존
aws ec2(ubuntu 18.04)에서 flask와 nginx 설정하기
AWS의 EC2 인스턴스를 열고, ubuntu 18.04에서 Python으로 Flask 앱을 만든 후 nginx 설정하여 내가 호스팅하고 싶은 도메인과 연결하여 80포트에서 접속가능하도록 설정하는 방법에 대해서 알아보도록 하겠습니다.
Visual Studio Code에서 ftp-simple 플러그인을 활용하여 AWS 인스턴스 code 원격(remote) 작업
요즘 AWS의 EC2인스턴스에 원격으로 작업할 일이 많아졌다. 기존에는 git에 소스코드를 push한 뒤 EC2인스턴스에서 업데이트 된 소스코드를 pull해서 작업하는 원시적인 방법을 사용했었다. 근데 Visual Studio Code + ftp-simple 플러그인을 활용하여 이...
python django 프로젝트를 아마존(aws) ec2 인스턴스에 생성 및 원격접속
python 으로 django 프로젝트를 생성해서 작업할 일이 생겼다. 로컬에서 작업하는 것보다 amazon aws에 ec2 인스턴스에 셋팅을 한 뒤에 Visual Studio Code의 ftp-simple 플러그인을 활용해서 remote workplace에서 작업을 해보기로 결정...
아마존 AWS에서 생성한 인스턴스와 도메인 네임서버(가비아/cafe24) 설정하기
아마존 AWS에 워드프레서 AMI(무료 인스턴스)를 생성하고, 이를 이전에 미리 구매한 도메인과 네임서버 연결하는 작업을 해 보았습니다. 우선, 워드프레스 호스팅을 위하여 아마존에 인스턴스를 생성하고 셋업하는 과정은 매우 간단하였고 불과 10분남짓이면 생성할 수 있었습니다. 이에 ...
데이터셋
Gemini API를 활용한 이상 탐지: 임베딩으로 데이터셋 분석하기
이 글에서는 Gemini API를 사용하여 데이터셋에서 이상치를 탐지하는 방법을 알아봅니다. 그리고 임베딩과 t-SNE를 활용한 데이터 시각화 및 이상치 탐지 과정을 단계별로 설명합니다.
torchtext를 활용한 텍스트 데이터 전처리 방법
torchtext는 pytorch 모델에 주입하기 위한 텍스트 데이터셋을 구성하기 편하게 만들어 주는 데이터 로더(Data Loader) 입니다. torchtext 를 활용하여 CSV, TSV, JSON 등의 정형 데이터셋을 쉽게 로드하도록 도와주는 TabularDataset 클래...
[pytorch] MNIST dataset loading 하기
pytorch 에서 각 종 Datasets에 대하여 제공해줍니다.
dataset
torchtext를 활용한 텍스트 데이터 전처리 방법
torchtext는 pytorch 모델에 주입하기 위한 텍스트 데이터셋을 구성하기 편하게 만들어 주는 데이터 로더(Data Loader) 입니다. torchtext 를 활용하여 CSV, TSV, JSON 등의 정형 데이터셋을 쉽게 로드하도록 도와주는 TabularDataset 클래...
PyTorch Dataset을 상속받은 사용자 정의 이미지 데이터셋(CustomImageDataset) 구성하기
이번 튜토리얼에서는 torch.utils.data.Dataset을 상속 받아 사용자 정의 이미지 데이터셋을 구성하고, 이를 활용하여 DataLoader를 구성하는 방법에 대하여 알아보겠습니다.
[tensorflow] Dataset, batch, window, flat_map을 활용한 loader 만들기
tf.data.Dataset을 활용하여 다양한 Dataset 로더를 만들 수 있습니다. 그리고, 로더를 활용하여, shuffle, batch_size, window 데이터셋 생성등 다양한 종류를 데이터 셋을 상황에 맞게 생성하고 모델에 feed할 수 있도록 제공해 줍니다.
[pytorch] MNIST dataset loading 하기
pytorch 에서 각 종 Datasets에 대하여 제공해줍니다.
패키지
#11-파이썬(Python) 패키지(package)와 모듈(module)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 패키지(package)와 모듈(module)을 다룹니다.
Google Colab에서 python 패키지를 영구적(permanently)으로 설치하는 방법
Colab에서 영구적(permanently)으로 파이썬 패키지를 설치(install) 하는 방법에 대하여 공유드리고자 합니다.
Data Science (데이터 분석)을 위한 python package 리스트(2) - 시각화
Data 분석시 유용하게 쓰이는 시각화 관련 파이썬 라이브러리에 대하여 알아보겠습니다.
Data Science (데이터 분석)을 위한 python package 리스트(1) - 필수 패키지
Python을 활용한 Data Science, 즉 더 구체적으로 얘기하자면, 데이터 분석을 할 때는 다양한 패키지들을 활용하게 됩니다. 초기에 가상환경을 여러개 만들어 놓고 상황에 맞춰 돌아가면서 쓸 수 있습니다.
git
깃헙(GitHub) 웹사이트 기능들로 GitHub 입문하기
Git, GitHub은 프로젝트의 협업을 위해서 꼭 필요한 소스코드 형상 관리 시스템입니다. 형상 관리 시스템은 소스코드의 버전 관리 시스템이라고도 불리웁니다. 다수의 인원이 하나의 프로젝트를 진행할 때, 소스코드의 충돌을 효율적으로 해결하고, 업데이트되는 사항들을 병합해주기도 ...
git clean으로 untracked files 제거하기
git의 untracked files에 단 2개의 명령어로 clean하기 전에 확인하는 방법과 실제 clean하는 방법을 공유드리고자 합니다.
git diff를 gui tool인 p4 merge로 설정하기 (global config)
visual Diff Tool인 P4Merge를 설치하고, 이를 활용하여 git diff를 터미널이나 vim이 아닌 GUI Tool에서 diff를 보거나, merge를 할 수 있도록 global config를 설정하는 방법에 대해 알아보겠습니다.
git alias와 git global config 설정하기
git log에 대해서는 다양한 option들이 존재한다.
seaborn
데이터 분석(pandas, matplotlib) 모듈과 머신러닝/딥러닝 모듈 사용시 자주 사용하는 옵션 정리
데이터 분석이나 머신러닝 프로젝트 진행시 자주 사용하는 옵션 값을 정리 해 보았습니다. 거의 매번 노트북 파일을 만들 때마다 import 를 해주어야 하는데, 저는 하나의 파일에 정리해 두고 필요한 옵션을 찾아서 사용하는 편입니다. 앞으로 유용한 옵션이 있다면 계속 추가해 나갈 예...
Seaborn의 통계 차트 및 데이터 시각화 예제
seaborn은 matplotlib의 상위 호환 데이터 시각화를 위한 라이브러리입니다. seaborn패키지는 데이터프레임으로 다양한 통계 지표를 낼 수 있는 시각화 차트를 제공하기 때문에 데이터 분석에 활발히 사용되고 있는 라이브러리입니다.
2019년 KBO 관객수를 크롤링하여 matplotlib으로 시각화 해보겠습니다
이번 포스팅에서는 2019년 KBO 관객수를 크롤링해보고, matplotlib 라이브러리를 활용하여 시각화 해보도록 하겠습니다.
matplotlib/seaborn으로 시각화할 때 한글 폰트 깨짐현상 해결방법
matplotlib/seaborn 을 활용하여 시각화를 할 때, 한 번씩 필연적으로 겪는 당황스러운 모먼트는 바로 한글 폰트 깨짐 입니다. 데이터를 다룰 때 한글 데이터는 흔히 존재하며, 이를 jupyter notebook 에서 inline으로 시각화하려 한다면, 분명히 깨짐 현상...
crawling
셀레니움(selenium)을 활용한 네이버 환율 정보 크롤링
이번 튜토리얼에서는 네이버의 환율 정보를 크롤링하는 방법에 대해 알아보겠습니다. 이 과정에서 Python의 셀레니움(selenium)을 사용할 예정입니다. 크롤링 과정에서 발생할 수 있는 다양한 오류들을 어떻게 처리 하는지에 대해서도 알아보겠습니다. 튜토리얼 마지막 부분에서는 코드...
로또 1회부터 최신회차까지 크롤링한 뒤 파일 저장하기(requests, beautifulsoup4)
본 내용은 로또 사이트(동행복권) 에서 로또의 1회차 부터 최신회차까지 당첨번호, 보너스번호,당첨일자등의 정보를 크롤링 하여 데이터프레임으로 변환하고 CSV 파일형식으로 저장하는 튜토리얼입니다.
2019년 KBO 관객수를 크롤링하여 matplotlib으로 시각화 해보겠습니다
이번 포스팅에서는 2019년 KBO 관객수를 크롤링해보고, matplotlib 라이브러리를 활용하여 시각화 해보도록 하겠습니다.
뉴스 기사 와 RSS 피드에서 손쉽게 크롤링 하여 정보 수집하기
최근 뉴스 기사를 크롤링하여 군집화 하는 작업을 하기 위해서, 국내 신문기사의 정보들을 크롤링해야하는 작업이 필요하였습니다. request와 BeautifulSoup4를 사용해서 크롤링하는 것은 간단하지만, 언론사 웹사이트 별로 기사의 contents를 표시하는 tag와 class...
cuda
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
Tensorflow, Keras, Pytorch GPU 사용여부 체크하기
딥러닝 프레임워크에서 GPU 사용여부를 체크할 수 있는 API에 대하여 알려드리도록 하겠습니다.
Ubuntu 18.04 CUDA 10.2 에서 10.0으로 Downgrade 하기
Ubuntu 18.04 환경을 기준으로 CUDA 10.2 에서 CUDA 10.0으로 clean 삭제 후 재설치 하는 과정에 대한 내용입니다.
딥러닝 PC에 Ubuntu 18.04 설치 후 CUDA 10, cuDNN 설치하기
Amazon AWS에서 좋은 GPU 자원으로 딥러닝을 돌리다보니 요금폭탄을 맞았습니다.. 그래서 이참에 딥러닝 PC를 구매를 하게 되었고 딥러닝 서버를 위한 CUDA 및 cuDNN까지 설치하는 방법에 대하여 알려드리고자 합니다.
앙상블
머신러닝 실전 앙상블 (Ensemble)과 Hyperparameter 튜닝
머신러닝 알고리즘의 끝판왕인 앙상블(Ensemble) 알고리즘에 대하여 알아보도록 하겠습니다. 앙상블 알고리즘은 방법론 적인 측면에서 Voting, Bagging, Boosting 알고리즘등으로 나뉠 수 있겠고, 앙상블의 앙상블 알고리즘인 Stacking 그리고 Weighted B...
앙상블 학습(ensemble learning)으로 알고리즘 성능 개선하기(3) - Boosting
Boosting 알고리즘 역시 앙상블 학습 (ensemble learning)이며, 약한 학습기를 순차적으로 학습을 하되, 이전 학습에 대하여 잘못 예측된 데이터에 가중치를 부여해 오차를 보완해 나가는 방식입니다.
앙상블 학습(ensemble learning)으로 알고리즘 성능 개선하기(2) - Bagging
Bagging 기반의 앙상블(ensemble) 기법은 이미 널리 사용되고 있는 랜덤포레스트(RandomForest) 알고리즘이 바로 그 대표적인 예 입니다.
앙상블 학습(ensemble learning)으로 알고리즘 성능 개선하기(1) - Voting
Kaggle의 상위 솔루션들만 봐도 알겠지만, 단일 모델로는 어느 정도 성능을 극으로 끌어올리기는 한계가 있습니다. 그렇기 때문에 거의 모든 상위권에 랭크되는 솔루션들을 살펴보면 앙상블 학습(emsemble learning)으로 랭크를 올리는 모습을 볼 수 있습니다. 이번 포스팅에...
ensemble
머신러닝 실전 앙상블 (Ensemble)과 Hyperparameter 튜닝
머신러닝 알고리즘의 끝판왕인 앙상블(Ensemble) 알고리즘에 대하여 알아보도록 하겠습니다. 앙상블 알고리즘은 방법론 적인 측면에서 Voting, Bagging, Boosting 알고리즘등으로 나뉠 수 있겠고, 앙상블의 앙상블 알고리즘인 Stacking 그리고 Weighted B...
앙상블 학습(ensemble learning)으로 알고리즘 성능 개선하기(3) - Boosting
Boosting 알고리즘 역시 앙상블 학습 (ensemble learning)이며, 약한 학습기를 순차적으로 학습을 하되, 이전 학습에 대하여 잘못 예측된 데이터에 가중치를 부여해 오차를 보완해 나가는 방식입니다.
앙상블 학습(ensemble learning)으로 알고리즘 성능 개선하기(2) - Bagging
Bagging 기반의 앙상블(ensemble) 기법은 이미 널리 사용되고 있는 랜덤포레스트(RandomForest) 알고리즘이 바로 그 대표적인 예 입니다.
앙상블 학습(ensemble learning)으로 알고리즘 성능 개선하기(1) - Voting
Kaggle의 상위 솔루션들만 봐도 알겠지만, 단일 모델로는 어느 정도 성능을 극으로 끌어올리기는 한계가 있습니다. 그렇기 때문에 거의 모든 상위권에 랭크되는 솔루션들을 살펴보면 앙상블 학습(emsemble learning)으로 랭크를 올리는 모습을 볼 수 있습니다. 이번 포스팅에...
하이퍼파라미터 튜닝
Optuna를 활용한 하이퍼파라미터 최적화
이번 포스팅에서는 기계 학습 모델의 성능을 극대화하기 위해 하이퍼파라미터 최적화 과정에 대해 깊게 다루려고 합니다.
베이지안 최적화에 기반한 HyperOpt를 활용한 하이퍼 파라미터 튜닝
Baysian Optimization 기반한 하이퍼파라미터 튜닝 라이브러리인 HyperOpt 에 대하여 다뤄보도록 하겠습니다.
머신러닝 실전 앙상블 (Ensemble)과 Hyperparameter 튜닝
머신러닝 알고리즘의 끝판왕인 앙상블(Ensemble) 알고리즘에 대하여 알아보도록 하겠습니다. 앙상블 알고리즘은 방법론 적인 측면에서 Voting, Bagging, Boosting 알고리즘등으로 나뉠 수 있겠고, 앙상블의 앙상블 알고리즘인 Stacking 그리고 Weighted B...
GridSearch를 이용한 머신러닝 Hyperparameter 튜닝
Hyperparameter 튜닝을 위해서는 다양한 방법론이 존재합니다. 가장 쉬운 방법으로는 일명 손튜닝이 있을 수 있겠구요. RandomSearch, GridSearch, HyperOpt등 다양한 방법으로 Hyperparameter를 튜닝할 수 있습니다.
csv
랭체인(langchain) + 정형데이터(CSV, Excel) - ChatGPT 기반 데이터분석 (4)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 정형데이터(CSV, Excel) 에 대한 ChatGPT 기반 질의응답을 통해 데이터 분석하는 방법 에 대해 알아보겠습니다.
#03-Pandas(판다스) 데이터프레임(DataFrame) 조회, 정렬(sort), 조건필터(loc, iloc)
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 많이 사용하는 기능인 조회, 정렬 그리고 조건필터 입니다.
#02-Pandas(판다스) 파일 입출력 - Excel, CSV
이번 에피소드에서는 Pandas의 파일 입출력에 대하여 알아보겠습니다. 그리고, 데이터 분석에서 DB를 제외한 가장 많이 사용되는 파일 형식인 엑셀(Excel)과 CSV (Comma Separated Value)을 로드하고 데이터프레임(DataFrame)을 엑셀(Excel)이나 C...
[pandas] 공공데이터(csv) 활용시 한글 깨짐 현상 해결
이번 포스팅에서는 공공데이터 포털에서 다운로드 받은 csv파일을 pandas에서 로딩할 때 한글깨짐 현상을 해결하는 방법에 대하여 알아보겠습니다.
비전공자
[2023년 업데이트] 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 - 데이터분석편
지난 2020년에 작성한 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1), 글과 후속 글인 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2) 을 많이 읽어 주셔서 감사드립니다. 작성 당시에는 가벼운 마음으로 개인...
비전공자를 위한 데이터 분석 강의를 오픈합니다. feat.패스트캠퍼스
비전공자, 직장인들을 위한 데이터 분석 강의를 패스트캠퍼스에서 오픈하게 되었습니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
취업
[2023년 업데이트] 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 - 데이터분석편
지난 2020년에 작성한 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1), 글과 후속 글인 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2) 을 많이 읽어 주셔서 감사드립니다. 작성 당시에는 가벼운 마음으로 개인...
입문자를 위한 데이터분석 포트폴리오 완성, 캡스톤프로젝트를 진행합니다.
이번 글은 국내 최고 성인 실무교육 기관인 패스트캠퍼스와 협력하여 지난 3개월간의 고민 끝에 드디어 런칭을 앞두고 있는 데이터분석 캡스톤 프로젝트에 대하여 시작하게 된 배경과 최종 목표에 대하여 공유하고자 합니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
텐서플로 자격증
bbc-text.csv 데이터셋을 활용한 BBC 뉴스 아티클 카테고리 분류기 만들기
BBC 뉴스 아티클 묶음 데이터셋인 bbc-text.csv 파일을 활용하여 TensorFlow 의 Tokenizer로 단어 사전을 만들고 자연어 처리 모델 학습을 위한 데이터 전처리를 진행해 보겠습니다. bbc-text.csv 파일을 pandas로 읽어와서 데이터프레임 변환 후 라...
[2023년 업데이트] 구글 텐서플로 개발자 자격인증 시험을 위한 환경설치(PyCharm, 필요 라이브러리 설치)
본 포스팅은 Google TensorFlow Developers Certificate 자격인증 시험을 위한 환경설치를 위한 내용입니다.
실리콘(M1, M2) 맥(Mac) OS 에서 텐서플로(TensorFlow) 설치 방법
실리콘(M1, M2) 맥(Mac) 사용하는 유저가 최근 1~2년 안에 급격하게 늘어나면서, m1, m2 칩셋을 사용하는 맥 사용자를 위한 가상 환경 설치와 TensorFlow 설치에 대한 문의가 많았습니다. 아쉽게도 그동안 제가 실리콘 맥이 없어 직접 테스트를 해볼 수 없었기 때문...
텐서플로우 개발자 자격증 (Tensorflow Developer Certification) 시험 그리고 취득방법
Google 에서 공식 인증하는 Tensorflow Developers Certification (텐서플로우 2.0 개발자 자격증) 시험에 대한 응시 방법, 취득, 그리고 노하우를 공유드리고자 합니다.
pyplot
matplotlib 컬러명(color name), 팔레트(palette) 이름
matplotlib이나 seaborn을 활용하여 시각화를 할 때 color, cmap, palette의 옵션 설정을 통해 그래프(시각화)의 색상을 쉽게 변경할 수 있습니다.
Seaborn의 통계 차트 및 데이터 시각화 예제
seaborn은 matplotlib의 상위 호환 데이터 시각화를 위한 라이브러리입니다. seaborn패키지는 데이터프레임으로 다양한 통계 지표를 낼 수 있는 시각화 차트를 제공하기 때문에 데이터 분석에 활발히 사용되고 있는 라이브러리입니다.
Matplotlib을 활용한 데이터 시각화 그래프 예제
데이터 시각화를 위한 라이브러리인 matplotlib 의 주요 그래프와 세부 옵션들에 대하여 알아보는 튜토리얼입니다.
matplotlib.pyplot 기본 튜토리얼, 스타일, 캔버스
본 튜토리얼은 matplotlib의 가장 기본적인 튜토리얼을 제공합니다.
머신러닝 책 추천
파이썬 딥러닝 텐서플로 책이 출간되었습니다!
지난 6개월간 동료 3명과 집필한 “파이썬 딥러닝 텐서플로” 책이 드디어 온라인/오프라인 출간 되었습니다!!!
인공지능? 모를수도 있지! 책 리뷰
이번 포스팅에서는 Algorima에서 집필한 인공지능? 모를수도 있지! 책 리뷰를 해보도록 하겠습니다.
무료 E-Book 소개 - Python, 데이터분석, SQL, 정규식 표현
이번 포스팅에서는 yes24.com 에서 2021년 6월 9일 기준 무료로 제공되는 e-book 중 Python, 데이터분석, SQL, 정규식 표현 등에 도움이 되는 책과 링크들을 정리하여 공유 드려 보고자 합니다. 본 포스팅은 광고글은 아니며, 언제까지 무료로 제공될지는 모릅니다...
데이터 과학 트레이닝 북 책 리뷰
이번 포스팅에서는 “데이터 과학 트레이닝 북” 책 리뷰를 해보도록 하겠습니다.
api
에어테이블(airtable)의 table 조회, 추가, 업데이트, 삭제 Python API
본 내용은 Airtable 에서 table에 대해서 데이터를 조회, 추가, 삭제 및 정렬 하는 방법에 대해서 다룹니다. 본 튜토리얼은 airtable의 공식 pyairtable 파이썬 패키지를 활용합니다.
영문 뉴스기사 크롤링 후 ChatGPT(OpenAI API) 기사 요약 및 한글 번역하기
이번 튜토리얼에서는 investing.com 의 뉴스기사를 크롤링 후 ChatGPT로 영문 뉴스기사를 요약하고, 이를 한글로 번역하는 튜토리얼을 진행해 보겠습니다.
OPENAI API(ChatGPT)를 활용한 블로그 생성 자동화
이번 포스팅에서는 OPENAI의 API를 활용하여 ChatGPT 의 텍스트 생성 모델인 text-davinci-003로 주제와 세부요구사항에 맞게 자동으로 블로그를 생성하고 이를 GitHub Pages에 블로그로 포스팅으로 자동 배포하는 튜토리얼을 진행해 보도록 하겠습니다.
Colab에서 구글 드라이브(Google Drive) 압축파일 다운로드 쉽게하기 (코드 3줄!)
데이콘(dacon.io) 경진대회 데이터셋은 아래 이미지와 같이 대부분 구글 드라이브 download 링크로 제공합니다.
설치
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
실리콘(M1, M2) 맥(Mac) OS 에서 텐서플로(TensorFlow) 설치 방법
실리콘(M1, M2) 맥(Mac) 사용하는 유저가 최근 1~2년 안에 급격하게 늘어나면서, m1, m2 칩셋을 사용하는 맥 사용자를 위한 가상 환경 설치와 TensorFlow 설치에 대한 문의가 많았습니다. 아쉽게도 그동안 제가 실리콘 맥이 없어 직접 테스트를 해볼 수 없었기 때문...
한글 자연어 처리 패키지가 포함된 딥러닝 전용 도커 배포 (손쉬운 설치 및 실행)
최신 버전의 GPU를 활용한 학습이 가능한 딥러닝 도커를 구성하여 배포하게 되었습니다. (배포날짜는 2022년 07월 20일 기준입니다)
구글 코랩(Google Colab)에서 Mecab 형태소 분석기, konlpy 쉽게 설치하기
Google Colab (구글 코랩) 에서 Mecab 형태소 분석기 설치 과정이 복잡하기 때문에 배시 스크립트(bash script)로 만들어 코드 1줄 실행으로 복잡한 설치 과정을 건너뛸 수 있도록 만들었습니다.
image augmentation
[pytorch] 변환(Transform)을 활용한 이미지 증강(Image Augmentation) 적용
데이터 증강(Data Augmentation)은 학습을 위한 데이터에 변형을 가하여 데이터의 규모를 키울 뿐만 아니라, 데이터에 대한 변형된 다양한 케이스를 학습하게 만들 수 있는 좋은 수단 중 하나입니다. 또한, 모델이 과적합(overfitting) 되는 것을 방지해주는 효과도 ...
PyTorch Dataset을 상속받은 사용자 정의 이미지 데이터셋(CustomImageDataset) 구성하기
이번 튜토리얼에서는 torch.utils.data.Dataset을 상속 받아 사용자 정의 이미지 데이터셋을 구성하고, 이를 활용하여 DataLoader를 구성하는 방법에 대하여 알아보겠습니다.
PyTorch 전이학습(transfer learning)과 미세조정(fine tuning)으로 이미지 분류기 생성, 예측, 검증성능 평가하기
PyTorch의 사전 학습된 모델(pretrained model)을 로드하여 전이학습(transfer learning)을 통해 모델 생성, 학습, 예측 및 검증 성능을 측정해 보도록 하겠습니다.
PyTorch 로컬이미지 로드(ImageFolder) 후, DataLoader 생성 및 CNN이미지 분류 모델 생성, 학습, 검증 성능 측정하기
로컬 이미지 폴더에서 ImageFolder를 사용하여 이미지 데이터셋을 로드하고, CNN으로 구성된 모델을 생성, 학습, 예측, 검증 성능을 측정하는 방법을 알아보겠습니다.
문서요약
랭체인(langchain) + PDF 기반 질의응답(Question-Answering) (8)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용에 기반하여 질의응답(Question-Answering) 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + PDF 문서요약, Map-Reduce (7)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용을 요약 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 웹사이트 정보 추출 - 스키마 활용법 (6)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 스크래핑한 뒤, 형식(schema) 에 맞게 정보 추출 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + 웹사이트 크롤링 - 웹사이트 문서 요약 (5)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 크롤링 한 뒤, 문서 요약/편집 하는 방법에 대해 알아보겠습니다.
API
[2024년 UPDATE] OpenAI Python API 튜토리얼 - Whisper API를 사용하여 TTS, STT 구현하기(3)
이번 튜토리얼은 OpenAI 의 Whisper API 를 사용하여 음성을 텍스트로 변환하는 STT, 그리고 텍스트를 음성으로 변환하는 방법에 대해 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 튜토리얼 - DALL·E를 사용하여 이미지 생성, 수정, 다양화하기(2)
이번 튜토리얼은 OpenAI 의 DALL·E 의 Python API 사용법을 다룹니다. 이번 튜토리얼을 통하여 이미지 생성, 수정, 다양화 하는 방법에 대해 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 튜토리얼 - 채팅(chat) 함수 사용하기(1)
이번 튜토리얼 부터는 시리즈 형식으로 OpenAI 에서 지난 2023년 11월에 1.x.x 로 판올림하여 공개한 API 의 사용법에 대해서 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 키 발급방법, 요금체계
이번 튜토리얼은 OpenAI 의 Python API 키를 발급받는 방법과 요금 체계에 대해 알아보겠습니다.
chat completion
[2024년 UPDATE] OpenAI Python API 튜토리얼 - Whisper API를 사용하여 TTS, STT 구현하기(3)
이번 튜토리얼은 OpenAI 의 Whisper API 를 사용하여 음성을 텍스트로 변환하는 STT, 그리고 텍스트를 음성으로 변환하는 방법에 대해 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 튜토리얼 - DALL·E를 사용하여 이미지 생성, 수정, 다양화하기(2)
이번 튜토리얼은 OpenAI 의 DALL·E 의 Python API 사용법을 다룹니다. 이번 튜토리얼을 통하여 이미지 생성, 수정, 다양화 하는 방법에 대해 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 튜토리얼 - 채팅(chat) 함수 사용하기(1)
이번 튜토리얼 부터는 시리즈 형식으로 OpenAI 에서 지난 2023년 11월에 1.x.x 로 판올림하여 공개한 API 의 사용법에 대해서 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 키 발급방법, 요금체계
이번 튜토리얼은 OpenAI 의 Python API 키를 발급받는 방법과 요금 체계에 대해 알아보겠습니다.
client
[2024년 UPDATE] OpenAI Python API 튜토리얼 - Whisper API를 사용하여 TTS, STT 구현하기(3)
이번 튜토리얼은 OpenAI 의 Whisper API 를 사용하여 음성을 텍스트로 변환하는 STT, 그리고 텍스트를 음성으로 변환하는 방법에 대해 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 튜토리얼 - DALL·E를 사용하여 이미지 생성, 수정, 다양화하기(2)
이번 튜토리얼은 OpenAI 의 DALL·E 의 Python API 사용법을 다룹니다. 이번 튜토리얼을 통하여 이미지 생성, 수정, 다양화 하는 방법에 대해 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 튜토리얼 - 채팅(chat) 함수 사용하기(1)
이번 튜토리얼 부터는 시리즈 형식으로 OpenAI 에서 지난 2023년 11월에 1.x.x 로 판올림하여 공개한 API 의 사용법에 대해서 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 키 발급방법, 요금체계
이번 튜토리얼은 OpenAI 의 Python API 키를 발급받는 방법과 요금 체계에 대해 알아보겠습니다.
linear regression
Lasso, Ridge, ElasticNet-L1, L2규제를 적용한 선형 알고리즘
선형 알고리즘에 기반한 알고리즘에 대해서 알아보고 회귀 (Regression) 문제를 다뤄보도록 하겠습니다. 이번 선형 알고리즘에 기반한 회귀 문제를 다룰 때 L1, L2 규제의 개념이 등장합니다. L1, L2 규제는 딥러닝까지 쭉 이어지는 개념이고, 앞으로 머신러닝/딥러닝 학습시...
최소제곱법 (Ordinary Least Squares) 과 선형회귀 알고리즘 (Linear Regression)
이번 포스팅에서는 최소제곱법(Least Ordinary Sqaures)의 Python 코드 구현과 scikit-learn의 LinearRegression을 활용하여 회귀(Regression) 예측까지 해보겠습니다.
Simple Gradient Descent on predicting Boston Housing
SImple Gradient Descent implementations Examples
convolution neural network
PyTorch 로컬이미지 로드(ImageFolder) 후, DataLoader 생성 및 CNN이미지 분류 모델 생성, 학습, 검증 성능 측정하기
로컬 이미지 폴더에서 ImageFolder를 사용하여 이미지 데이터셋을 로드하고, CNN으로 구성된 모델을 생성, 학습, 예측, 검증 성능을 측정하는 방법을 알아보겠습니다.
[tensorflow] ImageDataGenerator / Convolution Neural Network(CNN) 을 활용한 이미지 분류
TensorFlow 2.0의 ImageDataGenerator를 활용하여 Image 데이터를 로컬 폴더에서 로딩 후 Generator를 통해 Image Augmentation과 모델에 Feed 할 수 있는 Generator를 만들어 보도록 하겠습니다.
Conv2d layer를 겹겹이 쌓을 때 최종 output volume 계산법
이번 포스팅에서는 torch 를 이용하여 CNN(Convolution Neural Network) 에서 convolution layer를 겹겹이 쌓았을 때 최종 output volume size를 구하는 방법에 대하여 알아 보겠습니다.
amazon
python django 프로젝트를 아마존(aws) ec2 인스턴스에 생성 및 원격접속
python 으로 django 프로젝트를 생성해서 작업할 일이 생겼다. 로컬에서 작업하는 것보다 amazon aws에 ec2 인스턴스에 셋팅을 한 뒤에 Visual Studio Code의 ftp-simple 플러그인을 활용해서 remote workplace에서 작업을 해보기로 결정...
아마존 AWS에서 생성한 인스턴스와 도메인 네임서버(가비아/cafe24) 설정하기
아마존 AWS에 워드프레서 AMI(무료 인스턴스)를 생성하고, 이를 이전에 미리 구매한 도메인과 네임서버 연결하는 작업을 해 보았습니다. 우선, 워드프레스 호스팅을 위하여 아마존에 인스턴스를 생성하고 셋업하는 과정은 매우 간단하였고 불과 10분남짓이면 생성할 수 있었습니다. 이에 ...
AWS에서 딥러닝 인스턴스 만들고 jupyter notebook 실행까지!
Deep learning 을 모델 학습을 위해서 high computing power가 필수 입니다. 아마존의 AWS를 통해 ‘Tesla K80’ GPU를사용하여 학습할 수 있는 인스턴스를 만들고 jupyter notebook 을 실행시켜 아마존 EC2 인스턴스에서 학습시키는 방법...
원격접속
Docker를 활용하여 딥러닝/머신러닝 환경을 10분만에 구성하고 jupyter notebook 원격 연결하기
도커(Docker)를 활용하면 CUDA, CuDNN과 같은 복잡한 설치환경의 충돌 걱정 없이 미리 설치된 dependency 셋팅으로 매우 편리하게 딥러닝/머신러닝을 위한 환경을 구성할 수 있습니다. Docker를 활용하여 Kaggle에서 발행한 Kaggle Docker를 Pull...
jupyter notebook remote 접속 허용 설정
Jupyter Notebook을 원격에서 접속하려고 할 때 셋팅하는 방법에 대해 알아보겠습니다.
python django 프로젝트를 아마존(aws) ec2 인스턴스에 생성 및 원격접속
python 으로 django 프로젝트를 생성해서 작업할 일이 생겼다. 로컬에서 작업하는 것보다 amazon aws에 ec2 인스턴스에 셋팅을 한 뒤에 Visual Studio Code의 ftp-simple 플러그인을 활용해서 remote workplace에서 작업을 해보기로 결정...
mnist
Kaggle에서 활용하는 Notebook을 활용하기 (캐글 제출이 훨씬 쉬워졌습니다!!)
Kaggle 에서 제공하는 Notebook을 활용하면, 매우 손쉽게 submission할 수 있으며, GPU 자원까지 활용할 수 있습니다. Kaggle Notebook을 활용하는 방법과 제출하고 score확인까지 얼마나 쉬워졌는지 확인해 보도록 하겠습니다.
sklearn 라이브러리를 활용한 mnist 손글씨 10분만에 70,000개 분류하기
sklearn라이브러리(scikit-learn)는 machine learning을 하기 위하여 필요한 막강한 라이브러리입니다.
[pytorch] MNIST dataset loading 하기
pytorch 에서 각 종 Datasets에 대하여 제공해줍니다.
통계
처음 만나는 AI수학 with 파이썬 책 리뷰 - 수포자, 비전공자를 위한 수학
이번 포스팅에서는 처음 만나는 AI수학 with 파이썬 책 리뷰를 해보도록 하겠습니다.
#04-Pandas(판다스) 통계
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 유용하면서 탐색적 데이터 분석(Exploratory Data Analysis)에서 가장 유용하게 사용되는 기능인 통계 입니다.
pandas 를 활용한 기본적인 산술과 통계 적용 & 이해
Pandas를 활용한 통계부분을 좀 더 다뤄보려고 합니다. 평균, 표준 편차, 분산, 중간값등 통계를 전공하셨거나, 조금이라도 공부하신 분들은 물론 익숙하시겠지만, 그렇지 않고 데이터 분석에 뛰어든 분들은 용어만 봐도 머리속에 혼란이 찾아오기 마련입니다.
datasets
scikit-learn 데이터셋(dataset) 다루기
scikit-learn의 패키지에 포함된 dataset 패키지에서 Toy Dataset을 로딩하여 학습해 보는 튜토리얼입니다.
sklearn.datasets 모듈을 활용하여 샘플데이터 로딩하기
sklearn.datasets 모듈에는 대표적인 sample dataset들을 제공하고 손쉽게 다운로드 및 로딩할 수 있습니다.
classification
로지스틱회귀(Logistic Regression)와 분류 평가 지표 (Precision, Recall, F1 Score)
Logistic Regression은 선형 알고리즘에 Sigmoid Function 이 결합된 분류 알고리즘 입니다. 알고리즘 이름 뒷부분에 Regression 이 붙기 때문에 흔하게 회귀 알고리즘으로 착각할 수 있지만 분류 알고리즘 입니다.
최근접 이웃 (KNN) 알고리즘을 활용한 분류
K-Nearest Neighbors 이른바, 최근접 이웃 분류 알고리즘을 활용한 간단한 머신러닝 분류 문제를 풀어보도록 하겠습니다. 알고리즘은 동작 원리는 매우 직관적이고 단순 합니다. 이해는 어렵지 않으나, 복잡한 분류 문제에 있어서는 모델의 성능에 대한 큰 기대를 하기 어렵습니...
sklearn의 K-Nearest Neighbors 분류기를 활용하여 Iris 꽃 종류 분류하기 (Classifier)
K-최근접 이웃 (K-Nearest Neighbors) 알고리즘은 분류(Classifier)와 회귀(Regression)에 모두 쓰입니다. 처음 접하는 사람들도 이해하기 쉬운 알고리즘이며, 단순한 데이터를 대상으로 분류나 회귀를 할 때 사용합니다.
정형데이터
PyTorch 정형데이터를 CustomDataset으로 서브클래싱(SubClassing)한 후 예측 모델 생성 및 학습하기
정형데이터셋을 로드하여 PyTorch의 torch.utils.data.Dataset을 상속받아 커스텀 데이터셋(CustomDataset)을 서브클래싱(SubClassing)으로 정의하고, 이를 torch.utils.data.DataLoader에 주입하여 배치구성을 한 뒤, 모델 학...
PyTorch의 자동미분(AutoGrad)을 활용하여 정형 데이터 예측기(regression model)구현
이번 튜토리얼에서는 scikit-learn의 내장 데이터셋인 보스톤 주택 가격 데이터셋을 활용하여 회귀 예측 모델(regression model)을 만들고 예측해 보도록 하겠습니다.
sklearn의 K-Nearest Neighbors 분류기를 활용하여 Iris 꽃 종류 분류하기 (Classifier)
K-최근접 이웃 (K-Nearest Neighbors) 알고리즘은 분류(Classifier)와 회귀(Regression)에 모두 쓰입니다. 처음 접하는 사람들도 이해하기 쉬운 알고리즘이며, 단순한 데이터를 대상으로 분류나 회귀를 할 때 사용합니다.
gpu
우분투(ubuntu 20.04) 에서 기존의 CUDA 설치버전 업데이트 하는 방법
본 포스팅은 Ubuntu 20.04 환경에서 기존에 설치된 CUDA 11.2 버전을 클린 삭제 후 CUDA 11.8 로 업그레이드 하는 과정을 담고 있습니다. CUDA 가 설치가 되어 있지 않은 서버에서도 동일하게 진행할 수 있습니다.
Tensorflow, Keras, Pytorch GPU 사용여부 체크하기
딥러닝 프레임워크에서 GPU 사용여부를 체크할 수 있는 API에 대하여 알려드리도록 하겠습니다.
딥러닝 PC에 Ubuntu 18.04 설치 후 CUDA 10, cuDNN 설치하기
Amazon AWS에서 좋은 GPU 자원으로 딥러닝을 돌리다보니 요금폭탄을 맞았습니다.. 그래서 이참에 딥러닝 PC를 구매를 하게 되었고 딥러닝 서버를 위한 CUDA 및 cuDNN까지 설치하는 방법에 대하여 알려드리고자 합니다.
random forest
의사결정 나무 (Decision Tree)와 Entropy, 그리고 Gini 계수
Decision Tree는 Random Forest Ensemble 알고리즘의 기본이 되는 알고리즘이며, Tree 기반 알고리즘입니다. 의사결정나무 혹은 결정트리로 불리우는 이 알고리즘은 머신러닝의 학습 결과에 대하여 시각화를 통한 직관적인 이해가 가능하다는 것이 큰 장점입니다. ...
Tree기반 모델(DecisionTree, RandomForest)의 분할 그래프 시각화하기 (graphviz)
Tree 기반 모델은 RandomForest 모델때문에 참 인기있게 활용되는 알고리즘 입니다. RandomForest 모델은 데이터 분석 대회인 캐글에서도 활발히 활용되고 있으며, 성능이 좋을 뿐만아니라 쉽고 간편하게 사용할 수 있기 때문에 저 또한 데이터 분석 대회에서 basel...
앙상블 학습(ensemble learning)으로 알고리즘 성능 개선하기(2) - Bagging
Bagging 기반의 앙상블(ensemble) 기법은 이미 널리 사용되고 있는 랜덤포레스트(RandomForest) 알고리즘이 바로 그 대표적인 예 입니다.
콜백
[Keras] 콜백함수 (3) - 조기종료: EarlyStopping
EarlyStopping 콜백을 활용하면, model의 성능 지표가 설정한 epoch동안 개선되지 않을 때 조기 종료할 수 있습니다. EarlyStopping과 이전에 언급한 ModelCheckpoint 콜백의 조합을 통하여, 개선되지 않는 학습에 대한 조기 종료를 실행하고, Mo...
[Keras] 콜백함수 (2) - weight 중간 저장: ModelCheckpoint
keras의 콜백함수인 ModelCheckpoint는 모델이 학습하면서 정의한 조건을 만족했을 때 Model의 weight 값을 중간 저장해 줍니다. 학습시간이 꽤 오래걸린다면, 모델이 개선된 validation score를 도출해낼 때마다 weight를 중간 저장함으로써, 혹시 ...
[Keras] 콜백함수 (1) - 학습률(learning rate): ReduceLROnPlateau
keras의 콜백함수인 ReduceLROnPlateau는 학습률이 개선되지 않을 때, 학습률을 동적으로 조정하여 학습률을 개선하는 효과를 기대할 수 있습니다. 경사하강법에 의하여 학습을 하는 경우 Local Minima에 빠져버리게 되면, 더이상 학습률이 개선되지 않고 정체되거나,...
callback
[Keras] 콜백함수 (3) - 조기종료: EarlyStopping
EarlyStopping 콜백을 활용하면, model의 성능 지표가 설정한 epoch동안 개선되지 않을 때 조기 종료할 수 있습니다. EarlyStopping과 이전에 언급한 ModelCheckpoint 콜백의 조합을 통하여, 개선되지 않는 학습에 대한 조기 종료를 실행하고, Mo...
[Keras] 콜백함수 (2) - weight 중간 저장: ModelCheckpoint
keras의 콜백함수인 ModelCheckpoint는 모델이 학습하면서 정의한 조건을 만족했을 때 Model의 weight 값을 중간 저장해 줍니다. 학습시간이 꽤 오래걸린다면, 모델이 개선된 validation score를 도출해낼 때마다 weight를 중간 저장함으로써, 혹시 ...
[Keras] 콜백함수 (1) - 학습률(learning rate): ReduceLROnPlateau
keras의 콜백함수인 ReduceLROnPlateau는 학습률이 개선되지 않을 때, 학습률을 동적으로 조정하여 학습률을 개선하는 효과를 기대할 수 있습니다. 경사하강법에 의하여 학습을 하는 경우 Local Minima에 빠져버리게 되면, 더이상 학습률이 개선되지 않고 정체되거나,...
학습률
[Keras] 콜백함수 (3) - 조기종료: EarlyStopping
EarlyStopping 콜백을 활용하면, model의 성능 지표가 설정한 epoch동안 개선되지 않을 때 조기 종료할 수 있습니다. EarlyStopping과 이전에 언급한 ModelCheckpoint 콜백의 조합을 통하여, 개선되지 않는 학습에 대한 조기 종료를 실행하고, Mo...
[Keras] 콜백함수 (2) - weight 중간 저장: ModelCheckpoint
keras의 콜백함수인 ModelCheckpoint는 모델이 학습하면서 정의한 조건을 만족했을 때 Model의 weight 값을 중간 저장해 줍니다. 학습시간이 꽤 오래걸린다면, 모델이 개선된 validation score를 도출해낼 때마다 weight를 중간 저장함으로써, 혹시 ...
[Keras] 콜백함수 (1) - 학습률(learning rate): ReduceLROnPlateau
keras의 콜백함수인 ReduceLROnPlateau는 학습률이 개선되지 않을 때, 학습률을 동적으로 조정하여 학습률을 개선하는 효과를 기대할 수 있습니다. 경사하강법에 의하여 학습을 하는 경우 Local Minima에 빠져버리게 되면, 더이상 학습률이 개선되지 않고 정체되거나,...
learning rate
[Keras] 콜백함수 (3) - 조기종료: EarlyStopping
EarlyStopping 콜백을 활용하면, model의 성능 지표가 설정한 epoch동안 개선되지 않을 때 조기 종료할 수 있습니다. EarlyStopping과 이전에 언급한 ModelCheckpoint 콜백의 조합을 통하여, 개선되지 않는 학습에 대한 조기 종료를 실행하고, Mo...
[Keras] 콜백함수 (2) - weight 중간 저장: ModelCheckpoint
keras의 콜백함수인 ModelCheckpoint는 모델이 학습하면서 정의한 조건을 만족했을 때 Model의 weight 값을 중간 저장해 줍니다. 학습시간이 꽤 오래걸린다면, 모델이 개선된 validation score를 도출해낼 때마다 weight를 중간 저장함으로써, 혹시 ...
[Keras] 콜백함수 (1) - 학습률(learning rate): ReduceLROnPlateau
keras의 콜백함수인 ReduceLROnPlateau는 학습률이 개선되지 않을 때, 학습률을 동적으로 조정하여 학습률을 개선하는 효과를 기대할 수 있습니다. 경사하강법에 의하여 학습을 하는 경우 Local Minima에 빠져버리게 되면, 더이상 학습률이 개선되지 않고 정체되거나,...
인공지능 공부법
[2023년 업데이트] 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 - 데이터분석편
지난 2020년에 작성한 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1), 글과 후속 글인 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2) 을 많이 읽어 주셔서 감사드립니다. 작성 당시에는 가벼운 마음으로 개인...
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
데이터 분석 공부법
[2023년 업데이트] 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 - 데이터분석편
지난 2020년에 작성한 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1), 글과 후속 글인 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2) 을 많이 읽어 주셔서 감사드립니다. 작성 당시에는 가벼운 마음으로 개인...
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
인공지능
[2023년 업데이트] 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 - 데이터분석편
지난 2020년에 작성한 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1), 글과 후속 글인 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2) 을 많이 읽어 주셔서 감사드립니다. 작성 당시에는 가벼운 마음으로 개인...
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
머신러닝 공부법
[2023년 업데이트] 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 - 데이터분석편
지난 2020년에 작성한 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1), 글과 후속 글인 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2) 을 많이 읽어 주셔서 감사드립니다. 작성 당시에는 가벼운 마음으로 개인...
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
강의 추천
[2023년 업데이트] 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 - 데이터분석편
지난 2020년에 작성한 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1), 글과 후속 글인 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2) 을 많이 읽어 주셔서 감사드립니다. 작성 당시에는 가벼운 마음으로 개인...
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
입문
[2023년 업데이트] 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 - 데이터분석편
지난 2020년에 작성한 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1), 글과 후속 글인 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2) 을 많이 읽어 주셔서 감사드립니다. 작성 당시에는 가벼운 마음으로 개인...
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
학습법
[2023년 업데이트] 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 - 데이터분석편
지난 2020년에 작성한 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1), 글과 후속 글인 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2) 을 많이 읽어 주셔서 감사드립니다. 작성 당시에는 가벼운 마음으로 개인...
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
취준
[2023년 업데이트] 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 - 데이터분석편
지난 2020년에 작성한 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1), 글과 후속 글인 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2) 을 많이 읽어 주셔서 감사드립니다. 작성 당시에는 가벼운 마음으로 개인...
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
이직
[2023년 업데이트] 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 - 데이터분석편
지난 2020년에 작성한 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1), 글과 후속 글인 데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2) 을 많이 읽어 주셔서 감사드립니다. 작성 당시에는 가벼운 마음으로 개인...
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (2)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
데이터 분석/인공지능을 공부하려는 분들께 경험을 토대로 학습 방법과 책 추천 (1)
데이터 분석과 인공지능을 공부하려는 분들께 국내 서적을 기준으로 목적에 맞는 책과 공부를 해왔던 경험담에 대하여 공유드리고자 합니다. 데이터 분석 및 인공지능에 관심있는 분들께 도움이 되셨으면 좋겠습니다.
주가예측
Facebook(Meta) Prophet을 활용한 시계열데이터 예측 및 시각화
이번 포스팅에서는 Facebook Prophet을 활용하여 시계열데이터 예측 튜토리얼을 진행해 보겠습니다.
LSTM과 FinanceDataReader API를 활용한 삼성전자 주가 예측
이번 튜토리얼에서는 딥러닝 모델을 활용하여 삼성전자 주가 예측을 진행해 보겠습니다.
딥러닝(LSTM)을 활용하여 삼성전자 주가 예측을 해보았습니다
본 내용을 토대로 코드가 업데이트 되었습니다. 최신글을 확인해 주세요
삼성전자
Facebook(Meta) Prophet을 활용한 시계열데이터 예측 및 시각화
이번 포스팅에서는 Facebook Prophet을 활용하여 시계열데이터 예측 튜토리얼을 진행해 보겠습니다.
LSTM과 FinanceDataReader API를 활용한 삼성전자 주가 예측
이번 튜토리얼에서는 딥러닝 모델을 활용하여 삼성전자 주가 예측을 진행해 보겠습니다.
딥러닝(LSTM)을 활용하여 삼성전자 주가 예측을 해보았습니다
본 내용을 토대로 코드가 업데이트 되었습니다. 최신글을 확인해 주세요
시계열
Facebook(Meta) Prophet을 활용한 시계열데이터 예측 및 시각화
이번 포스팅에서는 Facebook Prophet을 활용하여 시계열데이터 예측 튜토리얼을 진행해 보겠습니다.
Pandas를 활용한 결측치 보간(interpolation) 하기
탐색적 데이터 분석 (Exploratory Data Analysis)를 진행하다보면, 매우 흔한 확률로 결측치가 존재하는 것을 볼 수 있습니다. 우리는 이런 경우 결측치를 버릴건지(drop), 혹은 채워주어야 합니다. 그러나, 데이터를 함부로 drop하여 머신러닝 예측을 ...
딥러닝(LSTM)을 활용하여 삼성전자 주가 예측을 해보았습니다
본 내용을 토대로 코드가 업데이트 되었습니다. 최신글을 확인해 주세요
한글폰트
matplotlib 에서 신규 폰트 추가하는 방법
이번 포스팅에서는 matplotlib 에서 누락된 폰트를 추가 하는 방법에 대해 알아보겠습니다. 만약 설치된 폰트가 matplotlib 에서 사용할 수 없다면, 아래의 가이드를 따라 진행해 보시기 바랍니다.
구글 코랩(colab) 한글 깨짐 현상 해결방법
구글 colab에서 시각화 라이브러리(matplotlib, seaborn)을 사용하게 되면 한글 깨짐 현상이 나타나게 됩니다. 한글 폰트 깨짐 현상에 대한 해결 방법에 대하여 알려드리겠습니다.
Ubuntu의 Docker환경에서 matplotlib 한글폰트 설치 및 적용
Ubuntu 의 Docker 환경으로 Jupyter Notebook 서버를 돌리고 있을 때 matplotlib 한글 깨짐 현상이 종종일어납니다. 이럴 땐 한 번 한글폰트 설치 후 Image를 백업시키는 것도 방법이 될 수 있습니다.
딥러닝 자격증
[2023년 업데이트] 구글 텐서플로 개발자 자격인증 시험을 위한 환경설치(PyCharm, 필요 라이브러리 설치)
본 포스팅은 Google TensorFlow Developers Certificate 자격인증 시험을 위한 환경설치를 위한 내용입니다.
실리콘(M1, M2) 맥(Mac) OS 에서 텐서플로(TensorFlow) 설치 방법
실리콘(M1, M2) 맥(Mac) 사용하는 유저가 최근 1~2년 안에 급격하게 늘어나면서, m1, m2 칩셋을 사용하는 맥 사용자를 위한 가상 환경 설치와 TensorFlow 설치에 대한 문의가 많았습니다. 아쉽게도 그동안 제가 실리콘 맥이 없어 직접 테스트를 해볼 수 없었기 때문...
텐서플로우 개발자 자격증 (Tensorflow Developer Certification) 시험 그리고 취득방법
Google 에서 공식 인증하는 Tensorflow Developers Certification (텐서플로우 2.0 개발자 자격증) 시험에 대한 응시 방법, 취득, 그리고 노하우를 공유드리고자 합니다.
pycharm
[2023년 업데이트] 구글 텐서플로 개발자 자격인증 시험을 위한 환경설치(PyCharm, 필요 라이브러리 설치)
본 포스팅은 Google TensorFlow Developers Certificate 자격인증 시험을 위한 환경설치를 위한 내용입니다.
텐서플로우(tensorflow) 파이참(pycharm)에서 dll 오류 해결
TensorFlow 2.0을 Pycharm에서 실행시 dll load failed: 지정된 모듈을 찾을 수 없습니다.가 나는 경우가 있습니다.
텐서플로우 개발자 자격증 (Tensorflow Developer Certification) 시험 그리고 취득방법
Google 에서 공식 인증하는 Tensorflow Developers Certification (텐서플로우 2.0 개발자 자격증) 시험에 대한 응시 방법, 취득, 그리고 노하우를 공유드리고자 합니다.
rnn
[PyTorch] RNN Layer 입출력 파라미터와 차원(shape) 이해
이번 포스팅에서는 pytorch의 rnn 레이어의 input 차원, output 차원, hidden dimension, num_layers 파라미터를 직접 확인하면서 동작 결과를 눈으로 직접 확인해 보고 코딩시 적절하게 활용하는 방법에 대하여 알아보도록 하겠습니다.
[tensorflow] LSTM layer 활용법
시계열 데이터 그리고 NLP에서 흔히 사용되는 LSTM Layer의 주요 Hyper Parameter에 대하여 알아보고, 많이 헷갈려 하시는 input_shape 지정과 결과 값 (output)에 대해서도 직접 실행해 보면서 어떻게 동작하는지 살펴보도록 하겠습니다.
[tensorflow] RNN Text 생성 (셰익스피어 글 생성)
텐서플로우 공식 튜토리얼인 순환 신경망을 활용한 문자열 생성에 대한 클론 코드입니다. 셰익스피어 글 데이터셋을 활용하여 인공지능 모델을 학습시키고, 셰익스피어 스타일의 글을 생성할 수 있는 모델을 만들어 보도록 하겠습니다.
경사하강법
PyTorch의 자동미분(AutoGrad)을 활용하여 정형 데이터 예측기(regression model)구현
이번 튜토리얼에서는 scikit-learn의 내장 데이터셋인 보스톤 주택 가격 데이터셋을 활용하여 회귀 예측 모델(regression model)을 만들고 예측해 보도록 하겠습니다.
PyTorch의 자동미분(AutoGrad)기능과 경사하강법(Gradient Descent) 구현
이번 포스팅에서는 PyTorch의 자동미분(AutoGrad) 기능을 활용하여 경사하강법 알고리즘을 직접 구현해보고 손실(loss) 값과 weights, bias의 변화량을 시각화해 보겠습니다.
경사하강법 (Gradient Descent) 직접 구현하기
이번에는 머신러닝 뿐만아니라, 인공신경망 모델의 가장 기초가 되는 경사하강법 (Gradient Descent)에 대하여 알아보도록 하겠습니다. 경사하강법을 Python으로 직접 구현해보는 튜토리얼 입니다. 자세한 설명은 유튜브 영상을 참고해 보셔도 좋습니다.
gradient descent
PyTorch의 자동미분(AutoGrad)을 활용하여 정형 데이터 예측기(regression model)구현
이번 튜토리얼에서는 scikit-learn의 내장 데이터셋인 보스톤 주택 가격 데이터셋을 활용하여 회귀 예측 모델(regression model)을 만들고 예측해 보도록 하겠습니다.
PyTorch의 자동미분(AutoGrad)기능과 경사하강법(Gradient Descent) 구현
이번 포스팅에서는 PyTorch의 자동미분(AutoGrad) 기능을 활용하여 경사하강법 알고리즘을 직접 구현해보고 손실(loss) 값과 weights, bias의 변화량을 시각화해 보겠습니다.
경사하강법 (Gradient Descent) 직접 구현하기
이번에는 머신러닝 뿐만아니라, 인공신경망 모델의 가장 기초가 되는 경사하강법 (Gradient Descent)에 대하여 알아보도록 하겠습니다. 경사하강법을 Python으로 직접 구현해보는 튜토리얼 입니다. 자세한 설명은 유튜브 영상을 참고해 보셔도 좋습니다.
seq2seq
[pytorch] Seq2Seq with Attention 구현 및 한 줄씩 코드 설명
이번 포스팅에서는 Attention 메카니즘이 적용된 Seq2Seq 모델을 pytorch로 구현하고, 코드 한 줄씩 직접 shape를 찍어보고 확인하면서 구현된 코드 통해 동작 원리와 Attention 구조를 이해해 보도록 하겠습니다.
[pytorch] Seq2Seq 으로 챗봇 만들기 (코드 구현)
이번 튜토리얼에서는 seq2seq 모델을 pytorch로 구현하고 한글 챗봇 데이터를 학습시켜 추론해 보는 단계까지 진행해 보도록 하겠습니다.
Attention을 활용한 Seq2Seq 모델 생성과 데이터셋 구성
이번 포스팅에서는 Attention을 활용한 Seq2Seq 모델을 생성하는 방법 그리고 Seq2Seq 모델의 학습을 위해 필요한 데이터셋을 구성하는 방법에 대하여 알아보도록 하겠습니다.
데이터 분석 책 추천
무료 E-Book 소개 - Python, 데이터분석, SQL, 정규식 표현
이번 포스팅에서는 yes24.com 에서 2021년 6월 9일 기준 무료로 제공되는 e-book 중 Python, 데이터분석, SQL, 정규식 표현 등에 도움이 되는 책과 링크들을 정리하여 공유 드려 보고자 합니다. 본 포스팅은 광고글은 아니며, 언제까지 무료로 제공될지는 모릅니다...
처음 만나는 AI수학 with 파이썬 책 리뷰 - 수포자, 비전공자를 위한 수학
이번 포스팅에서는 처음 만나는 AI수학 with 파이썬 책 리뷰를 해보도록 하겠습니다.
데이터 과학 트레이닝 북 책 리뷰
이번 포스팅에서는 “데이터 과학 트레이닝 북” 책 리뷰를 해보도록 하겠습니다.
미분
PyTorch의 자동미분(AutoGrad)을 활용하여 정형 데이터 예측기(regression model)구현
이번 튜토리얼에서는 scikit-learn의 내장 데이터셋인 보스톤 주택 가격 데이터셋을 활용하여 회귀 예측 모델(regression model)을 만들고 예측해 보도록 하겠습니다.
PyTorch의 자동미분(AutoGrad)기능과 경사하강법(Gradient Descent) 구현
이번 포스팅에서는 PyTorch의 자동미분(AutoGrad) 기능을 활용하여 경사하강법 알고리즘을 직접 구현해보고 손실(loss) 값과 weights, bias의 변화량을 시각화해 보겠습니다.
처음 만나는 AI수학 with 파이썬 책 리뷰 - 수포자, 비전공자를 위한 수학
이번 포스팅에서는 처음 만나는 AI수학 with 파이썬 책 리뷰를 해보도록 하겠습니다.
캐글 노트북
[AI SPARK 챌린지] 수도관 누수 탐지 분류 문제 베이스라인 코드! (오디오 파일 전처리)
얼마전 연구개발특구진흥재단에서 주최하고 AIFactory에서 주관한 [AI SPARK 챌린지] 대회2. 수도관 누수 탐지 분류 문제에 대하여 베이스라인 코드를 잡아봤습니다.
[캐글] 성인 인구조사 소득 예측 대회 커널
작년 T-Academy와 KaKr가 주최하는 성인 인구조사 소득 예측 대회에 참여하여 EDA 노트북을 공유했었습니다.
캐글 노트북(Kaggle Notebook) 도커에 한글 자연어처리 패키지를 추가한 딥러닝 도커 배포, 설치 및 실행
캐글 노트북(Kaggle Notebook) 커널로도 유명한 도커인 Kaggle/docker-python의 GPU Docker(gpu.Dockerfile)를 기반으로 구성하였습니다. Kaggle에서 공개한 도커 이미지는 한글 폰트, 자연어처리 패키지, 형태소 분석기 등이 누락되어 있...
도커 사용법
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
한글 자연어 처리 패키지가 포함된 딥러닝 전용 도커 배포 (손쉬운 설치 및 실행)
최신 버전의 GPU를 활용한 학습이 가능한 딥러닝 도커를 구성하여 배포하게 되었습니다. (배포날짜는 2022년 07월 20일 기준입니다)
캐글 노트북(Kaggle Notebook) 도커에 한글 자연어처리 패키지를 추가한 딥러닝 도커 배포, 설치 및 실행
캐글 노트북(Kaggle Notebook) 커널로도 유명한 도커인 Kaggle/docker-python의 GPU Docker(gpu.Dockerfile)를 기반으로 구성하였습니다. Kaggle에서 공개한 도커 이미지는 한글 폰트, 자연어처리 패키지, 형태소 분석기 등이 누락되어 있...
도커 설치
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
한글 자연어 처리 패키지가 포함된 딥러닝 전용 도커 배포 (손쉬운 설치 및 실행)
최신 버전의 GPU를 활용한 학습이 가능한 딥러닝 도커를 구성하여 배포하게 되었습니다. (배포날짜는 2022년 07월 20일 기준입니다)
캐글 노트북(Kaggle Notebook) 도커에 한글 자연어처리 패키지를 추가한 딥러닝 도커 배포, 설치 및 실행
캐글 노트북(Kaggle Notebook) 커널로도 유명한 도커인 Kaggle/docker-python의 GPU Docker(gpu.Dockerfile)를 기반으로 구성하였습니다. Kaggle에서 공개한 도커 이미지는 한글 폰트, 자연어처리 패키지, 형태소 분석기 등이 누락되어 있...
배포
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
한글 자연어 처리 패키지가 포함된 딥러닝 전용 도커 배포 (손쉬운 설치 및 실행)
최신 버전의 GPU를 활용한 학습이 가능한 딥러닝 도커를 구성하여 배포하게 되었습니다. (배포날짜는 2022년 07월 20일 기준입니다)
캐글 노트북(Kaggle Notebook) 도커에 한글 자연어처리 패키지를 추가한 딥러닝 도커 배포, 설치 및 실행
캐글 노트북(Kaggle Notebook) 커널로도 유명한 도커인 Kaggle/docker-python의 GPU Docker(gpu.Dockerfile)를 기반으로 구성하였습니다. Kaggle에서 공개한 도커 이미지는 한글 폰트, 자연어처리 패키지, 형태소 분석기 등이 누락되어 있...
mecab
구글 코랩(Google Colab)에서 Mecab 형태소 분석기, konlpy 쉽게 설치하기
Google Colab (구글 코랩) 에서 Mecab 형태소 분석기 설치 과정이 복잡하기 때문에 배시 스크립트(bash script)로 만들어 코드 1줄 실행으로 복잡한 설치 과정을 건너뛸 수 있도록 만들었습니다.
뽀로로(PORORO) 자연어처리 라이브러리 활용기 (dev. and maintained by 카카오 브레인(Kakao Brain) PORORO팀)
카카오 브레인(Kakao Brain) 에서 개발한 자연어처리 종합 선물 세트
머신러닝/딥러닝 라이브러리 - GPU 사용 테스트
본 포스팅은 딥러닝 도커 설치 후 머신러닝/딥러닝 라이브러리의 GPU 사용 여부를 테스트하는 코드를 공유 드립니다. 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker)글을 참고하셔서 도커로 딥러닝 환경 구성을 하신 후, 아래 코드로 테스트 해 볼 수 있습...
lgbm
캐글/데이콘 경진대회 Baseline을 잡기 위한 optuna + [xgboost, lightgbm, catboost] 패키지 소개
경진대회에서 모델의 Hyperparameter 튜닝에 드는 노력과 시간을 절약하기 위하여 xgboost, lightgbm, catboost 3개의 라이브러리에 대하여 optuna 튜닝을 적용하여 예측 값을 산출해 내는 로직을 라이브러리 형태로 패키징 했습니다.
[캐글] 성인 인구조사 소득 예측 대회 커널
작년 T-Academy와 KaKr가 주최하는 성인 인구조사 소득 예측 대회에 참여하여 EDA 노트북을 공유했었습니다.
머신러닝/딥러닝 라이브러리 - GPU 사용 테스트
본 포스팅은 딥러닝 도커 설치 후 머신러닝/딥러닝 라이브러리의 GPU 사용 여부를 테스트하는 코드를 공유 드립니다. 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker)글을 참고하셔서 도커로 딥러닝 환경 구성을 하신 후, 아래 코드로 테스트 해 볼 수 있습...
lightgbm
캐글/데이콘 경진대회 Baseline을 잡기 위한 optuna + [xgboost, lightgbm, catboost] 패키지 소개
경진대회에서 모델의 Hyperparameter 튜닝에 드는 노력과 시간을 절약하기 위하여 xgboost, lightgbm, catboost 3개의 라이브러리에 대하여 optuna 튜닝을 적용하여 예측 값을 산출해 내는 로직을 라이브러리 형태로 패키징 했습니다.
[캐글] 성인 인구조사 소득 예측 대회 커널
작년 T-Academy와 KaKr가 주최하는 성인 인구조사 소득 예측 대회에 참여하여 EDA 노트북을 공유했었습니다.
머신러닝/딥러닝 라이브러리 - GPU 사용 테스트
본 포스팅은 딥러닝 도커 설치 후 머신러닝/딥러닝 라이브러리의 GPU 사용 여부를 테스트하는 코드를 공유 드립니다. 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker)글을 참고하셔서 도커로 딥러닝 환경 구성을 하신 후, 아래 코드로 테스트 해 볼 수 있습...
딥러닝 책 추천
파이썬 딥러닝 텐서플로 책이 출간되었습니다!
지난 6개월간 동료 3명과 집필한 “파이썬 딥러닝 텐서플로” 책이 드디어 온라인/오프라인 출간 되었습니다!!!
인공지능? 모를수도 있지! 책 리뷰
이번 포스팅에서는 Algorima에서 집필한 인공지능? 모를수도 있지! 책 리뷰를 해보도록 하겠습니다.
무료 E-Book 소개 - Python, 데이터분석, SQL, 정규식 표현
이번 포스팅에서는 yes24.com 에서 2021년 6월 9일 기준 무료로 제공되는 e-book 중 Python, 데이터분석, SQL, 정규식 표현 등에 도움이 되는 책과 링크들을 정리하여 공유 드려 보고자 합니다. 본 포스팅은 광고글은 아니며, 언제까지 무료로 제공될지는 모릅니다...
형태소 분석기
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
구글 코랩(Google Colab)에서 Mecab 형태소 분석기, konlpy 쉽게 설치하기
Google Colab (구글 코랩) 에서 Mecab 형태소 분석기 설치 과정이 복잡하기 때문에 배시 스크립트(bash script)로 만들어 코드 1줄 실행으로 복잡한 설치 과정을 건너뛸 수 있도록 만들었습니다.
뽀로로(PORORO) 자연어처리 라이브러리 활용기 (dev. and maintained by 카카오 브레인(Kakao Brain) PORORO팀)
카카오 브레인(Kakao Brain) 에서 개발한 자연어처리 종합 선물 세트
konlpy
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
구글 코랩(Google Colab)에서 Mecab 형태소 분석기, konlpy 쉽게 설치하기
Google Colab (구글 코랩) 에서 Mecab 형태소 분석기 설치 과정이 복잡하기 때문에 배시 스크립트(bash script)로 만들어 코드 1줄 실행으로 복잡한 설치 과정을 건너뛸 수 있도록 만들었습니다.
뽀로로(PORORO) 자연어처리 라이브러리 활용기 (dev. and maintained by 카카오 브레인(Kakao Brain) PORORO팀)
카카오 브레인(Kakao Brain) 에서 개발한 자연어처리 종합 선물 세트
bert
[huggingface] BERT를 활용한 텍스트 분류(bbc news 데이터셋)
본 튜토리얼에서는 HuggingFace 의 transformers 라이브러리를 활용한 튜토리얼 입니다.
[huggingface] 한글 pre-trained 사전학습 BERT 모델로 텍스트 분류하기
이번 포스팅에서는 Huggingface의 한글 데이터셋으로 사전 학습된 kykim/bert-kor-base 모델을 가져와서 한글 자연어 데이터에 대한 텍스트 분류기를 만들어 보겠습니다. 이미지넷에서는 전이학습을 통해 손쉽게 Transfer Learning을 수행할 수 있습니다. ...
뽀로로(PORORO) 자연어처리 라이브러리 활용기 (dev. and maintained by 카카오 브레인(Kakao Brain) PORORO팀)
카카오 브레인(Kakao Brain) 에서 개발한 자연어처리 종합 선물 세트
tokenizer
[pytorch] 토큰화(Tokenizing), Embedding + LSTM 모델을 활용한 텍스트 분류 예측
이번 튜토리얼에서는 sarcasm 데이터셋을 활용하여 뉴스 기사의 제목(headline) 텍스트를 학습하여 sarcastic(1) 인지 normal(0) 인지 판별하는 텍스트 분류기를 생성하고, 학습 및 추론까지 진행합니다.
[huggingface] 한글 pre-trained 사전학습 BERT 모델로 텍스트 분류하기
이번 포스팅에서는 Huggingface의 한글 데이터셋으로 사전 학습된 kykim/bert-kor-base 모델을 가져와서 한글 자연어 데이터에 대한 텍스트 분류기를 만들어 보겠습니다. 이미지넷에서는 전이학습을 통해 손쉽게 Transfer Learning을 수행할 수 있습니다. ...
뽀로로(PORORO) 자연어처리 라이브러리 활용기 (dev. and maintained by 카카오 브레인(Kakao Brain) PORORO팀)
카카오 브레인(Kakao Brain) 에서 개발한 자연어처리 종합 선물 세트
요약
영문 뉴스기사 크롤링 후 ChatGPT(OpenAI API) 기사 요약 및 한글 번역하기
이번 튜토리얼에서는 investing.com 의 뉴스기사를 크롤링 후 ChatGPT로 영문 뉴스기사를 요약하고, 이를 한글로 번역하는 튜토리얼을 진행해 보겠습니다.
[PyTorch] 모델의 구조도 요약(summary) 출력 (torchsummary)
이번 포스팅에서는 pytorch 모델의 구조도(structure) 요약(summary)을 손쉽게 확인해 볼 수 있는 라이브러리인 torchsummary에 대해 소개해 드리겠습니다.
뽀로로(PORORO) 자연어처리 라이브러리 활용기 (dev. and maintained by 카카오 브레인(Kakao Brain) PORORO팀)
카카오 브레인(Kakao Brain) 에서 개발한 자연어처리 종합 선물 세트
자동화
자동화된 메타데이터 태깅으로 문서의 메타데이터(metadata) 생성 및 자동 라벨링
문서 관리를 위한 메타데이터 태깅은 필수적이지만 번거로울 수 있습니다. OpenAI 기반의 자동화된 메타데이터 태깅 방법을 통해 이 과정을 효율적으로 만드는 방법을 알아보도록 하겠습니다.
OPENAI API(ChatGPT)를 활용한 블로그 생성 자동화
이번 포스팅에서는 OPENAI의 API를 활용하여 ChatGPT 의 텍스트 생성 모델인 text-davinci-003로 주제와 세부요구사항에 맞게 자동으로 블로그를 생성하고 이를 GitHub Pages에 블로그로 포스팅으로 자동 배포하는 튜토리얼을 진행해 보도록 하겠습니다.
Colab에서 구글 드라이브(Google Drive) 압축파일 다운로드 쉽게하기 (코드 3줄!)
데이콘(dacon.io) 경진대회 데이터셋은 아래 이미지와 같이 대부분 구글 드라이브 download 링크로 제공합니다.
dataloader
PyTorch 전이학습(transfer learning)과 미세조정(fine tuning)으로 이미지 분류기 생성, 예측, 검증성능 평가하기
PyTorch의 사전 학습된 모델(pretrained model)을 로드하여 전이학습(transfer learning)을 통해 모델 생성, 학습, 예측 및 검증 성능을 측정해 보도록 하겠습니다.
PyTorch 로컬이미지 로드(ImageFolder) 후, DataLoader 생성 및 CNN이미지 분류 모델 생성, 학습, 검증 성능 측정하기
로컬 이미지 폴더에서 ImageFolder를 사용하여 이미지 데이터셋을 로드하고, CNN으로 구성된 모델을 생성, 학습, 예측, 검증 성능을 측정하는 방법을 알아보겠습니다.
PyTorch 정형데이터를 CustomDataset으로 서브클래싱(SubClassing)한 후 예측 모델 생성 및 학습하기
정형데이터셋을 로드하여 PyTorch의 torch.utils.data.Dataset을 상속받아 커스텀 데이터셋(CustomDataset)을 서브클래싱(SubClassing)으로 정의하고, 이를 torch.utils.data.DataLoader에 주입하여 배치구성을 한 뒤, 모델 학...
학습
PyTorch 전이학습(transfer learning)과 미세조정(fine tuning)으로 이미지 분류기 생성, 예측, 검증성능 평가하기
PyTorch의 사전 학습된 모델(pretrained model)을 로드하여 전이학습(transfer learning)을 통해 모델 생성, 학습, 예측 및 검증 성능을 측정해 보도록 하겠습니다.
PyTorch 로컬이미지 로드(ImageFolder) 후, DataLoader 생성 및 CNN이미지 분류 모델 생성, 학습, 검증 성능 측정하기
로컬 이미지 폴더에서 ImageFolder를 사용하여 이미지 데이터셋을 로드하고, CNN으로 구성된 모델을 생성, 학습, 예측, 검증 성능을 측정하는 방법을 알아보겠습니다.
PyTorch 심층신경망(DNN) 모델 생성 후 Fashion MNIST 이미지 분류기 생성, 학습, 예측, 검증 성능 측정하기
PyTorch 심층신경망(Deep Neural Network) 모델을 생성하고 PyTorch의 내장 데이터셋인 Fashion MNIST 데이터셋을 로드하여 이미지 분류기를 생성, 학습, 예측, 검증 성능 측정하는 방법을 알아보겠습니다.
검증
PyTorch 전이학습(transfer learning)과 미세조정(fine tuning)으로 이미지 분류기 생성, 예측, 검증성능 평가하기
PyTorch의 사전 학습된 모델(pretrained model)을 로드하여 전이학습(transfer learning)을 통해 모델 생성, 학습, 예측 및 검증 성능을 측정해 보도록 하겠습니다.
PyTorch 로컬이미지 로드(ImageFolder) 후, DataLoader 생성 및 CNN이미지 분류 모델 생성, 학습, 검증 성능 측정하기
로컬 이미지 폴더에서 ImageFolder를 사용하여 이미지 데이터셋을 로드하고, CNN으로 구성된 모델을 생성, 학습, 예측, 검증 성능을 측정하는 방법을 알아보겠습니다.
PyTorch 심층신경망(DNN) 모델 생성 후 Fashion MNIST 이미지 분류기 생성, 학습, 예측, 검증 성능 측정하기
PyTorch 심층신경망(Deep Neural Network) 모델을 생성하고 PyTorch의 내장 데이터셋인 Fashion MNIST 데이터셋을 로드하여 이미지 분류기를 생성, 학습, 예측, 검증 성능 측정하는 방법을 알아보겠습니다.
평가
PyTorch 전이학습(transfer learning)과 미세조정(fine tuning)으로 이미지 분류기 생성, 예측, 검증성능 평가하기
PyTorch의 사전 학습된 모델(pretrained model)을 로드하여 전이학습(transfer learning)을 통해 모델 생성, 학습, 예측 및 검증 성능을 측정해 보도록 하겠습니다.
PyTorch 로컬이미지 로드(ImageFolder) 후, DataLoader 생성 및 CNN이미지 분류 모델 생성, 학습, 검증 성능 측정하기
로컬 이미지 폴더에서 ImageFolder를 사용하여 이미지 데이터셋을 로드하고, CNN으로 구성된 모델을 생성, 학습, 예측, 검증 성능을 측정하는 방법을 알아보겠습니다.
PyTorch 심층신경망(DNN) 모델 생성 후 Fashion MNIST 이미지 분류기 생성, 학습, 예측, 검증 성능 측정하기
PyTorch 심층신경망(Deep Neural Network) 모델을 생성하고 PyTorch의 내장 데이터셋인 Fashion MNIST 데이터셋을 로드하여 이미지 분류기를 생성, 학습, 예측, 검증 성능 측정하는 방법을 알아보겠습니다.
embedding
LangChain RAG 파헤치기: 문서 기반 QA 시스템 설계 방법 - 심화편
LangChain의 RAG 시스템을 통해 문서(PDF, txt, 웹페이지 등)에 대한 질문-답변을 찾는 과정을 정리하였습니다.
[pytorch] 토큰화(Tokenizing), Embedding + LSTM 모델을 활용한 텍스트 분류 예측
이번 튜토리얼에서는 sarcasm 데이터셋을 활용하여 뉴스 기사의 제목(headline) 텍스트를 학습하여 sarcastic(1) 인지 normal(0) 인지 판별하는 텍스트 분류기를 생성하고, 학습 및 추론까지 진행합니다.
bbc-text.csv 데이터셋을 활용한 BBC 뉴스 아티클 카테고리 분류기 만들기
BBC 뉴스 아티클 묶음 데이터셋인 bbc-text.csv 파일을 활용하여 TensorFlow 의 Tokenizer로 단어 사전을 만들고 자연어 처리 모델 학습을 위한 데이터 전처리를 진행해 보겠습니다. bbc-text.csv 파일을 pandas로 읽어와서 데이터프레임 변환 후 라...
huggingface
LangChain RAG 파헤치기: 문서 기반 QA 시스템 설계 방법 - 심화편
LangChain의 RAG 시스템을 통해 문서(PDF, txt, 웹페이지 등)에 대한 질문-답변을 찾는 과정을 정리하였습니다.
[huggingface] BERT를 활용한 텍스트 분류(bbc news 데이터셋)
본 튜토리얼에서는 HuggingFace 의 transformers 라이브러리를 활용한 튜토리얼 입니다.
[huggingface] 한글 pre-trained 사전학습 BERT 모델로 텍스트 분류하기
이번 포스팅에서는 Huggingface의 한글 데이터셋으로 사전 학습된 kykim/bert-kor-base 모델을 가져와서 한글 자연어 데이터에 대한 텍스트 분류기를 만들어 보겠습니다. 이미지넷에서는 전이학습을 통해 손쉽게 Transfer Learning을 수행할 수 있습니다. ...
주피터 노트북
도커(docker)로 한글 패키지가 설치된 주피터 노트북(jupyter notebook) 실행하기
이번에 배포한 teddylee777/datascience-notebook 도커 이미지는 파이썬(Python) 기반의 데이터 분석, 머신러닝 패키지가 설치되어 있는 노트북 도커(docker) 이미지 입니다.
macOS의 iTerm/Mac 기본 터미널에서 Docker 명령어를 Alias로 지정하기
Docker는 개발자들에게 매우 유용한 도구입니다. 종종 복잡한 도커 명령어를 자주 사용하게 되는데, 이러한 명령어들을 간단한 명령어로 줄여서 사용 하고 싶을 때가 있습니다.
[Docker] 한글폰트가 추가된 Data Science 전용 jupyter notebook 컨테이너
이번 포스팅에서는 도커(docker)로 패키징한 주피터 노트북(jupyter notebook) 컨테이너를 실행하여 매우 쉽고 빠르게 노트북 서버를 구동하는 방법 에 대해 공유드리고자 합니다.
PromptTemplate
LLMs를 활용한 문서 요약 가이드: Stuff, Map-Reduce, Refine 방법 총정리
이번 글은 LangChain 을 활용하여 문서를 요약하는 방법에 대하여 다룹니다. 특히, 문서 요약의 3가지 방식은 Stuff, Map-Reduce, Refine 방식에 대하여 알아보고, 각각의 방식 간의 차이점에 대하여 다룹니다.
LangChain Expression Language(LCEL) 원리 이해와 파이프라인 구축 가이드
이 블로그 글에서는 LangChain Expression Language(LCEL) 원리 이해와 LCEL 에 기반한 파이프라인 구축의 기본을 소개합니다.
랭체인(langchain) + 챗(chat) - ConversationChain, 템플릿 사용법 (3)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 챗(Chat) 기능 구현을 하는 방법에 대해 알아보겠습니다.
임베딩
LangChain RAG 파헤치기: 문서 기반 QA 시스템 설계 방법 - 심화편
LangChain의 RAG 시스템을 통해 문서(PDF, txt, 웹페이지 등)에 대한 질문-답변을 찾는 과정을 정리하였습니다.
Gemini API를 활용한 이상 탐지: 임베딩으로 데이터셋 분석하기
이 글에서는 Gemini API를 사용하여 데이터셋에서 이상치를 탐지하는 방법을 알아봅니다. 그리고 임베딩과 t-SNE를 활용한 데이터 시각화 및 이상치 탐지 과정을 단계별로 설명합니다.
Google Gemini Pro API를 활용한 문서 검색 및 임베딩 가이드
Google의 Gemini API로 임베딩을 생성하고 문서 검색하는 방법을 다룹니다.
프롬프트
LangChain RAG 파헤치기: 문서 기반 QA 시스템 설계 방법 - 심화편
LangChain의 RAG 시스템을 통해 문서(PDF, txt, 웹페이지 등)에 대한 질문-답변을 찾는 과정을 정리하였습니다.
LangChain Expression Language(LCEL) 원리 이해와 파이프라인 구축 가이드
이 블로그 글에서는 LangChain Expression Language(LCEL) 원리 이해와 LCEL 에 기반한 파이프라인 구축의 기본을 소개합니다.
[LangChain] 문장을 파이썬 코드로, 이미지를 파이썬 코드로 변경하는 방법
이번 튜토리얼에는 langchain 라이브러리와 GPT-4 모델을 사용하여 문장을 파이썬 코드로 변경 및 실행하고, 이미지를 이해하고 이를 파이썬 코드로 변경하는 방법을 다룹니다.
gpt-3.5
[Assistants API] Code Interpreter, Retrieval, Functions 활용법
OpenAI의 새로운 Assistants API는 대화와 더불어 강력한 도구 접근성을 제공합니다. 본 튜토리얼은 OpenAI Assistants API를 활용하는 내용을 다룹니다. 특히, Assistant API 가 제공하는 도구인 Code Interpreter, Retrieval...
LangChain으로 네이버 뉴스 기반 Q&A 애플리케이션 구축하기 - 기본편
LangChain을 활용하여 간단하게 네이버 뉴스기사를 바탕으로 Q&A 애플리케이션을 만드는 방법을 다룹니다.
OpenAI API 모델 리스트 / 요금표
최신 버전의 업데이트 된 OpenAI Model 리스트와 API 사용요금(Pricing) 입니다.
지킬블로그
OPENAI API(ChatGPT)를 활용한 블로그 생성 자동화
이번 포스팅에서는 OPENAI의 API를 활용하여 ChatGPT 의 텍스트 생성 모델인 text-davinci-003로 주제와 세부요구사항에 맞게 자동으로 블로그를 생성하고 이를 GitHub Pages에 블로그로 포스팅으로 자동 배포하는 튜토리얼을 진행해 보도록 하겠습니다.
편안한 Jekyll 사용을 위한 마크다운(markdown) 문법
Github Pages 운용을 위해서는 markdown 문법에 대한 이해도가 요구되며, [공통] 마크다운 markdown 작성법을 참고하여 작성하였습니다.
마크다운
Jupyter Notebook을 마크다운(.md) 형식으로 쉽게 변환하여 블로그에 업데이트하기
많은 분들께서 Jekyll 블로그 (혹은 GitHub Pages 블로그)에 포스팅 할 때 Jupyter Notebook을 바로 변환해서 마크다운 형식으로 바로 업로드 하고 싶어할껍니다. 왜냐면, Jupyter Notebook으로 작성된 코드와 주석, 텍스트, 그리고 이미지등을 다시...
편안한 Jekyll 사용을 위한 마크다운(markdown) 문법
Github Pages 운용을 위해서는 markdown 문법에 대한 이해도가 요구되며, [공통] 마크다운 markdown 작성법을 참고하여 작성하였습니다.
비동기
파이썬 비동기(async)함수와 코루틴(coroutine) 흐름 이해하기
파이썬에서 async 함수는 비동기 프로그래밍 을 위한 기능입니다. 파이썬 함수에서 def 키워드로 정의할 때 앞에 async 가 붙습니다. 파이썬의 비동기 함수가 많이 사용될 때는 I/O 바운드 작업 이나 높은 대기 시간이 예상되는 작업을 처리 할 때 유용합니다.
안드로이드(Android) - AsyncTask
우연치 않은 계기로 안드로이드에서 Open Source로 올려놓은 Bitmap Displaying을 그대로 따라 구현해 보려고, 소스코드를 import 시킨 후, 분석을 시작했다.
pip
나만의 파이썬 패키지(PYPI) 만들기 및 등록하고 배포하기
PYPI는 Python Package Index의 약어로 Python 패키지 저장소의 개념으로 생각하시면 됩니다. 수 많은 개발자들이 본인이 만든 파이썬 소프트웨어를 손쉽게 설치하고 활용할 수 있도록 패키지화 하여 저장소에 업로드를 하는데요. 저장소에 업로드된 패키지를 pip in...
파이썬(Python) - MySQL 패키지 (Client) 설치
Python(파이썬) 개발시 MySQL Client 설치 방법에 대해 알아보겠다.
one hot encoding
카테고리형 데이터를 수치형으로 변환하기 (LabelEncoder와 Categorical dtype)
카테고리형 데이터(Categorical Data)를 수치형 데이터(Numerical Data)로 변환해주는 작업은 머신러닝 모델을 돌려보기 위해서 필수로 해줘야하는 전처리 작업입니다.
Numpy로 One-hot Encoding 쉽게 하기
머신러닝(machine-learning)에서 dataset을 돌리기 전에 one-hot encoding을 해야하는 경우가 많다.
원핫인코딩
카테고리형 데이터를 수치형으로 변환하기 (LabelEncoder와 Categorical dtype)
카테고리형 데이터(Categorical Data)를 수치형 데이터(Numerical Data)로 변환해주는 작업은 머신러닝 모델을 돌려보기 위해서 필수로 해줘야하는 전처리 작업입니다.
Numpy로 One-hot Encoding 쉽게 하기
머신러닝(machine-learning)에서 dataset을 돌리기 전에 one-hot encoding을 해야하는 경우가 많다.
pre-processing
scikit-learn 데이터 전처리
데이터 전처리는 데이터 분석 및 머신러닝 학습을 위해서 매우 중요한 단계 입니다. 실무 프로젝트에서는 전체 프로젝트 기간 중 평균 50~70% 이상 시간을 전처리 및 EDA에 투자한다고 합니다. 그만큼 좋은 전처리를 하면 할수록 좋은 성능을 내는 머신러닝 모델을 만들 수 있습니다.
Pandas와 scikit-learn으로 정말 간단한 pre-processing 몇 가지 팁
캐글 (Kaggle) 의 Titanic: Machine Learning from Disaster 의 train 데이터를 활용해 간단한 시각화 및 빠진 데이터 pre-processing 그리고 간단한 Normalization까지 해보도록 하겠습니다. Train 데이터는 윗 줄의 링크...
클러스터링
Gemini API를 활용한 이상 탐지: 임베딩으로 데이터셋 분석하기
이 글에서는 Gemini API를 사용하여 데이터셋에서 이상치를 탐지하는 방법을 알아봅니다. 그리고 임베딩과 t-SNE를 활용한 데이터 시각화 및 이상치 탐지 과정을 단계별로 설명합니다.
sklearn의 KMeans 모듈을 활용한 뉴스 클러스터링
하루에도 수만개의 뉴스기사가 쏟아져 나옵니다. 수많은 뉴스기사들을 중복되거나 매우 유사도가 높은 기사들은 구독자에게 중복되게 노출시키지 않기 위해서 뉴스기사를 서비스 하고 있는 포털 사이트나 언론사에서도 뉴스기사 클러스터링 기법을 사용하고 있습니다.
package
#11-파이썬(Python) 패키지(package)와 모듈(module)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 패키지(package)와 모듈(module)을 다룹니다.
Data Science (데이터 분석)을 위한 python package 리스트(1) - 필수 패키지
Python을 활용한 Data Science, 즉 더 구체적으로 얘기하자면, 데이터 분석을 할 때는 다양한 패키지들을 활용하게 됩니다. 초기에 가상환경을 여러개 만들어 놓고 상황에 맞춰 돌아가면서 쓸 수 있습니다.
내장 데이터셋
scikit-learn 데이터셋(dataset) 다루기
scikit-learn의 패키지에 포함된 dataset 패키지에서 Toy Dataset을 로딩하여 학습해 보는 튜토리얼입니다.
sklearn.datasets 모듈을 활용하여 샘플데이터 로딩하기
sklearn.datasets 모듈에는 대표적인 sample dataset들을 제공하고 손쉽게 다운로드 및 로딩할 수 있습니다.
iris
scikit-learn 데이터셋(dataset) 다루기
scikit-learn의 패키지에 포함된 dataset 패키지에서 Toy Dataset을 로딩하여 학습해 보는 튜토리얼입니다.
sklearn의 K-Nearest Neighbors 분류기를 활용하여 Iris 꽃 종류 분류하기 (Classifier)
K-최근접 이웃 (K-Nearest Neighbors) 알고리즘은 분류(Classifier)와 회귀(Regression)에 모두 쓰입니다. 처음 접하는 사람들도 이해하기 쉬운 알고리즘이며, 단순한 데이터를 대상으로 분류나 회귀를 할 때 사용합니다.
크롤러
2019년 KBO 관객수를 크롤링하여 matplotlib으로 시각화 해보겠습니다
이번 포스팅에서는 2019년 KBO 관객수를 크롤링해보고, matplotlib 라이브러리를 활용하여 시각화 해보도록 하겠습니다.
뉴스 기사 와 RSS 피드에서 손쉽게 크롤링 하여 정보 수집하기
최근 뉴스 기사를 크롤링하여 군집화 하는 작업을 하기 위해서, 국내 신문기사의 정보들을 크롤링해야하는 작업이 필요하였습니다. request와 BeautifulSoup4를 사용해서 크롤링하는 것은 간단하지만, 언론사 웹사이트 별로 기사의 contents를 표시하는 tag와 class...
nvidia
우분투(ubuntu 20.04) 에서 기존의 CUDA 설치버전 업데이트 하는 방법
본 포스팅은 Ubuntu 20.04 환경에서 기존에 설치된 CUDA 11.2 버전을 클린 삭제 후 CUDA 11.8 로 업그레이드 하는 과정을 담고 있습니다. CUDA 가 설치가 되어 있지 않은 서버에서도 동일하게 진행할 수 있습니다.
딥러닝 PC에 Ubuntu 18.04 설치 후 CUDA 10, cuDNN 설치하기
Amazon AWS에서 좋은 GPU 자원으로 딥러닝을 돌리다보니 요금폭탄을 맞았습니다.. 그래서 이참에 딥러닝 PC를 구매를 하게 되었고 딥러닝 서버를 위한 CUDA 및 cuDNN까지 설치하는 방법에 대하여 알려드리고자 합니다.
memory
[LangChain] 에이전트(Agent)와 도구(tools)를 활용한 지능형 검색 시스템 구축 가이드
이 글에서는 LangChain 의 Agent 프레임워크를 활용하여 복잡한 검색과 데이터 처리 작업을 수행하는 방법을 소개합니다. LangSmith 를 사용하여 Agent의 추론 단계를 추적합니다. Agent가 활용할 검색 도구(Tavily Search), PDF 기반 검색 리트리버...
더 나은 딥러닝/머신러닝 서버 환경을 위하여 지금 바로 메모리에 투자하세요.
얼마 전, 개인용 딥러닝 서버에 문제가 생겨서 용산을 방문했습니다.
gpu 설정
머신러닝/딥러닝 라이브러리 - GPU 사용 테스트
본 포스팅은 딥러닝 도커 설치 후 머신러닝/딥러닝 라이브러리의 GPU 사용 여부를 테스트하는 코드를 공유 드립니다. 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker)글을 참고하셔서 도커로 딥러닝 환경 구성을 하신 후, 아래 코드로 테스트 해 볼 수 있습...
Tensorflow, Keras, Pytorch GPU 사용여부 체크하기
딥러닝 프레임워크에서 GPU 사용여부를 체크할 수 있는 API에 대하여 알려드리도록 하겠습니다.
hyperparameter
머신러닝 실전 앙상블 (Ensemble)과 Hyperparameter 튜닝
머신러닝 알고리즘의 끝판왕인 앙상블(Ensemble) 알고리즘에 대하여 알아보도록 하겠습니다. 앙상블 알고리즘은 방법론 적인 측면에서 Voting, Bagging, Boosting 알고리즘등으로 나뉠 수 있겠고, 앙상블의 앙상블 알고리즘인 Stacking 그리고 Weighted B...
GridSearch를 이용한 머신러닝 Hyperparameter 튜닝
Hyperparameter 튜닝을 위해서는 다양한 방법론이 존재합니다. 가장 쉬운 방법으로는 일명 손튜닝이 있을 수 있겠구요. RandomSearch, GridSearch, HyperOpt등 다양한 방법으로 Hyperparameter를 튜닝할 수 있습니다.
decision tree
의사결정 나무 (Decision Tree)와 Entropy, 그리고 Gini 계수
Decision Tree는 Random Forest Ensemble 알고리즘의 기본이 되는 알고리즘이며, Tree 기반 알고리즘입니다. 의사결정나무 혹은 결정트리로 불리우는 이 알고리즘은 머신러닝의 학습 결과에 대하여 시각화를 통한 직관적인 이해가 가능하다는 것이 큰 장점입니다. ...
Tree기반 모델(DecisionTree, RandomForest)의 분할 그래프 시각화하기 (graphviz)
Tree 기반 모델은 RandomForest 모델때문에 참 인기있게 활용되는 알고리즘 입니다. RandomForest 모델은 데이터 분석 대회인 캐글에서도 활발히 활용되고 있으며, 성능이 좋을 뿐만아니라 쉽고 간편하게 사용할 수 있기 때문에 저 또한 데이터 분석 대회에서 basel...
built in function
#10-파이썬(Python) 내장함수-map, zip, filter, enumerate
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 내장함수(built-in function) 중 map(), zip(), filter(), enumerate()를 다룹니다.
python의 built-in function인 lambda, map, filter, 그리고 reduce에 대한 쉬운 이해와 사용법
lambda, map, filter 그리고 reduce는 python 코딩에서 자주 활용되는 대표적인 built-in function입니다. (reduce는 python3에서 built-in에서는 제거되었습니다)
lambda
#09-파이썬(Python) 함수, lambda 함수, 인수(arguments), 매개변수(parameters)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 함수(function), lambda 함수, 인수(arguments)와 매개변수(parameters)를 다룹니다.
python의 built-in function인 lambda, map, filter, 그리고 reduce에 대한 쉬운 이해와 사용법
lambda, map, filter 그리고 reduce는 python 코딩에서 자주 활용되는 대표적인 built-in function입니다. (reduce는 python3에서 built-in에서는 제거되었습니다)
filter
#10-파이썬(Python) 내장함수-map, zip, filter, enumerate
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 내장함수(built-in function) 중 map(), zip(), filter(), enumerate()를 다룹니다.
python의 built-in function인 lambda, map, filter, 그리고 reduce에 대한 쉬운 이해와 사용법
lambda, map, filter 그리고 reduce는 python 코딩에서 자주 활용되는 대표적인 built-in function입니다. (reduce는 python3에서 built-in에서는 제거되었습니다)
labelencoder
scikit-learn 데이터 전처리
데이터 전처리는 데이터 분석 및 머신러닝 학습을 위해서 매우 중요한 단계 입니다. 실무 프로젝트에서는 전체 프로젝트 기간 중 평균 50~70% 이상 시간을 전처리 및 EDA에 투자한다고 합니다. 그만큼 좋은 전처리를 하면 할수록 좋은 성능을 내는 머신러닝 모델을 만들 수 있습니다.
카테고리형 데이터를 수치형으로 변환하기 (LabelEncoder와 Categorical dtype)
카테고리형 데이터(Categorical Data)를 수치형 데이터(Numerical Data)로 변환해주는 작업은 머신러닝 모델을 돌려보기 위해서 필수로 해줘야하는 전처리 작업입니다.
github pages
OPENAI API(ChatGPT)를 활용한 블로그 생성 자동화
이번 포스팅에서는 OPENAI의 API를 활용하여 ChatGPT 의 텍스트 생성 모델인 text-davinci-003로 주제와 세부요구사항에 맞게 자동으로 블로그를 생성하고 이를 GitHub Pages에 블로그로 포스팅으로 자동 배포하는 튜토리얼을 진행해 보도록 하겠습니다.
Github 블로그의 방문자 숫자, 구글 애드센스(adsense), 그리고 검색 유입의 관계
현재 운영하고 있는 블로그의 일일 방문객 수 400명 돌파를 자축하며, 방문객 수와 구글 애드센스(Google Adsense) 그리고 검색 유입량의 관계에 대하여 공유 드리고자 합니다.
조기종료
[pytorch] Early Stopping 조기종료 구현 및 적용
조기 종료(Early Stopping)는 학습시 일정기간(여기서 기간은 보통 N번의 Epoch을 기준으로 합니다)동안 Loss 나 Score 기준으로 개선이 일어나지 않으면 학습을 조기에 종료해 주는 기능입니다. 만약, 20번의 Epoch 동안 학습이 진행한다고 가정했을 때, 아래...
[Keras] 콜백함수 (3) - 조기종료: EarlyStopping
EarlyStopping 콜백을 활용하면, model의 성능 지표가 설정한 epoch동안 개선되지 않을 때 조기 종료할 수 있습니다. EarlyStopping과 이전에 언급한 ModelCheckpoint 콜백의 조합을 통하여, 개선되지 않는 학습에 대한 조기 종료를 실행하고, Mo...
패스트캠퍼스
입문자를 위한 데이터분석 포트폴리오 완성, 캡스톤프로젝트를 진행합니다.
이번 글은 국내 최고 성인 실무교육 기관인 패스트캠퍼스와 협력하여 지난 3개월간의 고민 끝에 드디어 런칭을 앞두고 있는 데이터분석 캡스톤 프로젝트에 대하여 시작하게 된 배경과 최종 목표에 대하여 공유하고자 합니다.
비전공자를 위한 데이터 분석 강의를 오픈합니다. feat.패스트캠퍼스
비전공자, 직장인들을 위한 데이터 분석 강의를 패스트캠퍼스에서 오픈하게 되었습니다.
google tensorflow developers certificate
[2023년 업데이트] 구글 텐서플로 개발자 자격인증 시험을 위한 환경설치(PyCharm, 필요 라이브러리 설치)
본 포스팅은 Google TensorFlow Developers Certificate 자격인증 시험을 위한 환경설치를 위한 내용입니다.
텐서플로우 개발자 자격증 (Tensorflow Developer Certification) 시험 그리고 취득방법
Google 에서 공식 인증하는 Tensorflow Developers Certification (텐서플로우 2.0 개발자 자격증) 시험에 대한 응시 방법, 취득, 그리고 노하우를 공유드리고자 합니다.
tdc
[2023년 업데이트] 구글 텐서플로 개발자 자격인증 시험을 위한 환경설치(PyCharm, 필요 라이브러리 설치)
본 포스팅은 Google TensorFlow Developers Certificate 자격인증 시험을 위한 환경설치를 위한 내용입니다.
텐서플로우 개발자 자격증 (Tensorflow Developer Certification) 시험 그리고 취득방법
Google 에서 공식 인증하는 Tensorflow Developers Certification (텐서플로우 2.0 개발자 자격증) 시험에 대한 응시 방법, 취득, 그리고 노하우를 공유드리고자 합니다.
딥러닝 자격증 취득
[2023년 업데이트] 구글 텐서플로 개발자 자격인증 시험을 위한 환경설치(PyCharm, 필요 라이브러리 설치)
본 포스팅은 Google TensorFlow Developers Certificate 자격인증 시험을 위한 환경설치를 위한 내용입니다.
텐서플로우 개발자 자격증 (Tensorflow Developer Certification) 시험 그리고 취득방법
Google 에서 공식 인증하는 Tensorflow Developers Certification (텐서플로우 2.0 개발자 자격증) 시험에 대한 응시 방법, 취득, 그리고 노하우를 공유드리고자 합니다.
image classification
[tensorflow] ImageDataGenerator / Convolution Neural Network(CNN) 을 활용한 이미지 분류
TensorFlow 2.0의 ImageDataGenerator를 활용하여 Image 데이터를 로컬 폴더에서 로딩 후 Generator를 통해 Image Augmentation과 모델에 Feed 할 수 있는 Generator를 만들어 보도록 하겠습니다.
Kaggle Digit Recognizer Competition - achieve over 99% accuracy!
This is a very simple tutorial for tensorflow 2.0 beginners! This tutorial is based on Digit Recognizer presented by Kaggle You may be able to submit w...
nlp
Attention을 활용한 Seq2Seq 모델 생성과 데이터셋 구성
이번 포스팅에서는 Attention을 활용한 Seq2Seq 모델을 생성하는 방법 그리고 Seq2Seq 모델의 학습을 위해 필요한 데이터셋을 구성하는 방법에 대하여 알아보도록 하겠습니다.
[tensorflow] 단어 토큰화, Embedding, LSTM layer를 활용한 뉴스 데이터 sarcasm 판단
캐글의 뉴스의 Sarcasm 에 대한 판단을 해주는 딥러닝 모델을 tensorflow 2.0을 활용하여 만들어 보겠습니다.
그래프
Seaborn의 통계 차트 및 데이터 시각화 예제
seaborn은 matplotlib의 상위 호환 데이터 시각화를 위한 라이브러리입니다. seaborn패키지는 데이터프레임으로 다양한 통계 지표를 낼 수 있는 시각화 차트를 제공하기 때문에 데이터 분석에 활발히 사용되고 있는 라이브러리입니다.
Matplotlib을 활용한 데이터 시각화 그래프 예제
데이터 시각화를 위한 라이브러리인 matplotlib 의 주요 그래프와 세부 옵션들에 대하여 알아보는 튜토리얼입니다.
차트
Seaborn의 통계 차트 및 데이터 시각화 예제
seaborn은 matplotlib의 상위 호환 데이터 시각화를 위한 라이브러리입니다. seaborn패키지는 데이터프레임으로 다양한 통계 지표를 낼 수 있는 시각화 차트를 제공하기 때문에 데이터 분석에 활발히 사용되고 있는 라이브러리입니다.
Matplotlib을 활용한 데이터 시각화 그래프 예제
데이터 시각화를 위한 라이브러리인 matplotlib 의 주요 그래프와 세부 옵션들에 대하여 알아보는 튜토리얼입니다.
텐서보드
원격 서버 Jupyter Notebook에서 TensorBoard(텐서보드) 로드 하기
tensorboard는 딥러닝 프레임워크에서 모델이 학습되는 과정을 실시간으로 모니터링 할 수 있는 강력한 툴입니다.
TensorBoard 활용법 및 colab에서 로드하기
TensorBoard 사용을 위한 callback을 만드는 방법과 colab에서 바로 로드하여 확인할 수 있는 magic command에 대한 내용입니다.
tensorboard
원격 서버 Jupyter Notebook에서 TensorBoard(텐서보드) 로드 하기
tensorboard는 딥러닝 프레임워크에서 모델이 학습되는 과정을 실시간으로 모니터링 할 수 있는 강력한 툴입니다.
TensorBoard 활용법 및 colab에서 로드하기
TensorBoard 사용을 위한 callback을 만드는 방법과 colab에서 바로 로드하여 확인할 수 있는 magic command에 대한 내용입니다.
전이학습
PyTorch 전이학습(transfer learning)과 미세조정(fine tuning)으로 이미지 분류기 생성, 예측, 검증성능 평가하기
PyTorch의 사전 학습된 모델(pretrained model)을 로드하여 전이학습(transfer learning)을 통해 모델 생성, 학습, 예측 및 검증 성능을 측정해 보도록 하겠습니다.
[tensorflow] VGG16 Transfer Learning 구현과 CNN 모델과 성능 비교
Tranfer Learning은 사전 학습된 모델을 활용하는 방법입니다. 사전 학습된 모델은 방대한 데이터에 대하여 이미 학습된 모델이기 떄문에 적은 학습 cost로 좋은 성능을 이끌어 낼 수 있습니다.
transfer learning
PyTorch 전이학습(transfer learning)과 미세조정(fine tuning)으로 이미지 분류기 생성, 예측, 검증성능 평가하기
PyTorch의 사전 학습된 모델(pretrained model)을 로드하여 전이학습(transfer learning)을 통해 모델 생성, 학습, 예측 및 검증 성능을 측정해 보도록 하겠습니다.
[tensorflow] VGG16 Transfer Learning 구현과 CNN 모델과 성능 비교
Tranfer Learning은 사전 학습된 모델을 활용하는 방법입니다. 사전 학습된 모델은 방대한 데이터에 대하여 이미 학습된 모델이기 떄문에 적은 학습 cost로 좋은 성능을 이끌어 낼 수 있습니다.
fillna
#05-Pandas(판다스) DataFrame의 복사(Copy)와 결측치(NaN values) 처리
이번 에피소드에서는 Pandas 데이터프레임(DataFrame) 의 복사(Copy)와 중요한 전처리 Task 중의 하나인 결측치 처리 에 대해서 알아보겠습니다.
Pandas를 활용한 결측치 보간(interpolation) 하기
탐색적 데이터 분석 (Exploratory Data Analysis)를 진행하다보면, 매우 흔한 확률로 결측치가 존재하는 것을 볼 수 있습니다. 우리는 이런 경우 결측치를 버릴건지(drop), 혹은 채워주어야 합니다. 그러나, 데이터를 함부로 drop하여 머신러닝 예측을 ...
시계열데이터
Python 시계열 데이터 분석 - AR, MA, ARIMA, SARIMAX, 분해, 지수평활
시계열 데이터 분석이라는 다소 넓은 범위의 주제이지만, 그 중에서도 전통적인 시계열 분석에서 언급되는 주요 분석 기법에 대해서 간략히 알아보고, 파이썬(Python) 코드로 구현하는 방법에 대해 알아보겠습니다.
Pandas를 활용한 결측치 보간(interpolation) 하기
탐색적 데이터 분석 (Exploratory Data Analysis)를 진행하다보면, 매우 흔한 확률로 결측치가 존재하는 것을 볼 수 있습니다. 우리는 이런 경우 결측치를 버릴건지(drop), 혹은 채워주어야 합니다. 그러나, 데이터를 함부로 drop하여 머신러닝 예측을 ...
파이참
[2023년 업데이트] 구글 텐서플로 개발자 자격인증 시험을 위한 환경설치(PyCharm, 필요 라이브러리 설치)
본 포스팅은 Google TensorFlow Developers Certificate 자격인증 시험을 위한 환경설치를 위한 내용입니다.
텐서플로우(tensorflow) 파이참(pycharm)에서 dll 오류 해결
TensorFlow 2.0을 Pycharm에서 실행시 dll load failed: 지정된 모듈을 찾을 수 없습니다.가 나는 경우가 있습니다.
선형회귀
Lasso, Ridge, ElasticNet-L1, L2규제를 적용한 선형 알고리즘
선형 알고리즘에 기반한 알고리즘에 대해서 알아보고 회귀 (Regression) 문제를 다뤄보도록 하겠습니다. 이번 선형 알고리즘에 기반한 회귀 문제를 다룰 때 L1, L2 규제의 개념이 등장합니다. L1, L2 규제는 딥러닝까지 쭉 이어지는 개념이고, 앞으로 머신러닝/딥러닝 학습시...
최소제곱법 (Ordinary Least Squares) 과 선형회귀 알고리즘 (Linear Regression)
이번 포스팅에서는 최소제곱법(Least Ordinary Sqaures)의 Python 코드 구현과 scikit-learn의 LinearRegression을 활용하여 회귀(Regression) 예측까지 해보겠습니다.
attention
[pytorch] Seq2Seq with Attention 구현 및 한 줄씩 코드 설명
이번 포스팅에서는 Attention 메카니즘이 적용된 Seq2Seq 모델을 pytorch로 구현하고, 코드 한 줄씩 직접 shape를 찍어보고 확인하면서 구현된 코드 통해 동작 원리와 Attention 구조를 이해해 보도록 하겠습니다.
Attention을 활용한 Seq2Seq 모델 생성과 데이터셋 구성
이번 포스팅에서는 Attention을 활용한 Seq2Seq 모델을 생성하는 방법 그리고 Seq2Seq 모델의 학습을 위해 필요한 데이터셋을 구성하는 방법에 대하여 알아보도록 하겠습니다.
AI주가
Facebook(Meta) Prophet을 활용한 시계열데이터 예측 및 시각화
이번 포스팅에서는 Facebook Prophet을 활용하여 시계열데이터 예측 튜토리얼을 진행해 보겠습니다.
LSTM과 FinanceDataReader API를 활용한 삼성전자 주가 예측
이번 튜토리얼에서는 딥러닝 모델을 활용하여 삼성전자 주가 예측을 진행해 보겠습니다.
금융
코사인 유사도(cosine similarity)로 과거 주가의 유사 패턴을 찾아 미래 예측하기
주가의 과거 패턴을 찾아 미래를 예측하는 것이 가능할까요?
LSTM과 FinanceDataReader API를 활용한 삼성전자 주가 예측
이번 튜토리얼에서는 딥러닝 모델을 활용하여 삼성전자 주가 예측을 진행해 보겠습니다.
prophet
[AutoML] PyCaret을 활용한 시계열 데이터 예측 모형 생성
이번 포스트의 주제는 “PyCaret을 활용한 시계열 데이터 예측 모형 생성” 입니다. 이 글에서는 시계열 데이터 예측 모형을 구축하는 과정을 세심하게 탐구하게 될 것입니다. 특히, PyCaret 라이브러리를 활용하여 기계 학습 프로세스를 효과적으로 자동화하는 방법을 중점적으로 다...
Facebook(Meta) Prophet을 활용한 시계열데이터 예측 및 시각화
이번 포스팅에서는 Facebook Prophet을 활용하여 시계열데이터 예측 튜토리얼을 진행해 보겠습니다.
상속
PyTorch Dataset을 상속받은 사용자 정의 이미지 데이터셋(CustomImageDataset) 구성하기
이번 튜토리얼에서는 torch.utils.data.Dataset을 상속 받아 사용자 정의 이미지 데이터셋을 구성하고, 이를 활용하여 DataLoader를 구성하는 방법에 대하여 알아보겠습니다.
Python 클래스의 상속 (inheritance)
텐서플로의 Model Subclassing 구현을 위해서는 python의 상속(inheritance) 개념을 필히 알고 있어야 합니다. 그래서, 이번 포스팅에서는 python의 클래스 그리고 상속에 대한 내용을 다뤄 보도록 하겠습니다.
pandas tutorial
#02-Pandas(판다스) 파일 입출력 - Excel, CSV
이번 에피소드에서는 Pandas의 파일 입출력에 대하여 알아보겠습니다. 그리고, 데이터 분석에서 DB를 제외한 가장 많이 사용되는 파일 형식인 엑셀(Excel)과 CSV (Comma Separated Value)을 로드하고 데이터프레임(DataFrame)을 엑셀(Excel)이나 C...
#01-Pandas(판다스) 기본 자료구조
Pandas(판다스) 는 막강한 오픈소스 데이터 분석 도구 입니다. Pandas는 업무자동화, 크롤링(Crawling), 데이터베이스 입출력, 시계열 데이터분석, 시각화 등등 다양한 분야에 활용할 수 있는 방대한 기능을 갖추고 있습니다. Pandas의 DataFrame은 Micro...
sort
#03-Pandas(판다스) 데이터프레임(DataFrame) 조회, 정렬(sort), 조건필터(loc, iloc)
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 많이 사용하는 기능인 조회, 정렬 그리고 조건필터 입니다.
#03-Pandas(판다스) 데이터프레임(DataFrame) 조회, 정렬(sort), 조건필터(loc, iloc)
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 많이 사용하는 기능인 조회, 정렬 그리고 조건필터 입니다.
타입 변환
#06-Pandas(판다스) 데이터 전처리, 추가, 삭제, 데이터 type 변환
이번 에피소드에서는 Pandas DataFrame의 row, column의 추가, 삭제, 컬럼간 연산, 타입의 변환 그리고 데이터 전처리 방법에 대하여 다뤄 보도록 하겠습니다.
#06-Pandas(판다스) 데이터 전처리, 추가, 삭제, 데이터 type 변환
이번 에피소드에서는 Pandas DataFrame의 row, column의 추가, 삭제, 컬럼간 연산, 타입의 변환 그리고 데이터 전처리 방법에 대하여 다뤄 보도록 하겠습니다.
튜닝
캐글/데이콘 경진대회 Baseline을 잡기 위한 optuna + [xgboost, lightgbm, catboost] 패키지 소개
경진대회에서 모델의 Hyperparameter 튜닝에 드는 노력과 시간을 절약하기 위하여 xgboost, lightgbm, catboost 3개의 라이브러리에 대하여 optuna 튜닝을 적용하여 예측 값을 산출해 내는 로직을 라이브러리 형태로 패키징 했습니다.
베이지안 최적화에 기반한 HyperOpt를 활용한 하이퍼 파라미터 튜닝
Baysian Optimization 기반한 하이퍼파라미터 튜닝 라이브러리인 HyperOpt 에 대하여 다뤄보도록 하겠습니다.
자료구조
넘파이(Numpy) 튜토리얼
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 수치계산용 라이브러리인 넘파이(numpy) 를 다룹니다.
#01-파이썬(Python) 기본 자료구조
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
딥러닝 도커
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
캐글 노트북(Kaggle Notebook) 도커에 한글 자연어처리 패키지를 추가한 딥러닝 도커 배포, 설치 및 실행
캐글 노트북(Kaggle Notebook) 커널로도 유명한 도커인 Kaggle/docker-python의 GPU Docker(gpu.Dockerfile)를 기반으로 구성하였습니다. Kaggle에서 공개한 도커 이미지는 한글 폰트, 자연어처리 패키지, 형태소 분석기 등이 누락되어 있...
실행
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
캐글 노트북(Kaggle Notebook) 도커에 한글 자연어처리 패키지를 추가한 딥러닝 도커 배포, 설치 및 실행
캐글 노트북(Kaggle Notebook) 커널로도 유명한 도커인 Kaggle/docker-python의 GPU Docker(gpu.Dockerfile)를 기반으로 구성하였습니다. Kaggle에서 공개한 도커 이미지는 한글 폰트, 자연어처리 패키지, 형태소 분석기 등이 누락되어 있...
xgboost
캐글/데이콘 경진대회 Baseline을 잡기 위한 optuna + [xgboost, lightgbm, catboost] 패키지 소개
경진대회에서 모델의 Hyperparameter 튜닝에 드는 노력과 시간을 절약하기 위하여 xgboost, lightgbm, catboost 3개의 라이브러리에 대하여 optuna 튜닝을 적용하여 예측 값을 산출해 내는 로직을 라이브러리 형태로 패키징 했습니다.
머신러닝/딥러닝 라이브러리 - GPU 사용 테스트
본 포스팅은 딥러닝 도커 설치 후 머신러닝/딥러닝 라이브러리의 GPU 사용 여부를 테스트하는 코드를 공유 드립니다. 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker)글을 참고하셔서 도커로 딥러닝 환경 구성을 하신 후, 아래 코드로 테스트 해 볼 수 있습...
groupby
판다스(Pandas) .groupby()로 할 수 있는 거의 모든 것! (통계량, 전처리)
판다스(Pandas)의 .groupby() 기능은 데이터를 그룹별로 분할하여 독립된 그룹에 대하여 별도로 데이터를 처리(혹은 적용)하거나 그룹별 통계량을 확인하고자 할 때 유용한 함수 입니다.
#07-Pandas(판다스) Groupby와 Pivot table
이번 에피소드에서는 Pandas DataFrame의 groupby(), pivot_table()을 활용한 데이터 분석 방법에 대하여 다뤄 보도록 하겠습니다.
피벗테이블
판다스(Pandas) .groupby()로 할 수 있는 거의 모든 것! (통계량, 전처리)
판다스(Pandas)의 .groupby() 기능은 데이터를 그룹별로 분할하여 독립된 그룹에 대하여 별도로 데이터를 처리(혹은 적용)하거나 그룹별 통계량을 확인하고자 할 때 유용한 함수 입니다.
#07-Pandas(판다스) Groupby와 Pivot table
이번 에피소드에서는 Pandas DataFrame의 groupby(), pivot_table()을 활용한 데이터 분석 방법에 대하여 다뤄 보도록 하겠습니다.
판다스 데이터 분석
#08-Pandas(판다스) Concat(연결), Merge(병합)
이번 에피소드에서는 Pandas DataFrame의 여러 개의 DataFrame으로 이루어진 데이터를 합치는 방법인 concat()(연결), merge()(병합)에 대하여 다뤄 보도록 하겠습니다.
#07-Pandas(판다스) Groupby와 Pivot table
이번 에피소드에서는 Pandas DataFrame의 groupby(), pivot_table()을 활용한 데이터 분석 방법에 대하여 다뤄 보도록 하겠습니다.
인공지능 책
파이썬 딥러닝 텐서플로 책이 출간되었습니다!
지난 6개월간 동료 3명과 집필한 “파이썬 딥러닝 텐서플로” 책이 드디어 온라인/오프라인 출간 되었습니다!!!
인공지능? 모를수도 있지! 책 리뷰
이번 포스팅에서는 Algorima에서 집필한 인공지능? 모를수도 있지! 책 리뷰를 해보도록 하겠습니다.
테디노트 책
파이썬 딥러닝 텐서플로 책이 출간되었습니다!
지난 6개월간 동료 3명과 집필한 “파이썬 딥러닝 텐서플로” 책이 드디어 온라인/오프라인 출간 되었습니다!!!
파이썬 딥러닝 텐서플로 책이 출간되었습니다!
지난 6개월간 동료 3명과 집필한 “파이썬 딥러닝 텐서플로” 책이 드디어 온라인/오프라인 출간 되었습니다!!!
테디노트 실험실
코사인 유사도(cosine similarity)로 과거 주가의 유사 패턴을 찾아 미래 예측하기
주가의 과거 패턴을 찾아 미래를 예측하는 것이 가능할까요?
Jupyter Notebook을 마크다운(.md) 형식으로 쉽게 변환하여 블로그에 업데이트하기
많은 분들께서 Jekyll 블로그 (혹은 GitHub Pages 블로그)에 포스팅 할 때 Jupyter Notebook을 바로 변환해서 마크다운 형식으로 바로 업로드 하고 싶어할껍니다. 왜냐면, Jupyter Notebook으로 작성된 코드와 주석, 텍스트, 그리고 이미지등을 다시...
캐글 대회
[AI SPARK 챌린지] 수도관 누수 탐지 분류 문제 베이스라인 코드! (오디오 파일 전처리)
얼마전 연구개발특구진흥재단에서 주최하고 AIFactory에서 주관한 [AI SPARK 챌린지] 대회2. 수도관 누수 탐지 분류 문제에 대하여 베이스라인 코드를 잡아봤습니다.
[캐글] 성인 인구조사 소득 예측 대회 커널
작년 T-Academy와 KaKr가 주최하는 성인 인구조사 소득 예측 대회에 참여하여 EDA 노트북을 공유했었습니다.
eda
[AI SPARK 챌린지] 수도관 누수 탐지 분류 문제 베이스라인 코드! (오디오 파일 전처리)
얼마전 연구개발특구진흥재단에서 주최하고 AIFactory에서 주관한 [AI SPARK 챌린지] 대회2. 수도관 누수 탐지 분류 문제에 대하여 베이스라인 코드를 잡아봤습니다.
[캐글] 성인 인구조사 소득 예측 대회 커널
작년 T-Academy와 KaKr가 주최하는 성인 인구조사 소득 예측 대회에 참여하여 EDA 노트북을 공유했었습니다.
pycaret
[AutoML] PyCaret을 활용한 시계열 데이터 예측 모형 생성
이번 포스트의 주제는 “PyCaret을 활용한 시계열 데이터 예측 모형 생성” 입니다. 이 글에서는 시계열 데이터 예측 모형을 구축하는 과정을 세심하게 탐구하게 될 것입니다. 특히, PyCaret 라이브러리를 활용하여 기계 학습 프로세스를 효과적으로 자동화하는 방법을 중점적으로 다...
[캐글] 성인 인구조사 소득 예측 대회 커널
작년 T-Academy와 KaKr가 주최하는 성인 인구조사 소득 예측 대회에 참여하여 EDA 노트북을 공유했었습니다.
커널 필사
[AI SPARK 챌린지] 수도관 누수 탐지 분류 문제 베이스라인 코드! (오디오 파일 전처리)
얼마전 연구개발특구진흥재단에서 주최하고 AIFactory에서 주관한 [AI SPARK 챌린지] 대회2. 수도관 누수 탐지 분류 문제에 대하여 베이스라인 코드를 잡아봤습니다.
[캐글] 성인 인구조사 소득 예측 대회 커널
작년 T-Academy와 KaKr가 주최하는 성인 인구조사 소득 예측 대회에 참여하여 EDA 노트북을 공유했었습니다.
api key
[2024년 UPDATE] OpenAI Python API 키 발급방법, 요금체계
이번 튜토리얼은 OpenAI 의 Python API 키를 발급받는 방법과 요금 체계에 대해 알아보겠습니다.
Google Cloud API를 활용하여 주소의 위도, 경도 정보 가져오기
Google Cloud API 의 Geocoding API를 활용하여 한글 주소를 위/경도 좌표계로 변경해 보는 방법에 대하여 알아보겠습니다.
옵튜나
Optuna를 활용한 하이퍼파라미터 최적화
이번 포스팅에서는 기계 학습 모델의 성능을 극대화하기 위해 하이퍼파라미터 최적화 과정에 대해 깊게 다루려고 합니다.
캐글/데이콘 경진대회 Baseline을 잡기 위한 optuna + [xgboost, lightgbm, catboost] 패키지 소개
경진대회에서 모델의 Hyperparameter 튜닝에 드는 노력과 시간을 절약하기 위하여 xgboost, lightgbm, catboost 3개의 라이브러리에 대하여 optuna 튜닝을 적용하여 예측 값을 산출해 내는 로직을 라이브러리 형태로 패키징 했습니다.
optuna
Optuna를 활용한 하이퍼파라미터 최적화
이번 포스팅에서는 기계 학습 모델의 성능을 극대화하기 위해 하이퍼파라미터 최적화 과정에 대해 깊게 다루려고 합니다.
캐글/데이콘 경진대회 Baseline을 잡기 위한 optuna + [xgboost, lightgbm, catboost] 패키지 소개
경진대회에서 모델의 Hyperparameter 튜닝에 드는 노력과 시간을 절약하기 위하여 xgboost, lightgbm, catboost 3개의 라이브러리에 대하여 optuna 튜닝을 적용하여 예측 값을 산출해 내는 로직을 라이브러리 형태로 패키징 했습니다.
tensor
[PyTorch] 텐서(tensor)의 다양한 생성 방법, 속성, dtype 그리고 shape 변경
이번 포스팅에서는 PyTorch의 텐서(Tensor) 생성하는 다양한 방법, 랜덤 텐서의 생성, 그리고 텐서의 shape 확인 및 변경 방법에 대하여 알아보도록 하겠습니다.
[PyTorch] numpy로부터 텐서 변환(copying과 sharing의 차이)
이번 포스팅에서는 Tensor의 기본 특징과 PyTorch에서 정의한 Tensor타입, PyTorch에서 numpy array를 tensor 변환시 3가지 함수 from_numpy(), as_tensor(), tensor()의 사용법과 그 차이점에 대하여 알아보도록 하겠습니다.
텐서
[PyTorch] 텐서(tensor)의 다양한 생성 방법, 속성, dtype 그리고 shape 변경
이번 포스팅에서는 PyTorch의 텐서(Tensor) 생성하는 다양한 방법, 랜덤 텐서의 생성, 그리고 텐서의 shape 확인 및 변경 방법에 대하여 알아보도록 하겠습니다.
[PyTorch] numpy로부터 텐서 변환(copying과 sharing의 차이)
이번 포스팅에서는 Tensor의 기본 특징과 PyTorch에서 정의한 Tensor타입, PyTorch에서 numpy array를 tensor 변환시 3가지 함수 from_numpy(), as_tensor(), tensor()의 사용법과 그 차이점에 대하여 알아보도록 하겠습니다.
copying
[PyTorch] 텐서(tensor)의 다양한 생성 방법, 속성, dtype 그리고 shape 변경
이번 포스팅에서는 PyTorch의 텐서(Tensor) 생성하는 다양한 방법, 랜덤 텐서의 생성, 그리고 텐서의 shape 확인 및 변경 방법에 대하여 알아보도록 하겠습니다.
[PyTorch] numpy로부터 텐서 변환(copying과 sharing의 차이)
이번 포스팅에서는 Tensor의 기본 특징과 PyTorch에서 정의한 Tensor타입, PyTorch에서 numpy array를 tensor 변환시 3가지 함수 from_numpy(), as_tensor(), tensor()의 사용법과 그 차이점에 대하여 알아보도록 하겠습니다.
imagefolder
PyTorch 로컬이미지 로드(ImageFolder) 후, DataLoader 생성 및 CNN이미지 분류 모델 생성, 학습, 검증 성능 측정하기
로컬 이미지 폴더에서 ImageFolder를 사용하여 이미지 데이터셋을 로드하고, CNN으로 구성된 모델을 생성, 학습, 예측, 검증 성능을 측정하는 방법을 알아보겠습니다.
fashion mnist
PyTorch 심층신경망(DNN) 모델 생성 후 Fashion MNIST 이미지 분류기 생성, 학습, 예측, 검증 성능 측정하기
PyTorch 심층신경망(Deep Neural Network) 모델을 생성하고 PyTorch의 내장 데이터셋인 Fashion MNIST 데이터셋을 로드하여 이미지 분류기를 생성, 학습, 예측, 검증 성능 측정하는 방법을 알아보겠습니다.
자동미분
PyTorch의 자동미분(AutoGrad)을 활용하여 정형 데이터 예측기(regression model)구현
이번 튜토리얼에서는 scikit-learn의 내장 데이터셋인 보스톤 주택 가격 데이터셋을 활용하여 회귀 예측 모델(regression model)을 만들고 예측해 보도록 하겠습니다.
PyTorch의 자동미분(AutoGrad)기능과 경사하강법(Gradient Descent) 구현
이번 포스팅에서는 PyTorch의 자동미분(AutoGrad) 기능을 활용하여 경사하강법 알고리즘을 직접 구현해보고 손실(loss) 값과 weights, bias의 변화량을 시각화해 보겠습니다.
autograd
PyTorch의 자동미분(AutoGrad)을 활용하여 정형 데이터 예측기(regression model)구현
이번 튜토리얼에서는 scikit-learn의 내장 데이터셋인 보스톤 주택 가격 데이터셋을 활용하여 회귀 예측 모델(regression model)을 만들고 예측해 보도록 하겠습니다.
PyTorch의 자동미분(AutoGrad)기능과 경사하강법(Gradient Descent) 구현
이번 포스팅에서는 PyTorch의 자동미분(AutoGrad) 기능을 활용하여 경사하강법 알고리즘을 직접 구현해보고 손실(loss) 값과 weights, bias의 변화량을 시각화해 보겠습니다.
회귀
PyTorch 정형데이터를 CustomDataset으로 서브클래싱(SubClassing)한 후 예측 모델 생성 및 학습하기
정형데이터셋을 로드하여 PyTorch의 torch.utils.data.Dataset을 상속받아 커스텀 데이터셋(CustomDataset)을 서브클래싱(SubClassing)으로 정의하고, 이를 torch.utils.data.DataLoader에 주입하여 배치구성을 한 뒤, 모델 학...
PyTorch의 자동미분(AutoGrad)을 활용하여 정형 데이터 예측기(regression model)구현
이번 튜토리얼에서는 scikit-learn의 내장 데이터셋인 보스톤 주택 가격 데이터셋을 활용하여 회귀 예측 모델(regression model)을 만들고 예측해 보도록 하겠습니다.
회귀 예측
PyTorch 정형데이터를 CustomDataset으로 서브클래싱(SubClassing)한 후 예측 모델 생성 및 학습하기
정형데이터셋을 로드하여 PyTorch의 torch.utils.data.Dataset을 상속받아 커스텀 데이터셋(CustomDataset)을 서브클래싱(SubClassing)으로 정의하고, 이를 torch.utils.data.DataLoader에 주입하여 배치구성을 한 뒤, 모델 학...
PyTorch의 자동미분(AutoGrad)을 활용하여 정형 데이터 예측기(regression model)구현
이번 튜토리얼에서는 scikit-learn의 내장 데이터셋인 보스톤 주택 가격 데이터셋을 활용하여 회귀 예측 모델(regression model)을 만들고 예측해 보도록 하겠습니다.
보스톤 주택가격
PyTorch 정형데이터를 CustomDataset으로 서브클래싱(SubClassing)한 후 예측 모델 생성 및 학습하기
정형데이터셋을 로드하여 PyTorch의 torch.utils.data.Dataset을 상속받아 커스텀 데이터셋(CustomDataset)을 서브클래싱(SubClassing)으로 정의하고, 이를 torch.utils.data.DataLoader에 주입하여 배치구성을 한 뒤, 모델 학...
PyTorch의 자동미분(AutoGrad)을 활용하여 정형 데이터 예측기(regression model)구현
이번 튜토리얼에서는 scikit-learn의 내장 데이터셋인 보스톤 주택 가격 데이터셋을 활용하여 회귀 예측 모델(regression model)을 만들고 예측해 보도록 하겠습니다.
custom dataset
PyTorch Dataset을 상속받은 사용자 정의 이미지 데이터셋(CustomImageDataset) 구성하기
이번 튜토리얼에서는 torch.utils.data.Dataset을 상속 받아 사용자 정의 이미지 데이터셋을 구성하고, 이를 활용하여 DataLoader를 구성하는 방법에 대하여 알아보겠습니다.
PyTorch 정형데이터를 CustomDataset으로 서브클래싱(SubClassing)한 후 예측 모델 생성 및 학습하기
정형데이터셋을 로드하여 PyTorch의 torch.utils.data.Dataset을 상속받아 커스텀 데이터셋(CustomDataset)을 서브클래싱(SubClassing)으로 정의하고, 이를 torch.utils.data.DataLoader에 주입하여 배치구성을 한 뒤, 모델 학...
cats and dogs
[pytorch] 변환(Transform)을 활용한 이미지 증강(Image Augmentation) 적용
데이터 증강(Data Augmentation)은 학습을 위한 데이터에 변형을 가하여 데이터의 규모를 키울 뿐만 아니라, 데이터에 대한 변형된 다양한 케이스를 학습하게 만들 수 있는 좋은 수단 중 하나입니다. 또한, 모델이 과적합(overfitting) 되는 것을 방지해주는 효과도 ...
PyTorch 전이학습(transfer learning)과 미세조정(fine tuning)으로 이미지 분류기 생성, 예측, 검증성능 평가하기
PyTorch의 사전 학습된 모델(pretrained model)을 로드하여 전이학습(transfer learning)을 통해 모델 생성, 학습, 예측 및 검증 성능을 측정해 보도록 하겠습니다.
image transforms
[pytorch] 변환(Transform)을 활용한 이미지 증강(Image Augmentation) 적용
데이터 증강(Data Augmentation)은 학습을 위한 데이터에 변형을 가하여 데이터의 규모를 키울 뿐만 아니라, 데이터에 대한 변형된 다양한 케이스를 학습하게 만들 수 있는 좋은 수단 중 하나입니다. 또한, 모델이 과적합(overfitting) 되는 것을 방지해주는 효과도 ...
PyTorch 전이학습(transfer learning)과 미세조정(fine tuning)으로 이미지 분류기 생성, 예측, 검증성능 평가하기
PyTorch의 사전 학습된 모델(pretrained model)을 로드하여 전이학습(transfer learning)을 통해 모델 생성, 학습, 예측 및 검증 성능을 측정해 보도록 하겠습니다.
ilsvrc
GoogLeNet의 Inception Module, 1x1 컨볼루션의 의미와 구현
Going Deeper with Convolutions(2015) Inception 모듈에 대한 내용입니다. 해당 논문에서는 Inception Module이라는 새로운 neural network architecture 를 공개하였습니다. 논문의 제목과 같이 Going Deeper ...
AlexNet Implementation(구현) by PyTorch
AlexNet(2012) 의 PyTorch 구현 입니다. 논문에 대한 세부 인사이트는 생략하며, 오직 코드 구현만 다룹니다.
논문
GoogLeNet의 Inception Module, 1x1 컨볼루션의 의미와 구현
Going Deeper with Convolutions(2015) Inception 모듈에 대한 내용입니다. 해당 논문에서는 Inception Module이라는 새로운 neural network architecture 를 공개하였습니다. 논문의 제목과 같이 Going Deeper ...
AlexNet Implementation(구현) by PyTorch
AlexNet(2012) 의 PyTorch 구현 입니다. 논문에 대한 세부 인사이트는 생략하며, 오직 코드 구현만 다룹니다.
miniconda
PowerShell에서 아나콘다(Anaconda) 환경 설정하기
이번 포스팅에서는 PowerShell에서 Anaconda 환경을 사용하는 방법 에 대해 소개하려고 합니다.
실리콘(M1, M2) 맥(Mac) OS 에서 텐서플로(TensorFlow) 설치 방법
실리콘(M1, M2) 맥(Mac) 사용하는 유저가 최근 1~2년 안에 급격하게 늘어나면서, m1, m2 칩셋을 사용하는 맥 사용자를 위한 가상 환경 설치와 TensorFlow 설치에 대한 문의가 많았습니다. 아쉽게도 그동안 제가 실리콘 맥이 없어 직접 테스트를 해볼 수 없었기 때문...
텍스트 분류
[huggingface] BERT를 활용한 텍스트 분류(bbc news 데이터셋)
본 튜토리얼에서는 HuggingFace 의 transformers 라이브러리를 활용한 튜토리얼 입니다.
[huggingface] 한글 pre-trained 사전학습 BERT 모델로 텍스트 분류하기
이번 포스팅에서는 Huggingface의 한글 데이터셋으로 사전 학습된 kykim/bert-kor-base 모델을 가져와서 한글 자연어 데이터에 대한 텍스트 분류기를 만들어 보겠습니다. 이미지넷에서는 전이학습을 통해 손쉽게 Transfer Learning을 수행할 수 있습니다. ...
허깅페이스
랭체인(langchain) + 허깅페이스(HuggingFace) 모델 사용법 (2)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 허깅페이스(HuggingFace) 허브 에 배포된 사전학습 모델을 활용하여 LLM 체인을 구성하는 방법에 대하여 다뤄보고자 합니다.
[huggingface] 한글 pre-trained 사전학습 BERT 모델로 텍스트 분류하기
이번 포스팅에서는 Huggingface의 한글 데이터셋으로 사전 학습된 kykim/bert-kor-base 모델을 가져와서 한글 자연어 데이터에 대한 텍스트 분류기를 만들어 보겠습니다. 이미지넷에서는 전이학습을 통해 손쉽게 Transfer Learning을 수행할 수 있습니다. ...
gpt3
영문 뉴스기사 크롤링 후 ChatGPT(OpenAI API) 기사 요약 및 한글 번역하기
이번 튜토리얼에서는 investing.com 의 뉴스기사를 크롤링 후 ChatGPT로 영문 뉴스기사를 요약하고, 이를 한글로 번역하는 튜토리얼을 진행해 보겠습니다.
OPENAI API(ChatGPT)를 활용한 블로그 생성 자동화
이번 포스팅에서는 OPENAI의 API를 활용하여 ChatGPT 의 텍스트 생성 모델인 text-davinci-003로 주제와 세부요구사항에 맞게 자동으로 블로그를 생성하고 이를 GitHub Pages에 블로그로 포스팅으로 자동 배포하는 튜토리얼을 진행해 보도록 하겠습니다.
airtable
파이썬, 데이터분석가를 위한 초간단 파일공유 서비스
본 내용은 자체 제작한 파일공유 서비스에 대한 내용입니다. 말그대로 파일을 가장 쉬운 방법으로 공유할 수 있는 서비스이며, 링크를 활용하여 공유할 수 있습니다. Python, wget 명령어로 다운로드 받는 코드를 제공하며, 비밀번호로 암호화 하여 공유도 가능합니다.
에어테이블(airtable)의 table 조회, 추가, 업데이트, 삭제 Python API
본 내용은 Airtable 에서 table에 대해서 데이터를 조회, 추가, 삭제 및 정렬 하는 방법에 대해서 다룹니다. 본 튜토리얼은 airtable의 공식 pyairtable 파이썬 패키지를 활용합니다.
데이터분석
랭체인(langchain) + 정형데이터(CSV, Excel) - ChatGPT 기반 데이터분석 (4)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 정형데이터(CSV, Excel) 에 대한 ChatGPT 기반 질의응답을 통해 데이터 분석하는 방법 에 대해 알아보겠습니다.
파이썬, 데이터분석가를 위한 초간단 파일공유 서비스
본 내용은 자체 제작한 파일공유 서비스에 대한 내용입니다. 말그대로 파일을 가장 쉬운 방법으로 공유할 수 있는 서비스이며, 링크를 활용하여 공유할 수 있습니다. Python, wget 명령어로 다운로드 받는 코드를 제공하며, 비밀번호로 암호화 하여 공유도 가능합니다.
gru
[pytorch] Seq2Seq 으로 챗봇 만들기 (코드 구현)
이번 튜토리얼에서는 seq2seq 모델을 pytorch로 구현하고 한글 챗봇 데이터를 학습시켜 추론해 보는 단계까지 진행해 보도록 하겠습니다.
[pytorch] GRU 입력 텐서와 출력 텐서의 shape 이해
이번에는 지난 LSTM 입력 텐서와 출력 텐서의 shape 이해 의 후속편으로써, pytorch의 GRU layer의 입출력 텐서의 shape에 대하여 이해해 보고 세부 옵션에 대하여 자세히 알아보도록 하겠습니다.
chatbot
LangChain으로 네이버 뉴스 기반 Q&A 애플리케이션 구축하기 - 기본편
LangChain을 활용하여 간단하게 네이버 뉴스기사를 바탕으로 Q&A 애플리케이션을 만드는 방법을 다룹니다.
[pytorch] Seq2Seq 으로 챗봇 만들기 (코드 구현)
이번 튜토리얼에서는 seq2seq 모델을 pytorch로 구현하고 한글 챗봇 데이터를 학습시켜 추론해 보는 단계까지 진행해 보도록 하겠습니다.
arima
[AutoML] PyCaret을 활용한 시계열 데이터 예측 모형 생성
이번 포스트의 주제는 “PyCaret을 활용한 시계열 데이터 예측 모형 생성” 입니다. 이 글에서는 시계열 데이터 예측 모형을 구축하는 과정을 세심하게 탐구하게 될 것입니다. 특히, PyCaret 라이브러리를 활용하여 기계 학습 프로세스를 효과적으로 자동화하는 방법을 중점적으로 다...
Python 시계열 데이터 분석 - AR, MA, ARIMA, SARIMAX, 분해, 지수평활
시계열 데이터 분석이라는 다소 넓은 범위의 주제이지만, 그 중에서도 전통적인 시계열 분석에서 언급되는 주요 분석 기법에 대해서 간략히 알아보고, 파이썬(Python) 코드로 구현하는 방법에 대해 알아보겠습니다.
sarimax
[AutoML] PyCaret을 활용한 시계열 데이터 예측 모형 생성
이번 포스트의 주제는 “PyCaret을 활용한 시계열 데이터 예측 모형 생성” 입니다. 이 글에서는 시계열 데이터 예측 모형을 구축하는 과정을 세심하게 탐구하게 될 것입니다. 특히, PyCaret 라이브러리를 활용하여 기계 학습 프로세스를 효과적으로 자동화하는 방법을 중점적으로 다...
Python 시계열 데이터 분석 - AR, MA, ARIMA, SARIMAX, 분해, 지수평활
시계열 데이터 분석이라는 다소 넓은 범위의 주제이지만, 그 중에서도 전통적인 시계열 분석에서 언급되는 주요 분석 기법에 대해서 간략히 알아보고, 파이썬(Python) 코드로 구현하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + PDF 기반 질의응답(Question-Answering) (8)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용에 기반하여 질의응답(Question-Answering) 하는 방법에 대해 알아보겠습니다.
랭체인(langchain) + PDF 문서요약, Map-Reduce (7)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용을 요약 하는 방법에 대해 알아보겠습니다.
whisper
[2024년 UPDATE] OpenAI Python API 튜토리얼 - Whisper API를 사용하여 TTS, STT 구현하기(3)
이번 튜토리얼은 OpenAI 의 Whisper API 를 사용하여 음성을 텍스트로 변환하는 STT, 그리고 텍스트를 음성으로 변환하는 방법에 대해 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 키 발급방법, 요금체계
이번 튜토리얼은 OpenAI 의 Python API 키를 발급받는 방법과 요금 체계에 대해 알아보겠습니다.
dalle
[2024년 UPDATE] OpenAI Python API 튜토리얼 - DALL·E를 사용하여 이미지 생성, 수정, 다양화하기(2)
이번 튜토리얼은 OpenAI 의 DALL·E 의 Python API 사용법을 다룹니다. 이번 튜토리얼을 통하여 이미지 생성, 수정, 다양화 하는 방법에 대해 알아보겠습니다.
[2024년 UPDATE] OpenAI Python API 키 발급방법, 요금체계
이번 튜토리얼은 OpenAI 의 Python API 키를 발급받는 방법과 요금 체계에 대해 알아보겠습니다.
openai api
OpenAI API 모델 리스트 / 요금표
최신 버전의 업데이트 된 OpenAI Model 리스트와 API 사용요금(Pricing) 입니다.
[2024년 UPDATE] OpenAI Python API 튜토리얼 - Whisper API를 사용하여 TTS, STT 구현하기(3)
이번 튜토리얼은 OpenAI 의 Whisper API 를 사용하여 음성을 텍스트로 변환하는 STT, 그리고 텍스트를 음성으로 변환하는 방법에 대해 알아보겠습니다.
문서 검색
LangGraph Retrieval Agent를 활용한 동적 문서 검색 및 처리
LangGraph Retrieval Agent는 언어 처리, AI 모델 통합, 데이터베이스 관리, 그래프 기반 데이터 처리 등 다양한 기능을 제공하여 언어 기반 AI 애플리케이션 개발에 필수적인 도구입니다.
Google Gemini Pro API를 활용한 문서 검색 및 임베딩 가이드
Google의 Gemini API로 임베딩을 생성하고 문서 검색하는 방법을 다룹니다.
AI
LangChain Expression Language(LCEL) 원리 이해와 파이프라인 구축 가이드
이 블로그 글에서는 LangChain Expression Language(LCEL) 원리 이해와 LCEL 에 기반한 파이프라인 구축의 기본을 소개합니다.
[LangChain] 문장을 파이썬 코드로, 이미지를 파이썬 코드로 변경하는 방법
이번 튜토리얼에는 langchain 라이브러리와 GPT-4 모델을 사용하여 문장을 파이썬 코드로 변경 및 실행하고, 이미지를 이해하고 이를 파이썬 코드로 변경하는 방법을 다룹니다.
챗봇
LangChain으로 네이버 뉴스 기반 Q&A 애플리케이션 구축하기 - 기본편
LangChain을 활용하여 간단하게 네이버 뉴스기사를 바탕으로 Q&A 애플리케이션을 만드는 방법을 다룹니다.
[LangChain] 문장을 파이썬 코드로, 이미지를 파이썬 코드로 변경하는 방법
이번 튜토리얼에는 langchain 라이브러리와 GPT-4 모델을 사용하여 문장을 파이썬 코드로 변경 및 실행하고, 이미지를 이해하고 이를 파이썬 코드로 변경하는 방법을 다룹니다.
GPT-4
[Assistants API] Code Interpreter, Retrieval, Functions 활용법
OpenAI의 새로운 Assistants API는 대화와 더불어 강력한 도구 접근성을 제공합니다. 본 튜토리얼은 OpenAI Assistants API를 활용하는 내용을 다룹니다. 특히, Assistant API 가 제공하는 도구인 Code Interpreter, Retrieval...
[LangChain] 문장을 파이썬 코드로, 이미지를 파이썬 코드로 변경하는 방법
이번 튜토리얼에는 langchain 라이브러리와 GPT-4 모델을 사용하여 문장을 파이썬 코드로 변경 및 실행하고, 이미지를 이해하고 이를 파이썬 코드로 변경하는 방법을 다룹니다.
API KEY
[LangChain] 에이전트(Agent)와 도구(tools)를 활용한 지능형 검색 시스템 구축 가이드
이 글에서는 LangChain 의 Agent 프레임워크를 활용하여 복잡한 검색과 데이터 처리 작업을 수행하는 방법을 소개합니다. LangSmith 를 사용하여 Agent의 추론 단계를 추적합니다. Agent가 활용할 검색 도구(Tavily Search), PDF 기반 검색 리트리버...
[LangChain] 문장을 파이썬 코드로, 이미지를 파이썬 코드로 변경하는 방법
이번 튜토리얼에는 langchain 라이브러리와 GPT-4 모델을 사용하여 문장을 파이썬 코드로 변경 및 실행하고, 이미지를 이해하고 이를 파이썬 코드로 변경하는 방법을 다룹니다.
LangSmith
[LangChain] 에이전트(Agent)와 도구(tools)를 활용한 지능형 검색 시스템 구축 가이드
이 글에서는 LangChain 의 Agent 프레임워크를 활용하여 복잡한 검색과 데이터 처리 작업을 수행하는 방법을 소개합니다. LangSmith 를 사용하여 Agent의 추론 단계를 추적합니다. Agent가 활용할 검색 도구(Tavily Search), PDF 기반 검색 리트리버...
LangChain으로 네이버 뉴스 기반 Q&A 애플리케이션 구축하기 - 기본편
LangChain을 활용하여 간단하게 네이버 뉴스기사를 바탕으로 Q&A 애플리케이션을 만드는 방법을 다룹니다.
RAG
LangChain RAG 파헤치기: 문서 기반 QA 시스템 설계 방법 - 심화편
LangChain의 RAG 시스템을 통해 문서(PDF, txt, 웹페이지 등)에 대한 질문-답변을 찾는 과정을 정리하였습니다.
LangChain으로 네이버 뉴스 기반 Q&A 애플리케이션 구축하기 - 기본편
LangChain을 활용하여 간단하게 네이버 뉴스기사를 바탕으로 Q&A 애플리케이션을 만드는 방법을 다룹니다.
리트리버
LangChain RAG 파헤치기: 문서 기반 QA 시스템 설계 방법 - 심화편
LangChain의 RAG 시스템을 통해 문서(PDF, txt, 웹페이지 등)에 대한 질문-답변을 찾는 과정을 정리하였습니다.
LangChain으로 네이버 뉴스 기반 Q&A 애플리케이션 구축하기 - 기본편
LangChain을 활용하여 간단하게 네이버 뉴스기사를 바탕으로 Q&A 애플리케이션을 만드는 방법을 다룹니다.
벡터DB
LangChain RAG 파헤치기: 문서 기반 QA 시스템 설계 방법 - 심화편
LangChain의 RAG 시스템을 통해 문서(PDF, txt, 웹페이지 등)에 대한 질문-답변을 찾는 과정을 정리하였습니다.
LangChain으로 네이버 뉴스 기반 Q&A 애플리케이션 구축하기 - 기본편
LangChain을 활용하여 간단하게 네이버 뉴스기사를 바탕으로 Q&A 애플리케이션을 만드는 방법을 다룹니다.
synology
[Windows] 시놀로지 외부 네트워크 드라이브 설정 (WebDAV)
시놀로지를 네트워크 드라이브에 추가하여 사용한다면 편리한 점들이 많다. 특히, 노트북으로 작업할 때, 용량 부족으로 허덕이는 경우가 많은데, 외부 네트워크를 추가하여 마치 작업할 때는 로컬 폴더 처럼 활용하지만, 실제 로컬 상으로는 아무런 용량 낭비가 없고 시놀로지에서 보관하기 때...
시놀로지
[Windows] 시놀로지 외부 네트워크 드라이브 설정 (WebDAV)
시놀로지를 네트워크 드라이브에 추가하여 사용한다면 편리한 점들이 많다. 특히, 노트북으로 작업할 때, 용량 부족으로 허덕이는 경우가 많은데, 외부 네트워크를 추가하여 마치 작업할 때는 로컬 폴더 처럼 활용하지만, 실제 로컬 상으로는 아무런 용량 낭비가 없고 시놀로지에서 보관하기 때...
나스
[Windows] 시놀로지 외부 네트워크 드라이브 설정 (WebDAV)
시놀로지를 네트워크 드라이브에 추가하여 사용한다면 편리한 점들이 많다. 특히, 노트북으로 작업할 때, 용량 부족으로 허덕이는 경우가 많은데, 외부 네트워크를 추가하여 마치 작업할 때는 로컬 폴더 처럼 활용하지만, 실제 로컬 상으로는 아무런 용량 낭비가 없고 시놀로지에서 보관하기 때...
Nas
[Windows] 시놀로지 외부 네트워크 드라이브 설정 (WebDAV)
시놀로지를 네트워크 드라이브에 추가하여 사용한다면 편리한 점들이 많다. 특히, 노트북으로 작업할 때, 용량 부족으로 허덕이는 경우가 많은데, 외부 네트워크를 추가하여 마치 작업할 때는 로컬 폴더 처럼 활용하지만, 실제 로컬 상으로는 아무런 용량 낭비가 없고 시놀로지에서 보관하기 때...
typone mars pro
맥(Mac) 호환 기계식 키보드 - Typone Mars Pro
Mac을 주 컴퓨터로 사용하는 사람들에게는 희소식이다. 맥용 기계식 키보드가 출시 되었기 때문이다. 제품명은 Typone Mars Pro 이며, 오리지널 Cherry MX 스위치를 사용하였다. 그럼 오늘 수령한 제품에 대하여 따끈따끈한 리뷰를 해보도록 하겠다.
타이폰 마스 프로
맥(Mac) 호환 기계식 키보드 - Typone Mars Pro
Mac을 주 컴퓨터로 사용하는 사람들에게는 희소식이다. 맥용 기계식 키보드가 출시 되었기 때문이다. 제품명은 Typone Mars Pro 이며, 오리지널 Cherry MX 스위치를 사용하였다. 그럼 오늘 수령한 제품에 대하여 따끈따끈한 리뷰를 해보도록 하겠다.
맥용 기계식 키보드
맥(Mac) 호환 기계식 키보드 - Typone Mars Pro
Mac을 주 컴퓨터로 사용하는 사람들에게는 희소식이다. 맥용 기계식 키보드가 출시 되었기 때문이다. 제품명은 Typone Mars Pro 이며, 오리지널 Cherry MX 스위치를 사용하였다. 그럼 오늘 수령한 제품에 대하여 따끈따끈한 리뷰를 해보도록 하겠다.
jekyll
편안한 Jekyll 사용을 위한 마크다운(markdown) 문법
Github Pages 운용을 위해서는 markdown 문법에 대한 이해도가 요구되며, [공통] 마크다운 markdown 작성법을 참고하여 작성하였습니다.
markdown
편안한 Jekyll 사용을 위한 마크다운(markdown) 문법
Github Pages 운용을 위해서는 markdown 문법에 대한 이해도가 요구되며, [공통] 마크다운 markdown 작성법을 참고하여 작성하였습니다.
android
안드로이드(Android) - AsyncTask
우연치 않은 계기로 안드로이드에서 Open Source로 올려놓은 Bitmap Displaying을 그대로 따라 구현해 보려고, 소스코드를 import 시킨 후, 분석을 시작했다.
asynctask
안드로이드(Android) - AsyncTask
우연치 않은 계기로 안드로이드에서 Open Source로 올려놓은 Bitmap Displaying을 그대로 따라 구현해 보려고, 소스코드를 import 시킨 후, 분석을 시작했다.
mysql
파이썬(Python) - MySQL 패키지 (Client) 설치
Python(파이썬) 개발시 MySQL Client 설치 방법에 대해 알아보겠다.
mysqlclient
파이썬(Python) - MySQL 패키지 (Client) 설치
Python(파이썬) 개발시 MySQL Client 설치 방법에 대해 알아보겠다.
선형회귀 알고리즘
Simple Gradient Descent on predicting Boston Housing
SImple Gradient Descent implementations Examples
보스톤 주택가격 예측
Simple Gradient Descent on predicting Boston Housing
SImple Gradient Descent implementations Examples
softmax
Deep Learning - Softmax 함수란
인공신경망에서 출력층의 정규화를 위한 함수인 소프트맥스(softmax)함수에 대하여 알아보겠다.
소프트맥스
Deep Learning - Softmax 함수란
인공신경망에서 출력층의 정규화를 위한 함수인 소프트맥스(softmax)함수에 대하여 알아보겠다.
mnist 손글씨
Python 과 Tensorflow로 Mnist 글자인식 구현하기
이번 포스팅에서는 Mnist 데이터를 땡파이썬으로 구현해봄과 동시에 Tensorflow 를 활용하여 구현해 보겠다.
xor
Machine Learning - Single Layer NN과 Multi Layer NN으로 XOR문제 다뤄보기
Single-Layer Neural Network 에서 풀 수 없는 문제인 XOR Problem을 Tensorflow를 활용하여 Multi-Layer Neural Network로 구현해 보도록 하겠다.
neural network
Machine Learning - Single Layer NN과 Multi Layer NN으로 XOR문제 다뤄보기
Single-Layer Neural Network 에서 풀 수 없는 문제인 XOR Problem을 Tensorflow를 활용하여 Multi-Layer Neural Network로 구현해 보도록 하겠다.
virtual env
Anaconda를 활용한 python 가상환경(virtual env) 설정하기
이번 포스팅에서는 Python을 활용하여 개발 / 혹은 jupyter notebook을 사용할 때 필수인 가상환경 (Virtual Environment) 설정하는 법에 대한 팁과 간단한 강좌를 공유해 드리도록 하겠습니다.
파이썬 가상환경
Anaconda를 활용한 python 가상환경(virtual env) 설정하기
이번 포스팅에서는 Python을 활용하여 개발 / 혹은 jupyter notebook을 사용할 때 필수인 가상환경 (Virtual Environment) 설정하는 법에 대한 팁과 간단한 강좌를 공유해 드리도록 하겠습니다.
conv2d
Conv2d layer를 겹겹이 쌓을 때 최종 output volume 계산법
이번 포스팅에서는 torch 를 이용하여 CNN(Convolution Neural Network) 에서 convolution layer를 겹겹이 쌓았을 때 최종 output volume size를 구하는 방법에 대하여 알아 보겠습니다.
cond2d 계산
Conv2d layer를 겹겹이 쌓을 때 최종 output volume 계산법
이번 포스팅에서는 torch 를 이용하여 CNN(Convolution Neural Network) 에서 convolution layer를 겹겹이 쌓았을 때 최종 output volume size를 구하는 방법에 대하여 알아 보겠습니다.
인스턴스
AWS에서 딥러닝 인스턴스 만들고 jupyter notebook 실행까지!
Deep learning 을 모델 학습을 위해서 high computing power가 필수 입니다. 아마존의 AWS를 통해 ‘Tesla K80’ GPU를사용하여 학습할 수 있는 인스턴스를 만들고 jupyter notebook 을 실행시켜 아마존 EC2 인스턴스에서 학습시키는 방법...
네임서버
아마존 AWS에서 생성한 인스턴스와 도메인 네임서버(가비아/cafe24) 설정하기
아마존 AWS에 워드프레서 AMI(무료 인스턴스)를 생성하고, 이를 이전에 미리 구매한 도메인과 네임서버 연결하는 작업을 해 보았습니다. 우선, 워드프레스 호스팅을 위하여 아마존에 인스턴스를 생성하고 셋업하는 과정은 매우 간단하였고 불과 10분남짓이면 생성할 수 있었습니다. 이에 ...
가비아
아마존 AWS에서 생성한 인스턴스와 도메인 네임서버(가비아/cafe24) 설정하기
아마존 AWS에 워드프레서 AMI(무료 인스턴스)를 생성하고, 이를 이전에 미리 구매한 도메인과 네임서버 연결하는 작업을 해 보았습니다. 우선, 워드프레스 호스팅을 위하여 아마존에 인스턴스를 생성하고 셋업하는 과정은 매우 간단하였고 불과 10분남짓이면 생성할 수 있었습니다. 이에 ...
cafe24
아마존 AWS에서 생성한 인스턴스와 도메인 네임서버(가비아/cafe24) 설정하기
아마존 AWS에 워드프레서 AMI(무료 인스턴스)를 생성하고, 이를 이전에 미리 구매한 도메인과 네임서버 연결하는 작업을 해 보았습니다. 우선, 워드프레스 호스팅을 위하여 아마존에 인스턴스를 생성하고 셋업하는 과정은 매우 간단하였고 불과 10분남짓이면 생성할 수 있었습니다. 이에 ...
도메인 설정
아마존 AWS에서 생성한 인스턴스와 도메인 네임서버(가비아/cafe24) 설정하기
아마존 AWS에 워드프레서 AMI(무료 인스턴스)를 생성하고, 이를 이전에 미리 구매한 도메인과 네임서버 연결하는 작업을 해 보았습니다. 우선, 워드프레스 호스팅을 위하여 아마존에 인스턴스를 생성하고 셋업하는 과정은 매우 간단하였고 불과 10분남짓이면 생성할 수 있었습니다. 이에 ...
django
python django 프로젝트를 아마존(aws) ec2 인스턴스에 생성 및 원격접속
python 으로 django 프로젝트를 생성해서 작업할 일이 생겼다. 로컬에서 작업하는 것보다 amazon aws에 ec2 인스턴스에 셋팅을 한 뒤에 Visual Studio Code의 ftp-simple 플러그인을 활용해서 remote workplace에서 작업을 해보기로 결정...
ec2 인스턴스
python django 프로젝트를 아마존(aws) ec2 인스턴스에 생성 및 원격접속
python 으로 django 프로젝트를 생성해서 작업할 일이 생겼다. 로컬에서 작업하는 것보다 amazon aws에 ec2 인스턴스에 셋팅을 한 뒤에 Visual Studio Code의 ftp-simple 플러그인을 활용해서 remote workplace에서 작업을 해보기로 결정...
visual studio code
Visual Studio Code에서 ftp-simple 플러그인을 활용하여 AWS 인스턴스 code 원격(remote) 작업
요즘 AWS의 EC2인스턴스에 원격으로 작업할 일이 많아졌다. 기존에는 git에 소스코드를 push한 뒤 EC2인스턴스에서 업데이트 된 소스코드를 pull해서 작업하는 원시적인 방법을 사용했었다. 근데 Visual Studio Code + ftp-simple 플러그인을 활용하여 이...
ftp simple
Visual Studio Code에서 ftp-simple 플러그인을 활용하여 AWS 인스턴스 code 원격(remote) 작업
요즘 AWS의 EC2인스턴스에 원격으로 작업할 일이 많아졌다. 기존에는 git에 소스코드를 push한 뒤 EC2인스턴스에서 업데이트 된 소스코드를 pull해서 작업하는 원시적인 방법을 사용했었다. 근데 Visual Studio Code + ftp-simple 플러그인을 활용하여 이...
aws 원격작업
Visual Studio Code에서 ftp-simple 플러그인을 활용하여 AWS 인스턴스 code 원격(remote) 작업
요즘 AWS의 EC2인스턴스에 원격으로 작업할 일이 많아졌다. 기존에는 git에 소스코드를 push한 뒤 EC2인스턴스에서 업데이트 된 소스코드를 pull해서 작업하는 원시적인 방법을 사용했었다. 근데 Visual Studio Code + ftp-simple 플러그인을 활용하여 이...
aws 인스턴스
Visual Studio Code에서 ftp-simple 플러그인을 활용하여 AWS 인스턴스 code 원격(remote) 작업
요즘 AWS의 EC2인스턴스에 원격으로 작업할 일이 많아졌다. 기존에는 git에 소스코드를 push한 뒤 EC2인스턴스에서 업데이트 된 소스코드를 pull해서 작업하는 원시적인 방법을 사용했었다. 근데 Visual Studio Code + ftp-simple 플러그인을 활용하여 이...
크론탭
[Linux] Python(.py)을 가상환경(virtualenv)에서 주기별로 실행하기
python으로 주기적으로 크롤링 작업을 하거나, 또는 기타 여러가지 상황때문에 .py 파일을 리눅스 환경에서 주기적으로 실행하고 싶은 경우가 있을 겁니다. 그리고 대부분 .py 파일별로 다른 가상환경에서 .py를 실행시켜야 하는 경우도 있을 겁니다.
crontab
[Linux] Python(.py)을 가상환경(virtualenv)에서 주기별로 실행하기
python으로 주기적으로 크롤링 작업을 하거나, 또는 기타 여러가지 상황때문에 .py 파일을 리눅스 환경에서 주기적으로 실행하고 싶은 경우가 있을 겁니다. 그리고 대부분 .py 파일별로 다른 가상환경에서 .py를 실행시켜야 하는 경우도 있을 겁니다.
virtualenv
[Linux] Python(.py)을 가상환경(virtualenv)에서 주기별로 실행하기
python으로 주기적으로 크롤링 작업을 하거나, 또는 기타 여러가지 상황때문에 .py 파일을 리눅스 환경에서 주기적으로 실행하고 싶은 경우가 있을 겁니다. 그리고 대부분 .py 파일별로 다른 가상환경에서 .py를 실행시켜야 하는 경우도 있을 겁니다.
tmux
[Linux] tmux로 terminal을 닫아도 서비스 백그라운드 실행
django 서버를 임시로 AWS에서 띄워놓고 테스트하고자 할 때, AWS EC2 instance에 접속한 터미널을 닫더라도 계속 서버가 돌아가게끔 하고 싶을 때가 있습니다.
zsh
[Linux] 기본 터미널을 z shell(zsh)로 바꾸고 oh my zsh 적용해서 스타일링 하기
Bash Shell보다 Z Shell을 설치하여 보다 fancy한 터미널을 구축할 수 있습니다.
oh my zsh
[Linux] 기본 터미널을 z shell(zsh)로 바꾸고 oh my zsh 적용해서 스타일링 하기
Bash Shell보다 Z Shell을 설치하여 보다 fancy한 터미널을 구축할 수 있습니다.
zsh 스타일링
[Linux] 기본 터미널을 z shell(zsh)로 바꾸고 oh my zsh 적용해서 스타일링 하기
Bash Shell보다 Z Shell을 설치하여 보다 fancy한 터미널을 구축할 수 있습니다.
kmeans clustering
sklearn의 KMeans 모듈을 활용한 뉴스 클러스터링
하루에도 수만개의 뉴스기사가 쏟아져 나옵니다. 수많은 뉴스기사들을 중복되거나 매우 유사도가 높은 기사들은 구독자에게 중복되게 노출시키지 않기 위해서 뉴스기사를 서비스 하고 있는 포털 사이트나 언론사에서도 뉴스기사 클러스터링 기법을 사용하고 있습니다.
비지도학습
sklearn의 KMeans 모듈을 활용한 뉴스 클러스터링
하루에도 수만개의 뉴스기사가 쏟아져 나옵니다. 수많은 뉴스기사들을 중복되거나 매우 유사도가 높은 기사들은 구독자에게 중복되게 노출시키지 않기 위해서 뉴스기사를 서비스 하고 있는 포털 사이트나 언론사에서도 뉴스기사 클러스터링 기법을 사용하고 있습니다.
손글씨 인식
[pytorch] MNIST dataset loading 하기
pytorch 에서 각 종 Datasets에 대하여 제공해줍니다.
remote
jupyter notebook remote 접속 허용 설정
Jupyter Notebook을 원격에서 접속하려고 할 때 셋팅하는 방법에 대해 알아보겠습니다.
ec2 instance
aws ec2(ubuntu 18.04)에서 flask와 nginx 설정하기
AWS의 EC2 인스턴스를 열고, ubuntu 18.04에서 Python으로 Flask 앱을 만든 후 nginx 설정하여 내가 호스팅하고 싶은 도메인과 연결하여 80포트에서 접속가능하도록 설정하는 방법에 대해서 알아보도록 하겠습니다.
flask
aws ec2(ubuntu 18.04)에서 flask와 nginx 설정하기
AWS의 EC2 인스턴스를 열고, ubuntu 18.04에서 Python으로 Flask 앱을 만든 후 nginx 설정하여 내가 호스팅하고 싶은 도메인과 연결하여 80포트에서 접속가능하도록 설정하는 방법에 대해서 알아보도록 하겠습니다.
nginx
aws ec2(ubuntu 18.04)에서 flask와 nginx 설정하기
AWS의 EC2 인스턴스를 열고, ubuntu 18.04에서 Python으로 Flask 앱을 만든 후 nginx 설정하여 내가 호스팅하고 싶은 도메인과 연결하여 80포트에서 접속가능하도록 설정하는 방법에 대해서 알아보도록 하겠습니다.
10 minutes to pandas
10분만에 pandas 정복하기 - 대한민국 부동산 데이터 활용편
Data 분석을 위해서는 pandas는 당연히 기본입니다.
부동산 데이터 분석
10분만에 pandas 정복하기 - 대한민국 부동산 데이터 활용편
Data 분석을 위해서는 pandas는 당연히 기본입니다.
git alias
git alias와 git global config 설정하기
git log에 대해서는 다양한 option들이 존재한다.
git global config
git alias와 git global config 설정하기
git log에 대해서는 다양한 option들이 존재한다.
git diff
git diff를 gui tool인 p4 merge로 설정하기 (global config)
visual Diff Tool인 P4Merge를 설치하고, 이를 활용하여 git diff를 터미널이나 vim이 아닌 GUI Tool에서 diff를 보거나, merge를 할 수 있도록 global config를 설정하는 방법에 대해 알아보겠습니다.
p4 merge
git diff를 gui tool인 p4 merge로 설정하기 (global config)
visual Diff Tool인 P4Merge를 설치하고, 이를 활용하여 git diff를 터미널이나 vim이 아닌 GUI Tool에서 diff를 보거나, merge를 할 수 있도록 global config를 설정하는 방법에 대해 알아보겠습니다.
git merge
git diff를 gui tool인 p4 merge로 설정하기 (global config)
visual Diff Tool인 P4Merge를 설치하고, 이를 활용하여 git diff를 터미널이나 vim이 아닌 GUI Tool에서 diff를 보거나, merge를 할 수 있도록 global config를 설정하는 방법에 대해 알아보겠습니다.
손글씨 분류
sklearn 라이브러리를 활용한 mnist 손글씨 10분만에 70,000개 분류하기
sklearn라이브러리(scikit-learn)는 machine learning을 하기 위하여 필요한 막강한 라이브러리입니다.
machine-learning
Kaggle에서 활용하는 Notebook을 활용하기 (캐글 제출이 훨씬 쉬워졌습니다!!)
Kaggle 에서 제공하는 Notebook을 활용하면, 매우 손쉽게 submission할 수 있으며, GPU 자원까지 활용할 수 있습니다. Kaggle Notebook을 활용하는 방법과 제출하고 score확인까지 얼마나 쉬워졌는지 확인해 보도록 하겠습니다.
피클
python의 pickle 기능을 활용하여 data를 저장하고 불러오는 방법
큰 용량의 dataset을 다루다 보면, 중간에 binary file 형태로 저장하고, 이를 나중에 불러와야하는 경우가 있습니다.
pickle
python의 pickle 기능을 활용하여 data를 저장하고 불러오는 방법
큰 용량의 dataset을 다루다 보면, 중간에 binary file 형태로 저장하고, 이를 나중에 불러와야하는 경우가 있습니다.
kneighbors
sklearn의 K-Nearest Neighbors 분류기를 활용하여 Iris 꽃 종류 분류하기 (Classifier)
K-최근접 이웃 (K-Nearest Neighbors) 알고리즘은 분류(Classifier)와 회귀(Regression)에 모두 쓰입니다. 처음 접하는 사람들도 이해하기 쉬운 알고리즘이며, 단순한 데이터를 대상으로 분류나 회귀를 할 때 사용합니다.
뉴스기사 수집
뉴스 기사 와 RSS 피드에서 손쉽게 크롤링 하여 정보 수집하기
최근 뉴스 기사를 크롤링하여 군집화 하는 작업을 하기 위해서, 국내 신문기사의 정보들을 크롤링해야하는 작업이 필요하였습니다. request와 BeautifulSoup4를 사용해서 크롤링하는 것은 간단하지만, 언론사 웹사이트 별로 기사의 contents를 표시하는 tag와 class...
rss 크롤링
뉴스 기사 와 RSS 피드에서 손쉽게 크롤링 하여 정보 수집하기
최근 뉴스 기사를 크롤링하여 군집화 하는 작업을 하기 위해서, 국내 신문기사의 정보들을 크롤링해야하는 작업이 필요하였습니다. request와 BeautifulSoup4를 사용해서 크롤링하는 것은 간단하지만, 언론사 웹사이트 별로 기사의 contents를 표시하는 tag와 class...
타이타닉 생존자 예측
Kaggle(캐글) 타이타닉 생존자 예측 81% 이상 달성하기
캐글(Kaggle)의 대표적인 입문용 데이터 분석 경진대회인 타이타닉 생존자 예측 (Titanic: Machine Learning from Disaster) 에서 81% 이상의 정확도를 기록하여 상위 5% 안에 들 수 있는 Solution을 공유하고자 합니다.
git clean
git clean으로 untracked files 제거하기
git의 untracked files에 단 2개의 명령어로 clean하기 전에 확인하는 방법과 실제 clean하는 방법을 공유드리고자 합니다.
untracked files
git clean으로 untracked files 제거하기
git의 untracked files에 단 2개의 명령어로 clean하기 전에 확인하는 방법과 실제 clean하는 방법을 공유드리고자 합니다.
gpu 설치
딥러닝 PC에 Ubuntu 18.04 설치 후 CUDA 10, cuDNN 설치하기
Amazon AWS에서 좋은 GPU 자원으로 딥러닝을 돌리다보니 요금폭탄을 맞았습니다.. 그래서 이참에 딥러닝 PC를 구매를 하게 되었고 딥러닝 서버를 위한 CUDA 및 cuDNN까지 설치하는 방법에 대하여 알려드리고자 합니다.
mirror
ubuntu에서 패키지 설치시 mirror를 kakao로 변경하는 방법
ubuntu 환경에서 패키지 설치시 (특히 apt-get을 이용한 패키지 설치시) 에러가 나는 경우가 있는데, 이는 보통 mirror 사이트를 변경해주는 것으로 해결할 수 있다.
kakao
ubuntu에서 패키지 설치시 mirror를 kakao로 변경하는 방법
ubuntu 환경에서 패키지 설치시 (특히 apt-get을 이용한 패키지 설치시) 에러가 나는 경우가 있는데, 이는 보통 mirror 사이트를 변경해주는 것으로 해결할 수 있다.
딥러닝 서버
더 나은 딥러닝/머신러닝 서버 환경을 위하여 지금 바로 메모리에 투자하세요.
얼마 전, 개인용 딥러닝 서버에 문제가 생겨서 용산을 방문했습니다.
메모리
더 나은 딥러닝/머신러닝 서버 환경을 위하여 지금 바로 메모리에 투자하세요.
얼마 전, 개인용 딥러닝 서버에 문제가 생겨서 용산을 방문했습니다.
ssd
더 나은 딥러닝/머신러닝 서버 환경을 위하여 지금 바로 메모리에 투자하세요.
얼마 전, 개인용 딥러닝 서버에 문제가 생겨서 용산을 방문했습니다.
캐글 api
Kaggle(캐글) API 사용법 - 데이터셋 다운로드와 제출을 손쉽게!
local 환경의 jupyter notebook 에서 작업을 한 뒤 Kaggle에 제출할 때면, 다음과 같은 상황마다 번거로운 순간들이 있습니다.
kaggle api
Kaggle(캐글) API 사용법 - 데이터셋 다운로드와 제출을 손쉽게!
local 환경의 jupyter notebook 에서 작업을 한 뒤 Kaggle에 제출할 때면, 다음과 같은 상황마다 번거로운 순간들이 있습니다.
voting ensemble
앙상블 학습(ensemble learning)으로 알고리즘 성능 개선하기(1) - Voting
Kaggle의 상위 솔루션들만 봐도 알겠지만, 단일 모델로는 어느 정도 성능을 극으로 끌어올리기는 한계가 있습니다. 그렇기 때문에 거의 모든 상위권에 랭크되는 솔루션들을 살펴보면 앙상블 학습(emsemble learning)으로 랭크를 올리는 모습을 볼 수 있습니다. 이번 포스팅에...
보팅 앙상블
앙상블 학습(ensemble learning)으로 알고리즘 성능 개선하기(1) - Voting
Kaggle의 상위 솔루션들만 봐도 알겠지만, 단일 모델로는 어느 정도 성능을 극으로 끌어올리기는 한계가 있습니다. 그렇기 때문에 거의 모든 상위권에 랭크되는 솔루션들을 살펴보면 앙상블 학습(emsemble learning)으로 랭크를 올리는 모습을 볼 수 있습니다. 이번 포스팅에...
hard_vote
앙상블 학습(ensemble learning)으로 알고리즘 성능 개선하기(1) - Voting
Kaggle의 상위 솔루션들만 봐도 알겠지만, 단일 모델로는 어느 정도 성능을 극으로 끌어올리기는 한계가 있습니다. 그렇기 때문에 거의 모든 상위권에 랭크되는 솔루션들을 살펴보면 앙상블 학습(emsemble learning)으로 랭크를 올리는 모습을 볼 수 있습니다. 이번 포스팅에...
soft_vote
앙상블 학습(ensemble learning)으로 알고리즘 성능 개선하기(1) - Voting
Kaggle의 상위 솔루션들만 봐도 알겠지만, 단일 모델로는 어느 정도 성능을 극으로 끌어올리기는 한계가 있습니다. 그렇기 때문에 거의 모든 상위권에 랭크되는 솔루션들을 살펴보면 앙상블 학습(emsemble learning)으로 랭크를 올리는 모습을 볼 수 있습니다. 이번 포스팅에...
bagging ensemble
앙상블 학습(ensemble learning)으로 알고리즘 성능 개선하기(2) - Bagging
Bagging 기반의 앙상블(ensemble) 기법은 이미 널리 사용되고 있는 랜덤포레스트(RandomForest) 알고리즘이 바로 그 대표적인 예 입니다.
boosting
앙상블 학습(ensemble learning)으로 알고리즘 성능 개선하기(3) - Boosting
Boosting 알고리즘 역시 앙상블 학습 (ensemble learning)이며, 약한 학습기를 순차적으로 학습을 하되, 이전 학습에 대하여 잘못 예측된 데이터에 가중치를 부여해 오차를 보완해 나가는 방식입니다.
stacking
앙상블 학습(ensemble learning)으로 알고리즘 성능 개선하기(3) - Boosting
Boosting 알고리즘 역시 앙상블 학습 (ensemble learning)이며, 약한 학습기를 순차적으로 학습을 하되, 이전 학습에 대하여 잘못 예측된 데이터에 가중치를 부여해 오차를 보완해 나가는 방식입니다.
gbm
앙상블 학습(ensemble learning)으로 알고리즘 성능 개선하기(3) - Boosting
Boosting 알고리즘 역시 앙상블 학습 (ensemble learning)이며, 약한 학습기를 순차적으로 학습을 하되, 이전 학습에 대하여 잘못 예측된 데이터에 가중치를 부여해 오차를 보완해 나가는 방식입니다.
gradient
앙상블 학습(ensemble learning)으로 알고리즘 성능 개선하기(3) - Boosting
Boosting 알고리즘 역시 앙상블 학습 (ensemble learning)이며, 약한 학습기를 순차적으로 학습을 하되, 이전 학습에 대하여 잘못 예측된 데이터에 가중치를 부여해 오차를 보완해 나가는 방식입니다.
gridsearch
GridSearch를 이용한 머신러닝 Hyperparameter 튜닝
Hyperparameter 튜닝을 위해서는 다양한 방법론이 존재합니다. 가장 쉬운 방법으로는 일명 손튜닝이 있을 수 있겠구요. RandomSearch, GridSearch, HyperOpt등 다양한 방법으로 Hyperparameter를 튜닝할 수 있습니다.
그래프 시각화
Tree기반 모델(DecisionTree, RandomForest)의 분할 그래프 시각화하기 (graphviz)
Tree 기반 모델은 RandomForest 모델때문에 참 인기있게 활용되는 알고리즘 입니다. RandomForest 모델은 데이터 분석 대회인 캐글에서도 활발히 활용되고 있으며, 성능이 좋을 뿐만아니라 쉽고 간편하게 사용할 수 있기 때문에 저 또한 데이터 분석 대회에서 basel...
graphviz
Tree기반 모델(DecisionTree, RandomForest)의 분할 그래프 시각화하기 (graphviz)
Tree 기반 모델은 RandomForest 모델때문에 참 인기있게 활용되는 알고리즘 입니다. RandomForest 모델은 데이터 분석 대회인 캐글에서도 활발히 활용되고 있으며, 성능이 좋을 뿐만아니라 쉽고 간편하게 사용할 수 있기 때문에 저 또한 데이터 분석 대회에서 basel...
차원축소
PCA 를 활용한 차원축소
Principal Component Analysis는 대표적인 Linear 차원 축소 기법입니다.
주성분 분석
PCA 를 활용한 차원축소
Principal Component Analysis는 대표적인 Linear 차원 축소 기법입니다.
pca
PCA 를 활용한 차원축소
Principal Component Analysis는 대표적인 Linear 차원 축소 기법입니다.
utf8
[pandas] 공공데이터(csv) 활용시 한글 깨짐 현상 해결
이번 포스팅에서는 공공데이터 포털에서 다운로드 받은 csv파일을 pandas에서 로딩할 때 한글깨짐 현상을 해결하는 방법에 대하여 알아보겠습니다.
인코딩
[pandas] 공공데이터(csv) 활용시 한글 깨짐 현상 해결
이번 포스팅에서는 공공데이터 포털에서 다운로드 받은 csv파일을 pandas에서 로딩할 때 한글깨짐 현상을 해결하는 방법에 대하여 알아보겠습니다.
encoding
[pandas] 공공데이터(csv) 활용시 한글 깨짐 현상 해결
이번 포스팅에서는 공공데이터 포털에서 다운로드 받은 csv파일을 pandas에서 로딩할 때 한글깨짐 현상을 해결하는 방법에 대하여 알아보겠습니다.
공공데이터
[pandas] 공공데이터(csv) 활용시 한글 깨짐 현상 해결
이번 포스팅에서는 공공데이터 포털에서 다운로드 받은 csv파일을 pandas에서 로딩할 때 한글깨짐 현상을 해결하는 방법에 대하여 알아보겠습니다.
map
python의 built-in function인 lambda, map, filter, 그리고 reduce에 대한 쉬운 이해와 사용법
lambda, map, filter 그리고 reduce는 python 코딩에서 자주 활용되는 대표적인 built-in function입니다. (reduce는 python3에서 built-in에서는 제거되었습니다)
reduce
python의 built-in function인 lambda, map, filter, 그리고 reduce에 대한 쉬운 이해와 사용법
lambda, map, filter 그리고 reduce는 python 코딩에서 자주 활용되는 대표적인 built-in function입니다. (reduce는 python3에서 built-in에서는 제거되었습니다)
imdb
keras를 활용한 word2vec pre-trained 모델을 로딩하여 IMDB 감정분석 분류문제 해결하기
이번 포스팅에서는 keras api를 활용하여 텍스트에 대한 전처리(Tokenization)와 Word Embdding, 그리고 구글이 공개한 word2vec (Google News 300) 모델을 다운로드 받아, pre-trained 모델을 통해 IMDB 데이터의 감정을 분류하는...
word2vec
keras를 활용한 word2vec pre-trained 모델을 로딩하여 IMDB 감정분석 분류문제 해결하기
이번 포스팅에서는 keras api를 활용하여 텍스트에 대한 전처리(Tokenization)와 Word Embdding, 그리고 구글이 공개한 word2vec (Google News 300) 모델을 다운로드 받아, pre-trained 모델을 통해 IMDB 데이터의 감정을 분류하는...
pre-trained 모델
keras를 활용한 word2vec pre-trained 모델을 로딩하여 IMDB 감정분석 분류문제 해결하기
이번 포스팅에서는 keras api를 활용하여 텍스트에 대한 전처리(Tokenization)와 Word Embdding, 그리고 구글이 공개한 word2vec (Google News 300) 모델을 다운로드 받아, pre-trained 모델을 통해 IMDB 데이터의 감정을 분류하는...
감정분류
keras를 활용한 word2vec pre-trained 모델을 로딩하여 IMDB 감정분석 분류문제 해결하기
이번 포스팅에서는 keras api를 활용하여 텍스트에 대한 전처리(Tokenization)와 Word Embdding, 그리고 구글이 공개한 word2vec (Google News 300) 모델을 다운로드 받아, pre-trained 모델을 통해 IMDB 데이터의 감정을 분류하는...
라벨인코더
카테고리형 데이터를 수치형으로 변환하기 (LabelEncoder와 Categorical dtype)
카테고리형 데이터(Categorical Data)를 수치형 데이터(Numerical Data)로 변환해주는 작업은 머신러닝 모델을 돌려보기 위해서 필수로 해줘야하는 전처리 작업입니다.
category dtype
카테고리형 데이터를 수치형으로 변환하기 (LabelEncoder와 Categorical dtype)
카테고리형 데이터(Categorical Data)를 수치형 데이터(Numerical Data)로 변환해주는 작업은 머신러닝 모델을 돌려보기 위해서 필수로 해줘야하는 전처리 작업입니다.
google adsense
Github 블로그의 방문자 숫자, 구글 애드센스(adsense), 그리고 검색 유입의 관계
현재 운영하고 있는 블로그의 일일 방문객 수 400명 돌파를 자축하며, 방문객 수와 구글 애드센스(Google Adsense) 그리고 검색 유입량의 관계에 대하여 공유 드리고자 합니다.
구글 애드센스
Github 블로그의 방문자 숫자, 구글 애드센스(adsense), 그리고 검색 유입의 관계
현재 운영하고 있는 블로그의 일일 방문객 수 400명 돌파를 자축하며, 방문객 수와 구글 애드센스(Google Adsense) 그리고 검색 유입량의 관계에 대하여 공유 드리고자 합니다.
구글 광고
Github 블로그의 방문자 숫자, 구글 애드센스(adsense), 그리고 검색 유입의 관계
현재 운영하고 있는 블로그의 일일 방문객 수 400명 돌파를 자축하며, 방문객 수와 구글 애드센스(Google Adsense) 그리고 검색 유입량의 관계에 대하여 공유 드리고자 합니다.
블로그 수익화
Github 블로그의 방문자 숫자, 구글 애드센스(adsense), 그리고 검색 유입의 관계
현재 운영하고 있는 블로그의 일일 방문객 수 400명 돌파를 자축하며, 방문객 수와 구글 애드센스(Google Adsense) 그리고 검색 유입량의 관계에 대하여 공유 드리고자 합니다.
github blog
Github 블로그의 방문자 숫자, 구글 애드센스(adsense), 그리고 검색 유입의 관계
현재 운영하고 있는 블로그의 일일 방문객 수 400명 돌파를 자축하며, 방문객 수와 구글 애드센스(Google Adsense) 그리고 검색 유입량의 관계에 대하여 공유 드리고자 합니다.
seo
Github 블로그의 방문자 숫자, 구글 애드센스(adsense), 그리고 검색 유입의 관계
현재 운영하고 있는 블로그의 일일 방문객 수 400명 돌파를 자축하며, 방문객 수와 구글 애드센스(Google Adsense) 그리고 검색 유입량의 관계에 대하여 공유 드리고자 합니다.
google search engine
Github 블로그의 방문자 숫자, 구글 애드센스(adsense), 그리고 검색 유입의 관계
현재 운영하고 있는 블로그의 일일 방문객 수 400명 돌파를 자축하며, 방문객 수와 구글 애드센스(Google Adsense) 그리고 검색 유입량의 관계에 대하여 공유 드리고자 합니다.
google analytics
Github 블로그의 방문자 숫자, 구글 애드센스(adsense), 그리고 검색 유입의 관계
현재 운영하고 있는 블로그의 일일 방문객 수 400명 돌파를 자축하며, 방문객 수와 구글 애드센스(Google Adsense) 그리고 검색 유입량의 관계에 대하여 공유 드리고자 합니다.
키워드 분석
Github 블로그의 방문자 숫자, 구글 애드센스(adsense), 그리고 검색 유입의 관계
현재 운영하고 있는 블로그의 일일 방문객 수 400명 돌파를 자축하며, 방문객 수와 구글 애드센스(Google Adsense) 그리고 검색 유입량의 관계에 대하여 공유 드리고자 합니다.
손실함수
[Keras] 손실함수(Loss Function)와 평가지표(metric) 커스텀하기
이번 포스팅에서는 Keras 딥러닝 프레임워크 활용시 loss function과 metric 을 커스텀하는 방법에 대하여 다뤄보도록 하겠습니다.
loss function
[Keras] 손실함수(Loss Function)와 평가지표(metric) 커스텀하기
이번 포스팅에서는 Keras 딥러닝 프레임워크 활용시 loss function과 metric 을 커스텀하는 방법에 대하여 다뤄보도록 하겠습니다.
평가지표
[Keras] 손실함수(Loss Function)와 평가지표(metric) 커스텀하기
이번 포스팅에서는 Keras 딥러닝 프레임워크 활용시 loss function과 metric 을 커스텀하는 방법에 대하여 다뤄보도록 하겠습니다.
metrics
[Keras] 손실함수(Loss Function)와 평가지표(metric) 커스텀하기
이번 포스팅에서는 Keras 딥러닝 프레임워크 활용시 loss function과 metric 을 커스텀하는 방법에 대하여 다뤄보도록 하겠습니다.
데이터셋 분할
train_test_split 모듈을 활용하여 학습과 테스트 세트 분리
사이킷런(scikit-learn)의 model_selection 패키지 안에 train_test_split 모듈을 활용하여 손쉽게 train set(학습 데이터 셋)과 test set(테스트 셋)을 분리할 수 있습니다. 이번 포스팅에서는 train_test_split 에 대해 자세...
train_test_split
train_test_split 모듈을 활용하여 학습과 테스트 세트 분리
사이킷런(scikit-learn)의 model_selection 패키지 안에 train_test_split 모듈을 활용하여 손쉽게 train set(학습 데이터 셋)과 test set(테스트 셋)을 분리할 수 있습니다. 이번 포스팅에서는 train_test_split 에 대해 자세...
train set
train_test_split 모듈을 활용하여 학습과 테스트 세트 분리
사이킷런(scikit-learn)의 model_selection 패키지 안에 train_test_split 모듈을 활용하여 손쉽게 train set(학습 데이터 셋)과 test set(테스트 셋)을 분리할 수 있습니다. 이번 포스팅에서는 train_test_split 에 대해 자세...
validation set
train_test_split 모듈을 활용하여 학습과 테스트 세트 분리
사이킷런(scikit-learn)의 model_selection 패키지 안에 train_test_split 모듈을 활용하여 손쉽게 train set(학습 데이터 셋)과 test set(테스트 셋)을 분리할 수 있습니다. 이번 포스팅에서는 train_test_split 에 대해 자세...
test set
train_test_split 모듈을 활용하여 학습과 테스트 세트 분리
사이킷런(scikit-learn)의 model_selection 패키지 안에 train_test_split 모듈을 활용하여 손쉽게 train set(학습 데이터 셋)과 test set(테스트 셋)을 분리할 수 있습니다. 이번 포스팅에서는 train_test_split 에 대해 자세...
stratify
train_test_split 모듈을 활용하여 학습과 테스트 세트 분리
사이킷런(scikit-learn)의 model_selection 패키지 안에 train_test_split 모듈을 활용하여 손쉽게 train set(학습 데이터 셋)과 test set(테스트 셋)을 분리할 수 있습니다. 이번 포스팅에서는 train_test_split 에 대해 자세...
reducelronplateau
[Keras] 콜백함수 (1) - 학습률(learning rate): ReduceLROnPlateau
keras의 콜백함수인 ReduceLROnPlateau는 학습률이 개선되지 않을 때, 학습률을 동적으로 조정하여 학습률을 개선하는 효과를 기대할 수 있습니다. 경사하강법에 의하여 학습을 하는 경우 Local Minima에 빠져버리게 되면, 더이상 학습률이 개선되지 않고 정체되거나,...
모델 체크포인트
[Keras] 콜백함수 (2) - weight 중간 저장: ModelCheckpoint
keras의 콜백함수인 ModelCheckpoint는 모델이 학습하면서 정의한 조건을 만족했을 때 Model의 weight 값을 중간 저장해 줍니다. 학습시간이 꽤 오래걸린다면, 모델이 개선된 validation score를 도출해낼 때마다 weight를 중간 저장함으로써, 혹시 ...
model checkpoint
[Keras] 콜백함수 (2) - weight 중간 저장: ModelCheckpoint
keras의 콜백함수인 ModelCheckpoint는 모델이 학습하면서 정의한 조건을 만족했을 때 Model의 weight 값을 중간 저장해 줍니다. 학습시간이 꽤 오래걸린다면, 모델이 개선된 validation score를 도출해낼 때마다 weight를 중간 저장함으로써, 혹시 ...
earlystopping
[Keras] 콜백함수 (3) - 조기종료: EarlyStopping
EarlyStopping 콜백을 활용하면, model의 성능 지표가 설정한 epoch동안 개선되지 않을 때 조기 종료할 수 있습니다. EarlyStopping과 이전에 언급한 ModelCheckpoint 콜백의 조합을 통하여, 개선되지 않는 학습에 대한 조기 종료를 실행하고, Mo...
런타임
구글 코랩 (Google colab)의 런타임 연결 끊김을 방지하는 방법
구글 코랩 (Google colab) 은 90분 동안 아무런 interaction이 없거나, 총 12시간의 세션 timeout이 존재합니다.
우분투
Ubuntu의 Docker환경에서 matplotlib 한글폰트 설치 및 적용
Ubuntu 의 Docker 환경으로 Jupyter Notebook 서버를 돌리고 있을 때 matplotlib 한글 깨짐 현상이 종종일어납니다. 이럴 땐 한 번 한글폰트 설치 후 Image를 백업시키는 것도 방법이 될 수 있습니다.
nanum
Ubuntu의 Docker환경에서 matplotlib 한글폰트 설치 및 적용
Ubuntu 의 Docker 환경으로 Jupyter Notebook 서버를 돌리고 있을 때 matplotlib 한글 깨짐 현상이 종종일어납니다. 이럴 땐 한 번 한글폰트 설치 후 Image를 백업시키는 것도 방법이 될 수 있습니다.
나눔고딕 설치
Ubuntu의 Docker환경에서 matplotlib 한글폰트 설치 및 적용
Ubuntu 의 Docker 환경으로 Jupyter Notebook 서버를 돌리고 있을 때 matplotlib 한글 깨짐 현상이 종종일어납니다. 이럴 땐 한 번 한글폰트 설치 후 Image를 백업시키는 것도 방법이 될 수 있습니다.
kbo
2019년 KBO 관객수를 크롤링하여 matplotlib으로 시각화 해보겠습니다
이번 포스팅에서는 2019년 KBO 관객수를 크롤링해보고, matplotlib 라이브러리를 활용하여 시각화 해보도록 하겠습니다.
데이터 분석 강의
비전공자를 위한 데이터 분석 강의를 오픈합니다. feat.패스트캠퍼스
비전공자, 직장인들을 위한 데이터 분석 강의를 패스트캠퍼스에서 오픈하게 되었습니다.
coding
비전공자를 위한 데이터 분석 강의를 오픈합니다. feat.패스트캠퍼스
비전공자, 직장인들을 위한 데이터 분석 강의를 패스트캠퍼스에서 오픈하게 되었습니다.
lecture
비전공자를 위한 데이터 분석 강의를 오픈합니다. feat.패스트캠퍼스
비전공자, 직장인들을 위한 데이터 분석 강의를 패스트캠퍼스에서 오픈하게 되었습니다.
magic command
Google Colab에서 코드 한 줄(magic command)로 tensorflow2.0으로 업그레이드
Google Colab에서 tensorflow 2.0으로 magic command를 통해 손쉽게 업그레이드 하는 방법에 대하여 알려드리겠습니다.
digit recognizer
Kaggle Digit Recognizer Competition - achieve over 99% accuracy!
This is a very simple tutorial for tensorflow 2.0 beginners! This tutorial is based on Digit Recognizer presented by Kaggle You may be able to submit w...
canvas
matplotlib.pyplot 기본 튜토리얼, 스타일, 캔버스
본 튜토리얼은 matplotlib의 가장 기본적인 튜토리얼을 제공합니다.
워드임베딩
[tensorflow] 단어 토큰화, Embedding, LSTM layer를 활용한 뉴스 데이터 sarcasm 판단
캐글의 뉴스의 Sarcasm 에 대한 판단을 해주는 딥러닝 모델을 tensorflow 2.0을 활용하여 만들어 보겠습니다.
word embedding
[tensorflow] 단어 토큰화, Embedding, LSTM layer를 활용한 뉴스 데이터 sarcasm 판단
캐글의 뉴스의 Sarcasm 에 대한 판단을 해주는 딥러닝 모델을 tensorflow 2.0을 활용하여 만들어 보겠습니다.
sarsasm dataset
[tensorflow] 단어 토큰화, Embedding, LSTM layer를 활용한 뉴스 데이터 sarcasm 판단
캐글의 뉴스의 Sarcasm 에 대한 판단을 해주는 딥러닝 모델을 tensorflow 2.0을 활용하여 만들어 보겠습니다.
통계차트
Seaborn의 통계 차트 및 데이터 시각화 예제
seaborn은 matplotlib의 상위 호환 데이터 시각화를 위한 라이브러리입니다. seaborn패키지는 데이터프레임으로 다양한 통계 지표를 낼 수 있는 시각화 차트를 제공하기 때문에 데이터 분석에 활발히 사용되고 있는 라이브러리입니다.
batch
[tensorflow] Dataset, batch, window, flat_map을 활용한 loader 만들기
tf.data.Dataset을 활용하여 다양한 Dataset 로더를 만들 수 있습니다. 그리고, 로더를 활용하여, shuffle, batch_size, window 데이터셋 생성등 다양한 종류를 데이터 셋을 상황에 맞게 생성하고 모델에 feed할 수 있도록 제공해 줍니다.
window
[tensorflow] Dataset, batch, window, flat_map을 활용한 loader 만들기
tf.data.Dataset을 활용하여 다양한 Dataset 로더를 만들 수 있습니다. 그리고, 로더를 활용하여, shuffle, batch_size, window 데이터셋 생성등 다양한 종류를 데이터 셋을 상황에 맞게 생성하고 모델에 feed할 수 있도록 제공해 줍니다.
flat_map
[tensorflow] Dataset, batch, window, flat_map을 활용한 loader 만들기
tf.data.Dataset을 활용하여 다양한 Dataset 로더를 만들 수 있습니다. 그리고, 로더를 활용하여, shuffle, batch_size, window 데이터셋 생성등 다양한 종류를 데이터 셋을 상황에 맞게 생성하고 모델에 feed할 수 있도록 제공해 줍니다.
data loader
[tensorflow] Dataset, batch, window, flat_map을 활용한 loader 만들기
tf.data.Dataset을 활용하여 다양한 Dataset 로더를 만들 수 있습니다. 그리고, 로더를 활용하여, shuffle, batch_size, window 데이터셋 생성등 다양한 종류를 데이터 셋을 상황에 맞게 생성하고 모델에 feed할 수 있도록 제공해 줍니다.
imagedatagenerator
[tensorflow] ImageDataGenerator / Convolution Neural Network(CNN) 을 활용한 이미지 분류
TensorFlow 2.0의 ImageDataGenerator를 활용하여 Image 데이터를 로컬 폴더에서 로딩 후 Generator를 통해 Image Augmentation과 모델에 Feed 할 수 있는 Generator를 만들어 보도록 하겠습니다.
datasets api
TensorFlow Datasets API 활용법
TensorFlow Datasets 는 다양한 데이터셋을 TensorFlow에서 활용하기 쉽도록 제공합니다. 굉장히 많고, 다양한 데이터셋이 학습하기 편한 형태로 제공 되기 때문에, 간단한 사용법만 알아두어도, 샘플로 모델을 돌려보고 학습하기에 매우 유용합니다.
gan
[tensorflow] 가장 기본모델인 Vanilla GAN 구현하기
GAN 이 참 핫합니다. 이번에는 가장 시초격인 Vanila GAN을 구현해 보도록 하겠습니다.
vanilla gan
[tensorflow] 가장 기본모델인 Vanilla GAN 구현하기
GAN 이 참 핫합니다. 이번에는 가장 시초격인 Vanila GAN을 구현해 보도록 하겠습니다.
vgg16
[tensorflow] VGG16 Transfer Learning 구현과 CNN 모델과 성능 비교
Tranfer Learning은 사전 학습된 모델을 활용하는 방법입니다. 사전 학습된 모델은 방대한 데이터에 대하여 이미 학습된 모델이기 떄문에 적은 학습 cost로 좋은 성능을 이끌어 낼 수 있습니다.
오토인코더
[tensorflow] 오토인코더 구현 (MNIST)
이번 포스팅에서는 오토인코더의 기본 개념에 대하여 알아보고, TensorFlow 2.0으로 오토인코더(Autoencoder)를 구현해 보겠습니다.
autoencoder
[tensorflow] 오토인코더 구현 (MNIST)
이번 포스팅에서는 오토인코더의 기본 개념에 대하여 알아보고, TensorFlow 2.0으로 오토인코더(Autoencoder)를 구현해 보겠습니다.
github
깃헙(GitHub) 웹사이트 기능들로 GitHub 입문하기
Git, GitHub은 프로젝트의 협업을 위해서 꼭 필요한 소스코드 형상 관리 시스템입니다. 형상 관리 시스템은 소스코드의 버전 관리 시스템이라고도 불리웁니다. 다수의 인원이 하나의 프로젝트를 진행할 때, 소스코드의 충돌을 효율적으로 해결하고, 업데이트되는 사항들을 병합해주기도 ...
deep-learning
[tensorflow] GradientTape의 활용법
TensorFlow 2.0의 자동 미분 기능인 GradientTape에 대하여 알아보겠습니다.
gradient-tape
[tensorflow] GradientTape의 활용법
TensorFlow 2.0의 자동 미분 기능인 GradientTape에 대하여 알아보겠습니다.
interpolation
Pandas를 활용한 결측치 보간(interpolation) 하기
탐색적 데이터 분석 (Exploratory Data Analysis)를 진행하다보면, 매우 흔한 확률로 결측치가 존재하는 것을 볼 수 있습니다. 우리는 이런 경우 결측치를 버릴건지(drop), 혹은 채워주어야 합니다. 그러나, 데이터를 함부로 drop하여 머신러닝 예측을 ...
interpolate
Pandas를 활용한 결측치 보간(interpolation) 하기
탐색적 데이터 분석 (Exploratory Data Analysis)를 진행하다보면, 매우 흔한 확률로 결측치가 존재하는 것을 볼 수 있습니다. 우리는 이런 경우 결측치를 버릴건지(drop), 혹은 채워주어야 합니다. 그러나, 데이터를 함부로 drop하여 머신러닝 예측을 ...
결측치 보간
Pandas를 활용한 결측치 보간(interpolation) 하기
탐색적 데이터 분석 (Exploratory Data Analysis)를 진행하다보면, 매우 흔한 확률로 결측치가 존재하는 것을 볼 수 있습니다. 우리는 이런 경우 결측치를 버릴건지(drop), 혹은 채워주어야 합니다. 그러나, 데이터를 함부로 drop하여 머신러닝 예측을 ...
결측치 처리
Pandas를 활용한 결측치 보간(interpolation) 하기
탐색적 데이터 분석 (Exploratory Data Analysis)를 진행하다보면, 매우 흔한 확률로 결측치가 존재하는 것을 볼 수 있습니다. 우리는 이런 경우 결측치를 버릴건지(drop), 혹은 채워주어야 합니다. 그러나, 데이터를 함부로 drop하여 머신러닝 예측을 ...
나라장터
나라장터 입찰공고 데이터 분석 및 머신러닝 예측
나라장터에서 토건, 토목 등 다양한 시공에 대한 입찰 공고를 고지합니다.
입찰공고
나라장터 입찰공고 데이터 분석 및 머신러닝 예측
나라장터에서 토건, 토목 등 다양한 시공에 대한 입찰 공고를 고지합니다.
입찰
나라장터 입찰공고 데이터 분석 및 머신러닝 예측
나라장터에서 토건, 토목 등 다양한 시공에 대한 입찰 공고를 고지합니다.
토건
나라장터 입찰공고 데이터 분석 및 머신러닝 예측
나라장터에서 토건, 토목 등 다양한 시공에 대한 입찰 공고를 고지합니다.
토목
나라장터 입찰공고 데이터 분석 및 머신러닝 예측
나라장터에서 토건, 토목 등 다양한 시공에 대한 입찰 공고를 고지합니다.
입찰강의
나라장터 입찰공고 데이터 분석 및 머신러닝 예측
나라장터에서 토건, 토목 등 다양한 시공에 대한 입찰 공고를 고지합니다.
text_generation
[tensorflow] RNN Text 생성 (셰익스피어 글 생성)
텐서플로우 공식 튜토리얼인 순환 신경망을 활용한 문자열 생성에 대한 클론 코드입니다. 셰익스피어 글 데이터셋을 활용하여 인공지능 모델을 학습시키고, 셰익스피어 스타일의 글을 생성할 수 있는 모델을 만들어 보도록 하겠습니다.
텐서플로 강의
[tensorflow] RNN Text 생성 (셰익스피어 글 생성)
텐서플로우 공식 튜토리얼인 순환 신경망을 활용한 문자열 생성에 대한 클론 코드입니다. 셰익스피어 글 데이터셋을 활용하여 인공지능 모델을 학습시키고, 셰익스피어 스타일의 글을 생성할 수 있는 모델을 만들어 보도록 하겠습니다.
텐서플로 튜토리얼
[tensorflow] RNN Text 생성 (셰익스피어 글 생성)
텐서플로우 공식 튜토리얼인 순환 신경망을 활용한 문자열 생성에 대한 클론 코드입니다. 셰익스피어 글 데이터셋을 활용하여 인공지능 모델을 학습시키고, 셰익스피어 스타일의 글을 생성할 수 있는 모델을 만들어 보도록 하겠습니다.
shakespear
[tensorflow] RNN Text 생성 (셰익스피어 글 생성)
텐서플로우 공식 튜토리얼인 순환 신경망을 활용한 문자열 생성에 대한 클론 코드입니다. 셰익스피어 글 데이터셋을 활용하여 인공지능 모델을 학습시키고, 셰익스피어 스타일의 글을 생성할 수 있는 모델을 만들어 보도록 하겠습니다.
코랩
구글 코랩(colab) 한글 깨짐 현상 해결방법
구글 colab에서 시각화 라이브러리(matplotlib, seaborn)을 사용하게 되면 한글 깨짐 현상이 나타나게 됩니다. 한글 폰트 깨짐 현상에 대한 해결 방법에 대하여 알려드리겠습니다.
코랩 한글
구글 코랩(colab) 한글 깨짐 현상 해결방법
구글 colab에서 시각화 라이브러리(matplotlib, seaborn)을 사용하게 되면 한글 깨짐 현상이 나타나게 됩니다. 한글 폰트 깨짐 현상에 대한 해결 방법에 대하여 알려드리겠습니다.
colab 한글
구글 코랩(colab) 한글 깨짐 현상 해결방법
구글 colab에서 시각화 라이브러리(matplotlib, seaborn)을 사용하게 되면 한글 깨짐 현상이 나타나게 됩니다. 한글 폰트 깨짐 현상에 대한 해결 방법에 대하여 알려드리겠습니다.
한글깨짐
구글 코랩(colab) 한글 깨짐 현상 해결방법
구글 colab에서 시각화 라이브러리(matplotlib, seaborn)을 사용하게 되면 한글 깨짐 현상이 나타나게 됩니다. 한글 폰트 깨짐 현상에 대한 해결 방법에 대하여 알려드리겠습니다.
코랩 한글깨짐
구글 코랩(colab) 한글 깨짐 현상 해결방법
구글 colab에서 시각화 라이브러리(matplotlib, seaborn)을 사용하게 되면 한글 깨짐 현상이 나타나게 됩니다. 한글 폰트 깨짐 현상에 대한 해결 방법에 대하여 알려드리겠습니다.
dll
텐서플로우(tensorflow) 파이참(pycharm)에서 dll 오류 해결
TensorFlow 2.0을 Pycharm에서 실행시 dll load failed: 지정된 모듈을 찾을 수 없습니다.가 나는 경우가 있습니다.
dll load failed
텐서플로우(tensorflow) 파이참(pycharm)에서 dll 오류 해결
TensorFlow 2.0을 Pycharm에서 실행시 dll load failed: 지정된 모듈을 찾을 수 없습니다.가 나는 경우가 있습니다.
dll 오류
텐서플로우(tensorflow) 파이참(pycharm)에서 dll 오류 해결
TensorFlow 2.0을 Pycharm에서 실행시 dll load failed: 지정된 모듈을 찾을 수 없습니다.가 나는 경우가 있습니다.
dll 에러
텐서플로우(tensorflow) 파이참(pycharm)에서 dll 오류 해결
TensorFlow 2.0을 Pycharm에서 실행시 dll load failed: 지정된 모듈을 찾을 수 없습니다.가 나는 경우가 있습니다.
visual studio
텐서플로우(tensorflow) 파이참(pycharm)에서 dll 오류 해결
TensorFlow 2.0을 Pycharm에서 실행시 dll load failed: 지정된 모듈을 찾을 수 없습니다.가 나는 경우가 있습니다.
윈도우10
텐서플로(tensorflow) 윈도우 10 GPU 설치
텐서플로우(TensorFlow) 2.0 를 윈도우(Windows) 10에서 GPU를 활용하여 학습할 수 있도록 설치하는 방법에 대하여 공유드리고자 합니다.
windows10
텐서플로(tensorflow) 윈도우 10 GPU 설치
텐서플로우(TensorFlow) 2.0 를 윈도우(Windows) 10에서 GPU를 활용하여 학습할 수 있도록 설치하는 방법에 대하여 공유드리고자 합니다.
tensorflow gpu install
텐서플로(tensorflow) 윈도우 10 GPU 설치
텐서플로우(TensorFlow) 2.0 를 윈도우(Windows) 10에서 GPU를 활용하여 학습할 수 있도록 설치하는 방법에 대하여 공유드리고자 합니다.
tensorflow gpu
텐서플로(tensorflow) 윈도우 10 GPU 설치
텐서플로우(TensorFlow) 2.0 를 윈도우(Windows) 10에서 GPU를 활용하여 학습할 수 있도록 설치하는 방법에 대하여 공유드리고자 합니다.
tensorflow windows
텐서플로(tensorflow) 윈도우 10 GPU 설치
텐서플로우(TensorFlow) 2.0 를 윈도우(Windows) 10에서 GPU를 활용하여 학습할 수 있도록 설치하는 방법에 대하여 공유드리고자 합니다.
텐서플로 설치
텐서플로(tensorflow) 윈도우 10 GPU 설치
텐서플로우(TensorFlow) 2.0 를 윈도우(Windows) 10에서 GPU를 활용하여 학습할 수 있도록 설치하는 방법에 대하여 공유드리고자 합니다.
텐서플로 GPU
텐서플로(tensorflow) 윈도우 10 GPU 설치
텐서플로우(TensorFlow) 2.0 를 윈도우(Windows) 10에서 GPU를 활용하여 학습할 수 있도록 설치하는 방법에 대하여 공유드리고자 합니다.
텐서플로 윈도우
텐서플로(tensorflow) 윈도우 10 GPU 설치
텐서플로우(TensorFlow) 2.0 를 윈도우(Windows) 10에서 GPU를 활용하여 학습할 수 있도록 설치하는 방법에 대하여 공유드리고자 합니다.
캡스톤 프로젝트
입문자를 위한 데이터분석 포트폴리오 완성, 캡스톤프로젝트를 진행합니다.
이번 글은 국내 최고 성인 실무교육 기관인 패스트캠퍼스와 협력하여 지난 3개월간의 고민 끝에 드디어 런칭을 앞두고 있는 데이터분석 캡스톤 프로젝트에 대하여 시작하게 된 배경과 최종 목표에 대하여 공유하고자 합니다.
capstone
입문자를 위한 데이터분석 포트폴리오 완성, 캡스톤프로젝트를 진행합니다.
이번 글은 국내 최고 성인 실무교육 기관인 패스트캠퍼스와 협력하여 지난 3개월간의 고민 끝에 드디어 런칭을 앞두고 있는 데이터분석 캡스톤 프로젝트에 대하여 시작하게 된 배경과 최종 목표에 대하여 공유하고자 합니다.
비전공장
입문자를 위한 데이터분석 포트폴리오 완성, 캡스톤프로젝트를 진행합니다.
이번 글은 국내 최고 성인 실무교육 기관인 패스트캠퍼스와 협력하여 지난 3개월간의 고민 끝에 드디어 런칭을 앞두고 있는 데이터분석 캡스톤 프로젝트에 대하여 시작하게 된 배경과 최종 목표에 대하여 공유하고자 합니다.
입문자
입문자를 위한 데이터분석 포트폴리오 완성, 캡스톤프로젝트를 진행합니다.
이번 글은 국내 최고 성인 실무교육 기관인 패스트캠퍼스와 협력하여 지난 3개월간의 고민 끝에 드디어 런칭을 앞두고 있는 데이터분석 캡스톤 프로젝트에 대하여 시작하게 된 배경과 최종 목표에 대하여 공유하고자 합니다.
빅데이터
입문자를 위한 데이터분석 포트폴리오 완성, 캡스톤프로젝트를 진행합니다.
이번 글은 국내 최고 성인 실무교육 기관인 패스트캠퍼스와 협력하여 지난 3개월간의 고민 끝에 드디어 런칭을 앞두고 있는 데이터분석 캡스톤 프로젝트에 대하여 시작하게 된 배경과 최종 목표에 대하여 공유하고자 합니다.
포트폴리오
입문자를 위한 데이터분석 포트폴리오 완성, 캡스톤프로젝트를 진행합니다.
이번 글은 국내 최고 성인 실무교육 기관인 패스트캠퍼스와 협력하여 지난 3개월간의 고민 끝에 드디어 런칭을 앞두고 있는 데이터분석 캡스톤 프로젝트에 대하여 시작하게 된 배경과 최종 목표에 대하여 공유하고자 합니다.
멘토링
입문자를 위한 데이터분석 포트폴리오 완성, 캡스톤프로젝트를 진행합니다.
이번 글은 국내 최고 성인 실무교육 기관인 패스트캠퍼스와 협력하여 지난 3개월간의 고민 끝에 드디어 런칭을 앞두고 있는 데이터분석 캡스톤 프로젝트에 대하여 시작하게 된 배경과 최종 목표에 대하여 공유하고자 합니다.
국민연금
국민연금 데이터를 활용한 연봉추정 분석
국민연금 데이터를 공공 데이터 포털에서 제공합니다. 국민연금 데이터를 활용하여 특정 회사의 임직원 평균 연봉을 역추정해보는 것도 가능합니다.
연봉추정
국민연금 데이터를 활용한 연봉추정 분석
국민연금 데이터를 공공 데이터 포털에서 제공합니다. 국민연금 데이터를 활용하여 특정 회사의 임직원 평균 연봉을 역추정해보는 것도 가능합니다.
크레딧잡
국민연금 데이터를 활용한 연봉추정 분석
국민연금 데이터를 공공 데이터 포털에서 제공합니다. 국민연금 데이터를 활용하여 특정 회사의 임직원 평균 연봉을 역추정해보는 것도 가능합니다.
kreditjob
국민연금 데이터를 활용한 연봉추정 분석
국민연금 데이터를 공공 데이터 포털에서 제공합니다. 국민연금 데이터를 활용하여 특정 회사의 임직원 평균 연봉을 역추정해보는 것도 가능합니다.
최소제곱법
최소제곱법 (Ordinary Least Squares) 과 선형회귀 알고리즘 (Linear Regression)
이번 포스팅에서는 최소제곱법(Least Ordinary Sqaures)의 Python 코드 구현과 scikit-learn의 LinearRegression을 활용하여 회귀(Regression) 예측까지 해보겠습니다.
least ordinary squares
최소제곱법 (Ordinary Least Squares) 과 선형회귀 알고리즘 (Linear Regression)
이번 포스팅에서는 최소제곱법(Least Ordinary Sqaures)의 Python 코드 구현과 scikit-learn의 LinearRegression을 활용하여 회귀(Regression) 예측까지 해보겠습니다.
ols
최소제곱법 (Ordinary Least Squares) 과 선형회귀 알고리즘 (Linear Regression)
이번 포스팅에서는 최소제곱법(Least Ordinary Sqaures)의 Python 코드 구현과 scikit-learn의 LinearRegression을 활용하여 회귀(Regression) 예측까지 해보겠습니다.
machine leaerning
경사하강법 (Gradient Descent) 직접 구현하기
이번에는 머신러닝 뿐만아니라, 인공신경망 모델의 가장 기초가 되는 경사하강법 (Gradient Descent)에 대하여 알아보도록 하겠습니다. 경사하강법을 Python으로 직접 구현해보는 튜토리얼 입니다. 자세한 설명은 유튜브 영상을 참고해 보셔도 좋습니다.
sgdregressor
경사하강법 (Gradient Descent) 직접 구현하기
이번에는 머신러닝 뿐만아니라, 인공신경망 모델의 가장 기초가 되는 경사하강법 (Gradient Descent)에 대하여 알아보도록 하겠습니다. 경사하강법을 Python으로 직접 구현해보는 튜토리얼 입니다. 자세한 설명은 유튜브 영상을 참고해 보셔도 좋습니다.
load_iris
scikit-learn 데이터셋(dataset) 다루기
scikit-learn의 패키지에 포함된 dataset 패키지에서 Toy Dataset을 로딩하여 학습해 보는 튜토리얼입니다.
scaler
scikit-learn 데이터 전처리
데이터 전처리는 데이터 분석 및 머신러닝 학습을 위해서 매우 중요한 단계 입니다. 실무 프로젝트에서는 전체 프로젝트 기간 중 평균 50~70% 이상 시간을 전처리 및 EDA에 투자한다고 합니다. 그만큼 좋은 전처리를 하면 할수록 좋은 성능을 내는 머신러닝 모델을 만들 수 있습니다.
standardscaler
scikit-learn 데이터 전처리
데이터 전처리는 데이터 분석 및 머신러닝 학습을 위해서 매우 중요한 단계 입니다. 실무 프로젝트에서는 전체 프로젝트 기간 중 평균 50~70% 이상 시간을 전처리 및 EDA에 투자한다고 합니다. 그만큼 좋은 전처리를 하면 할수록 좋은 성능을 내는 머신러닝 모델을 만들 수 있습니다.
minmaxscaler
scikit-learn 데이터 전처리
데이터 전처리는 데이터 분석 및 머신러닝 학습을 위해서 매우 중요한 단계 입니다. 실무 프로젝트에서는 전체 프로젝트 기간 중 평균 50~70% 이상 시간을 전처리 및 EDA에 투자한다고 합니다. 그만큼 좋은 전처리를 하면 할수록 좋은 성능을 내는 머신러닝 모델을 만들 수 있습니다.
스케일러
scikit-learn 데이터 전처리
데이터 전처리는 데이터 분석 및 머신러닝 학습을 위해서 매우 중요한 단계 입니다. 실무 프로젝트에서는 전체 프로젝트 기간 중 평균 50~70% 이상 시간을 전처리 및 EDA에 투자한다고 합니다. 그만큼 좋은 전처리를 하면 할수록 좋은 성능을 내는 머신러닝 모델을 만들 수 있습니다.
inverse transform
scikit-learn 데이터 전처리
데이터 전처리는 데이터 분석 및 머신러닝 학습을 위해서 매우 중요한 단계 입니다. 실무 프로젝트에서는 전체 프로젝트 기간 중 평균 50~70% 이상 시간을 전처리 및 EDA에 투자한다고 합니다. 그만큼 좋은 전처리를 하면 할수록 좋은 성능을 내는 머신러닝 모델을 만들 수 있습니다.
knn
최근접 이웃 (KNN) 알고리즘을 활용한 분류
K-Nearest Neighbors 이른바, 최근접 이웃 분류 알고리즘을 활용한 간단한 머신러닝 분류 문제를 풀어보도록 하겠습니다. 알고리즘은 동작 원리는 매우 직관적이고 단순 합니다. 이해는 어렵지 않으나, 복잡한 분류 문제에 있어서는 모델의 성능에 대한 큰 기대를 하기 어렵습니...
최근접 이웃 분류
최근접 이웃 (KNN) 알고리즘을 활용한 분류
K-Nearest Neighbors 이른바, 최근접 이웃 분류 알고리즘을 활용한 간단한 머신러닝 분류 문제를 풀어보도록 하겠습니다. 알고리즘은 동작 원리는 매우 직관적이고 단순 합니다. 이해는 어렵지 않으나, 복잡한 분류 문제에 있어서는 모델의 성능에 대한 큰 기대를 하기 어렵습니...
분류 알고리즘
최근접 이웃 (KNN) 알고리즘을 활용한 분류
K-Nearest Neighbors 이른바, 최근접 이웃 분류 알고리즘을 활용한 간단한 머신러닝 분류 문제를 풀어보도록 하겠습니다. 알고리즘은 동작 원리는 매우 직관적이고 단순 합니다. 이해는 어렵지 않으나, 복잡한 분류 문제에 있어서는 모델의 성능에 대한 큰 기대를 하기 어렵습니...
lasso
Lasso, Ridge, ElasticNet-L1, L2규제를 적용한 선형 알고리즘
선형 알고리즘에 기반한 알고리즘에 대해서 알아보고 회귀 (Regression) 문제를 다뤄보도록 하겠습니다. 이번 선형 알고리즘에 기반한 회귀 문제를 다룰 때 L1, L2 규제의 개념이 등장합니다. L1, L2 규제는 딥러닝까지 쭉 이어지는 개념이고, 앞으로 머신러닝/딥러닝 학습시...
ridge
Lasso, Ridge, ElasticNet-L1, L2규제를 적용한 선형 알고리즘
선형 알고리즘에 기반한 알고리즘에 대해서 알아보고 회귀 (Regression) 문제를 다뤄보도록 하겠습니다. 이번 선형 알고리즘에 기반한 회귀 문제를 다룰 때 L1, L2 규제의 개념이 등장합니다. L1, L2 규제는 딥러닝까지 쭉 이어지는 개념이고, 앞으로 머신러닝/딥러닝 학습시...
elasticnet
Lasso, Ridge, ElasticNet-L1, L2규제를 적용한 선형 알고리즘
선형 알고리즘에 기반한 알고리즘에 대해서 알아보고 회귀 (Regression) 문제를 다뤄보도록 하겠습니다. 이번 선형 알고리즘에 기반한 회귀 문제를 다룰 때 L1, L2 규제의 개념이 등장합니다. L1, L2 규제는 딥러닝까지 쭉 이어지는 개념이고, 앞으로 머신러닝/딥러닝 학습시...
규제
Lasso, Ridge, ElasticNet-L1, L2규제를 적용한 선형 알고리즘
선형 알고리즘에 기반한 알고리즘에 대해서 알아보고 회귀 (Regression) 문제를 다뤄보도록 하겠습니다. 이번 선형 알고리즘에 기반한 회귀 문제를 다룰 때 L1, L2 규제의 개념이 등장합니다. L1, L2 규제는 딥러닝까지 쭉 이어지는 개념이고, 앞으로 머신러닝/딥러닝 학습시...
로지스틱회귀
로지스틱회귀(Logistic Regression)와 분류 평가 지표 (Precision, Recall, F1 Score)
Logistic Regression은 선형 알고리즘에 Sigmoid Function 이 결합된 분류 알고리즘 입니다. 알고리즘 이름 뒷부분에 Regression 이 붙기 때문에 흔하게 회귀 알고리즘으로 착각할 수 있지만 분류 알고리즘 입니다.
logistic regression
로지스틱회귀(Logistic Regression)와 분류 평가 지표 (Precision, Recall, F1 Score)
Logistic Regression은 선형 알고리즘에 Sigmoid Function 이 결합된 분류 알고리즘 입니다. 알고리즘 이름 뒷부분에 Regression 이 붙기 때문에 흔하게 회귀 알고리즘으로 착각할 수 있지만 분류 알고리즘 입니다.
분류
로지스틱회귀(Logistic Regression)와 분류 평가 지표 (Precision, Recall, F1 Score)
Logistic Regression은 선형 알고리즘에 Sigmoid Function 이 결합된 분류 알고리즘 입니다. 알고리즘 이름 뒷부분에 Regression 이 붙기 때문에 흔하게 회귀 알고리즘으로 착각할 수 있지만 분류 알고리즘 입니다.
precision
로지스틱회귀(Logistic Regression)와 분류 평가 지표 (Precision, Recall, F1 Score)
Logistic Regression은 선형 알고리즘에 Sigmoid Function 이 결합된 분류 알고리즘 입니다. 알고리즘 이름 뒷부분에 Regression 이 붙기 때문에 흔하게 회귀 알고리즘으로 착각할 수 있지만 분류 알고리즘 입니다.
recall
로지스틱회귀(Logistic Regression)와 분류 평가 지표 (Precision, Recall, F1 Score)
Logistic Regression은 선형 알고리즘에 Sigmoid Function 이 결합된 분류 알고리즘 입니다. 알고리즘 이름 뒷부분에 Regression 이 붙기 때문에 흔하게 회귀 알고리즘으로 착각할 수 있지만 분류 알고리즘 입니다.
f1 score
로지스틱회귀(Logistic Regression)와 분류 평가 지표 (Precision, Recall, F1 Score)
Logistic Regression은 선형 알고리즘에 Sigmoid Function 이 결합된 분류 알고리즘 입니다. 알고리즘 이름 뒷부분에 Regression 이 붙기 때문에 흔하게 회귀 알고리즘으로 착각할 수 있지만 분류 알고리즘 입니다.
의사결정 나무
의사결정 나무 (Decision Tree)와 Entropy, 그리고 Gini 계수
Decision Tree는 Random Forest Ensemble 알고리즘의 기본이 되는 알고리즘이며, Tree 기반 알고리즘입니다. 의사결정나무 혹은 결정트리로 불리우는 이 알고리즘은 머신러닝의 학습 결과에 대하여 시각화를 통한 직관적인 이해가 가능하다는 것이 큰 장점입니다. ...
entropy
의사결정 나무 (Decision Tree)와 Entropy, 그리고 Gini 계수
Decision Tree는 Random Forest Ensemble 알고리즘의 기본이 되는 알고리즘이며, Tree 기반 알고리즘입니다. 의사결정나무 혹은 결정트리로 불리우는 이 알고리즘은 머신러닝의 학습 결과에 대하여 시각화를 통한 직관적인 이해가 가능하다는 것이 큰 장점입니다. ...
gini
의사결정 나무 (Decision Tree)와 Entropy, 그리고 Gini 계수
Decision Tree는 Random Forest Ensemble 알고리즘의 기본이 되는 알고리즘이며, Tree 기반 알고리즘입니다. 의사결정나무 혹은 결정트리로 불리우는 이 알고리즘은 머신러닝의 학습 결과에 대하여 시각화를 통한 직관적인 이해가 가능하다는 것이 큰 장점입니다. ...
엔트로피
의사결정 나무 (Decision Tree)와 Entropy, 그리고 Gini 계수
Decision Tree는 Random Forest Ensemble 알고리즘의 기본이 되는 알고리즘이며, Tree 기반 알고리즘입니다. 의사결정나무 혹은 결정트리로 불리우는 이 알고리즘은 머신러닝의 학습 결과에 대하여 시각화를 통한 직관적인 이해가 가능하다는 것이 큰 장점입니다. ...
지니계수
의사결정 나무 (Decision Tree)와 Entropy, 그리고 Gini 계수
Decision Tree는 Random Forest Ensemble 알고리즘의 기본이 되는 알고리즘이며, Tree 기반 알고리즘입니다. 의사결정나무 혹은 결정트리로 불리우는 이 알고리즘은 머신러닝의 학습 결과에 대하여 시각화를 통한 직관적인 이해가 가능하다는 것이 큰 장점입니다. ...
grid search
머신러닝 실전 앙상블 (Ensemble)과 Hyperparameter 튜닝
머신러닝 알고리즘의 끝판왕인 앙상블(Ensemble) 알고리즘에 대하여 알아보도록 하겠습니다. 앙상블 알고리즘은 방법론 적인 측면에서 Voting, Bagging, Boosting 알고리즘등으로 나뉠 수 있겠고, 앙상블의 앙상블 알고리즘인 Stacking 그리고 Weighted B...
random search
머신러닝 실전 앙상블 (Ensemble)과 Hyperparameter 튜닝
머신러닝 알고리즘의 끝판왕인 앙상블(Ensemble) 알고리즘에 대하여 알아보도록 하겠습니다. 앙상블 알고리즘은 방법론 적인 측면에서 Voting, Bagging, Boosting 알고리즘등으로 나뉠 수 있겠고, 앙상블의 앙상블 알고리즘인 Stacking 그리고 Weighted B...
어텐션
Attention을 활용한 Seq2Seq 모델 생성과 데이터셋 구성
이번 포스팅에서는 Attention을 활용한 Seq2Seq 모델을 생성하는 방법 그리고 Seq2Seq 모델의 학습을 위해 필요한 데이터셋을 구성하는 방법에 대하여 알아보도록 하겠습니다.
ai 주가예측
LSTM과 FinanceDataReader API를 활용한 삼성전자 주가 예측
이번 튜토리얼에서는 딥러닝 모델을 활용하여 삼성전자 주가 예측을 진행해 보겠습니다.
finance data reader
LSTM과 FinanceDataReader API를 활용한 삼성전자 주가 예측
이번 튜토리얼에서는 딥러닝 모델을 활용하여 삼성전자 주가 예측을 진행해 보겠습니다.
facebook prophet
Facebook(Meta) Prophet을 활용한 시계열데이터 예측 및 시각화
이번 포스팅에서는 Facebook Prophet을 활용하여 시계열데이터 예측 튜토리얼을 진행해 보겠습니다.
meta prophet
Facebook(Meta) Prophet을 활용한 시계열데이터 예측 및 시각화
이번 포스팅에서는 Facebook Prophet을 활용하여 시계열데이터 예측 튜토리얼을 진행해 보겠습니다.
책
데이터 과학 트레이닝 북 책 리뷰
이번 포스팅에서는 “데이터 과학 트레이닝 북” 책 리뷰를 해보도록 하겠습니다.
데이터과학 트레이닝북
데이터 과학 트레이닝 북 책 리뷰
이번 포스팅에서는 “데이터 과학 트레이닝 북” 책 리뷰를 해보도록 하겠습니다.
인사이트 출판사
데이터 과학 트레이닝 북 책 리뷰
이번 포스팅에서는 “데이터 과학 트레이닝 북” 책 리뷰를 해보도록 하겠습니다.
인공지능 책 추천
데이터 과학 트레이닝 북 책 리뷰
이번 포스팅에서는 “데이터 과학 트레이닝 북” 책 리뷰를 해보도록 하겠습니다.
functional api
[tensorflow] 함수형 (Functional) API 모델링
본 튜토리얼은 TensorFlow Advanced Technique 시리즈의 일부 내용을 발췌하였습니다.
함수형 api
[tensorflow] 함수형 (Functional) API 모델링
본 튜토리얼은 TensorFlow Advanced Technique 시리즈의 일부 내용을 발췌하였습니다.
inheritance
Python 클래스의 상속 (inheritance)
텐서플로의 Model Subclassing 구현을 위해서는 python의 상속(inheritance) 개념을 필히 알고 있어야 합니다. 그래서, 이번 포스팅에서는 python의 클래스 그리고 상속에 대한 내용을 다뤄 보도록 하겠습니다.
class
Python 클래스의 상속 (inheritance)
텐서플로의 Model Subclassing 구현을 위해서는 python의 상속(inheritance) 개념을 필히 알고 있어야 합니다. 그래서, 이번 포스팅에서는 python의 클래스 그리고 상속에 대한 내용을 다뤄 보도록 하겠습니다.
클래스
Python 클래스의 상속 (inheritance)
텐서플로의 Model Subclassing 구현을 위해서는 python의 상속(inheritance) 개념을 필히 알고 있어야 합니다. 그래서, 이번 포스팅에서는 python의 클래스 그리고 상속에 대한 내용을 다뤄 보도록 하겠습니다.
클래스 인스턴스
Python 클래스의 상속 (inheritance)
텐서플로의 Model Subclassing 구현을 위해서는 python의 상속(inheritance) 개념을 필히 알고 있어야 합니다. 그래서, 이번 포스팅에서는 python의 클래스 그리고 상속에 대한 내용을 다뤄 보도록 하겠습니다.
instance
Python 클래스의 상속 (inheritance)
텐서플로의 Model Subclassing 구현을 위해서는 python의 상속(inheritance) 개념을 필히 알고 있어야 합니다. 그래서, 이번 포스팅에서는 python의 클래스 그리고 상속에 대한 내용을 다뤄 보도록 하겠습니다.
부모 클래스
Python 클래스의 상속 (inheritance)
텐서플로의 Model Subclassing 구현을 위해서는 python의 상속(inheritance) 개념을 필히 알고 있어야 합니다. 그래서, 이번 포스팅에서는 python의 클래스 그리고 상속에 대한 내용을 다뤄 보도록 하겠습니다.
series
#01-Pandas(판다스) 기본 자료구조
Pandas(판다스) 는 막강한 오픈소스 데이터 분석 도구 입니다. Pandas는 업무자동화, 크롤링(Crawling), 데이터베이스 입출력, 시계열 데이터분석, 시각화 등등 다양한 분야에 활용할 수 있는 방대한 기능을 갖추고 있습니다. Pandas의 DataFrame은 Micro...
엑셀
#02-Pandas(판다스) 파일 입출력 - Excel, CSV
이번 에피소드에서는 Pandas의 파일 입출력에 대하여 알아보겠습니다. 그리고, 데이터 분석에서 DB를 제외한 가장 많이 사용되는 파일 형식인 엑셀(Excel)과 CSV (Comma Separated Value)을 로드하고 데이터프레임(DataFrame)을 엑셀(Excel)이나 C...
json
#02-Pandas(판다스) 파일 입출력 - Excel, CSV
이번 에피소드에서는 Pandas의 파일 입출력에 대하여 알아보겠습니다. 그리고, 데이터 분석에서 DB를 제외한 가장 많이 사용되는 파일 형식인 엑셀(Excel)과 CSV (Comma Separated Value)을 로드하고 데이터프레임(DataFrame)을 엑셀(Excel)이나 C...
조회
#03-Pandas(판다스) 데이터프레임(DataFrame) 조회, 정렬(sort), 조건필터(loc, iloc)
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 많이 사용하는 기능인 조회, 정렬 그리고 조건필터 입니다.
정렬
#03-Pandas(판다스) 데이터프레임(DataFrame) 조회, 정렬(sort), 조건필터(loc, iloc)
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 많이 사용하는 기능인 조회, 정렬 그리고 조건필터 입니다.
조건 필터
#03-Pandas(판다스) 데이터프레임(DataFrame) 조회, 정렬(sort), 조건필터(loc, iloc)
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 많이 사용하는 기능인 조회, 정렬 그리고 조건필터 입니다.
loc
#03-Pandas(판다스) 데이터프레임(DataFrame) 조회, 정렬(sort), 조건필터(loc, iloc)
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 많이 사용하는 기능인 조회, 정렬 그리고 조건필터 입니다.
iloc
#03-Pandas(판다스) 데이터프레임(DataFrame) 조회, 정렬(sort), 조건필터(loc, iloc)
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 많이 사용하는 기능인 조회, 정렬 그리고 조건필터 입니다.
파이썬 통계
#04-Pandas(판다스) 통계
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 유용하면서 탐색적 데이터 분석(Exploratory Data Analysis)에서 가장 유용하게 사용되는 기능인 통계 입니다.
통계 분석
#04-Pandas(판다스) 통계
이번 에피소드에서는 Pandas 데이터프레임(DataFrame)의 가장 유용하면서 탐색적 데이터 분석(Exploratory Data Analysis)에서 가장 유용하게 사용되는 기능인 통계 입니다.
결측치
#05-Pandas(판다스) DataFrame의 복사(Copy)와 결측치(NaN values) 처리
이번 에피소드에서는 Pandas 데이터프레임(DataFrame) 의 복사(Copy)와 중요한 전처리 Task 중의 하나인 결측치 처리 에 대해서 알아보겠습니다.
복사
#05-Pandas(판다스) DataFrame의 복사(Copy)와 결측치(NaN values) 처리
이번 에피소드에서는 Pandas 데이터프레임(DataFrame) 의 복사(Copy)와 중요한 전처리 Task 중의 하나인 결측치 처리 에 대해서 알아보겠습니다.
데이터 타입
#06-Pandas(판다스) 데이터 전처리, 추가, 삭제, 데이터 type 변환
이번 에피소드에서는 Pandas DataFrame의 row, column의 추가, 삭제, 컬럼간 연산, 타입의 변환 그리고 데이터 전처리 방법에 대하여 다뤄 보도록 하겠습니다.
컬럼 추가
#06-Pandas(판다스) 데이터 전처리, 추가, 삭제, 데이터 type 변환
이번 에피소드에서는 Pandas DataFrame의 row, column의 추가, 삭제, 컬럼간 연산, 타입의 변환 그리고 데이터 전처리 방법에 대하여 다뤄 보도록 하겠습니다.
컬럼 삭제
#06-Pandas(판다스) 데이터 전처리, 추가, 삭제, 데이터 type 변환
이번 에피소드에서는 Pandas DataFrame의 row, column의 추가, 삭제, 컬럼간 연산, 타입의 변환 그리고 데이터 전처리 방법에 대하여 다뤄 보도록 하겠습니다.
행 삭제
#06-Pandas(판다스) 데이터 전처리, 추가, 삭제, 데이터 type 변환
이번 에피소드에서는 Pandas DataFrame의 row, column의 추가, 삭제, 컬럼간 연산, 타입의 변환 그리고 데이터 전처리 방법에 대하여 다뤄 보도록 하겠습니다.
ai수학
처음 만나는 AI수학 with 파이썬 책 리뷰 - 수포자, 비전공자를 위한 수학
이번 포스팅에서는 처음 만나는 AI수학 with 파이썬 책 리뷰를 해보도록 하겠습니다.
처음 만나는 ai수학
처음 만나는 AI수학 with 파이썬 책 리뷰 - 수포자, 비전공자를 위한 수학
이번 포스팅에서는 처음 만나는 AI수학 with 파이썬 책 리뷰를 해보도록 하겠습니다.
딥러닝 수학
처음 만나는 AI수학 with 파이썬 책 리뷰 - 수포자, 비전공자를 위한 수학
이번 포스팅에서는 처음 만나는 AI수학 with 파이썬 책 리뷰를 해보도록 하겠습니다.
파이썬 수학
처음 만나는 AI수학 with 파이썬 책 리뷰 - 수포자, 비전공자를 위한 수학
이번 포스팅에서는 처음 만나는 AI수학 with 파이썬 책 리뷰를 해보도록 하겠습니다.
선형대수
처음 만나는 AI수학 with 파이썬 책 리뷰 - 수포자, 비전공자를 위한 수학
이번 포스팅에서는 처음 만나는 AI수학 with 파이썬 책 리뷰를 해보도록 하겠습니다.
영진닷컴
처음 만나는 AI수학 with 파이썬 책 리뷰 - 수포자, 비전공자를 위한 수학
이번 포스팅에서는 처음 만나는 AI수학 with 파이썬 책 리뷰를 해보도록 하겠습니다.
베이시안 최적화
베이지안 최적화에 기반한 HyperOpt를 활용한 하이퍼 파라미터 튜닝
Baysian Optimization 기반한 하이퍼파라미터 튜닝 라이브러리인 HyperOpt 에 대하여 다뤄보도록 하겠습니다.
baysian optimization
베이지안 최적화에 기반한 HyperOpt를 활용한 하이퍼 파라미터 튜닝
Baysian Optimization 기반한 하이퍼파라미터 튜닝 라이브러리인 HyperOpt 에 대하여 다뤄보도록 하겠습니다.
hyperopt
베이지안 최적화에 기반한 HyperOpt를 활용한 하이퍼 파라미터 튜닝
Baysian Optimization 기반한 하이퍼파라미터 튜닝 라이브러리인 HyperOpt 에 대하여 다뤄보도록 하겠습니다.
넘파이
넘파이(Numpy) 튜토리얼
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 수치계산용 라이브러리인 넘파이(numpy) 를 다룹니다.
리스트
#02-파이썬(Python) 리스트(list)와 튜플(tuple)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 리스트(list)와 튜플(tuple)을 다룹니다.
list
#02-파이썬(Python) 리스트(list)와 튜플(tuple)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 리스트(list)와 튜플(tuple)을 다룹니다.
튜플
#02-파이썬(Python) 리스트(list)와 튜플(tuple)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 리스트(list)와 튜플(tuple)을 다룹니다.
tuple
#02-파이썬(Python) 리스트(list)와 튜플(tuple)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 리스트(list)와 튜플(tuple)을 다룹니다.
세트
#03-파이썬(Python) 세트(set)와 딕셔너리(dictionary)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 세트(set)와 딕셔너리(dictionary)를 다룹니다.
set
#03-파이썬(Python) 세트(set)와 딕셔너리(dictionary)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 세트(set)와 딕셔너리(dictionary)를 다룹니다.
딕셔너리
#03-파이썬(Python) 세트(set)와 딕셔너리(dictionary)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 세트(set)와 딕셔너리(dictionary)를 다룹니다.
dictionary
#03-파이썬(Python) 세트(set)와 딕셔너리(dictionary)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬 세트(set)와 딕셔너리(dictionary)를 다룹니다.
문자열
#04-파이썬(Python) 문자열(str)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
string
#04-파이썬(Python) 문자열(str)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
문자열 포맷팅
#04-파이썬(Python) 문자열(str)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
연산
#05-파이썬(Python) 연산
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 파이썬에 대한 기본 지식을 다룹니다.
비교연산자
#06-파이썬(Python) 비교, 논리, 삼항연산자와 조건문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
삼항연산자
#06-파이썬(Python) 비교, 논리, 삼항연산자와 조건문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
논리연산자
#06-파이썬(Python) 비교, 논리, 삼항연산자와 조건문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
조건문
#06-파이썬(Python) 비교, 논리, 삼항연산자와 조건문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
if
#06-파이썬(Python) 비교, 논리, 삼항연산자와 조건문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
elif
#06-파이썬(Python) 비교, 논리, 삼항연산자와 조건문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
else
#06-파이썬(Python) 비교, 논리, 삼항연산자와 조건문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
반복문
#07-파이썬(Python) 반복문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
for in
#07-파이썬(Python) 반복문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
while
#07-파이썬(Python) 반복문
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다.
comprehension
#08-파이썬(Python) 컴프리헨션(Comprehension)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 컴프리헨션(Comprehension)을 다룹니다.
컴프리헨션
#08-파이썬(Python) 컴프리헨션(Comprehension)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 컴프리헨션(Comprehension)을 다룹니다.
리스트 컴프리헨션
#08-파이썬(Python) 컴프리헨션(Comprehension)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 컴프리헨션(Comprehension)을 다룹니다.
list comprehension
#08-파이썬(Python) 컴프리헨션(Comprehension)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 컴프리헨션(Comprehension)을 다룹니다.
함수
#09-파이썬(Python) 함수, lambda 함수, 인수(arguments), 매개변수(parameters)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 함수(function), lambda 함수, 인수(arguments)와 매개변수(parameters)를 다룹니다.
function
#09-파이썬(Python) 함수, lambda 함수, 인수(arguments), 매개변수(parameters)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 함수(function), lambda 함수, 인수(arguments)와 매개변수(parameters)를 다룹니다.
lambda 함수
#09-파이썬(Python) 함수, lambda 함수, 인수(arguments), 매개변수(parameters)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 함수(function), lambda 함수, 인수(arguments)와 매개변수(parameters)를 다룹니다.
argument
#09-파이썬(Python) 함수, lambda 함수, 인수(arguments), 매개변수(parameters)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 함수(function), lambda 함수, 인수(arguments)와 매개변수(parameters)를 다룹니다.
parameter
#09-파이썬(Python) 함수, lambda 함수, 인수(arguments), 매개변수(parameters)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 함수(function), lambda 함수, 인수(arguments)와 매개변수(parameters)를 다룹니다.
인수
#09-파이썬(Python) 함수, lambda 함수, 인수(arguments), 매개변수(parameters)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 함수(function), lambda 함수, 인수(arguments)와 매개변수(parameters)를 다룹니다.
매개변수
#09-파이썬(Python) 함수, lambda 함수, 인수(arguments), 매개변수(parameters)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 함수(function), lambda 함수, 인수(arguments)와 매개변수(parameters)를 다룹니다.
내장함수
#10-파이썬(Python) 내장함수-map, zip, filter, enumerate
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 내장함수(built-in function) 중 map(), zip(), filter(), enumerate()를 다룹니다.
zip
#10-파이썬(Python) 내장함수-map, zip, filter, enumerate
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 내장함수(built-in function) 중 map(), zip(), filter(), enumerate()를 다룹니다.
enumerate
#10-파이썬(Python) 내장함수-map, zip, filter, enumerate
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 내장함수(built-in function) 중 map(), zip(), filter(), enumerate()를 다룹니다.
모듈
#11-파이썬(Python) 패키지(package)와 모듈(module)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 패키지(package)와 모듈(module)을 다룹니다.
module
#11-파이썬(Python) 패키지(package)와 모듈(module)
본 포스팅은 파이썬(Python) 코딩 입문자를 위한 튜토리얼 시리즈 연재 중 일부입니다. 이번 튜토리얼에서는 파이썬의 패키지(package)와 모듈(module)을 다룹니다.
캐글 도커
캐글 노트북(Kaggle Notebook) 도커에 한글 자연어처리 패키지를 추가한 딥러닝 도커 배포, 설치 및 실행
캐글 노트북(Kaggle Notebook) 커널로도 유명한 도커인 Kaggle/docker-python의 GPU Docker(gpu.Dockerfile)를 기반으로 구성하였습니다. Kaggle에서 공개한 도커 이미지는 한글 폰트, 자연어처리 패키지, 형태소 분석기 등이 누락되어 있...
gpu 테스트
머신러닝/딥러닝 라이브러리 - GPU 사용 테스트
본 포스팅은 딥러닝 도커 설치 후 머신러닝/딥러닝 라이브러리의 GPU 사용 여부를 테스트하는 코드를 공유 드립니다. 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker)글을 참고하셔서 도커로 딥러닝 환경 구성을 하신 후, 아래 코드로 테스트 해 볼 수 있습...
yes24
무료 E-Book 소개 - Python, 데이터분석, SQL, 정규식 표현
이번 포스팅에서는 yes24.com 에서 2021년 6월 9일 기준 무료로 제공되는 e-book 중 Python, 데이터분석, SQL, 정규식 표현 등에 도움이 되는 책과 링크들을 정리하여 공유 드려 보고자 합니다. 본 포스팅은 광고글은 아니며, 언제까지 무료로 제공될지는 모릅니다...
SQL
무료 E-Book 소개 - Python, 데이터분석, SQL, 정규식 표현
이번 포스팅에서는 yes24.com 에서 2021년 6월 9일 기준 무료로 제공되는 e-book 중 Python, 데이터분석, SQL, 정규식 표현 등에 도움이 되는 책과 링크들을 정리하여 공유 드려 보고자 합니다. 본 포스팅은 광고글은 아니며, 언제까지 무료로 제공될지는 모릅니다...
정규식 표현
무료 E-Book 소개 - Python, 데이터분석, SQL, 정규식 표현
이번 포스팅에서는 yes24.com 에서 2021년 6월 9일 기준 무료로 제공되는 e-book 중 Python, 데이터분석, SQL, 정규식 표현 등에 도움이 되는 책과 링크들을 정리하여 공유 드려 보고자 합니다. 본 포스팅은 광고글은 아니며, 언제까지 무료로 제공될지는 모릅니다...
도서 추천
무료 E-Book 소개 - Python, 데이터분석, SQL, 정규식 표현
이번 포스팅에서는 yes24.com 에서 2021년 6월 9일 기준 무료로 제공되는 e-book 중 Python, 데이터분석, SQL, 정규식 표현 등에 도움이 되는 책과 링크들을 정리하여 공유 드려 보고자 합니다. 본 포스팅은 광고글은 아니며, 언제까지 무료로 제공될지는 모릅니다...
무료 전자책
무료 E-Book 소개 - Python, 데이터분석, SQL, 정규식 표현
이번 포스팅에서는 yes24.com 에서 2021년 6월 9일 기준 무료로 제공되는 e-book 중 Python, 데이터분석, SQL, 정규식 표현 등에 도움이 되는 책과 링크들을 정리하여 공유 드려 보고자 합니다. 본 포스팅은 광고글은 아니며, 언제까지 무료로 제공될지는 모릅니다...
database 책 추천
무료 E-Book 소개 - Python, 데이터분석, SQL, 정규식 표현
이번 포스팅에서는 yes24.com 에서 2021년 6월 9일 기준 무료로 제공되는 e-book 중 Python, 데이터분석, SQL, 정규식 표현 등에 도움이 되는 책과 링크들을 정리하여 공유 드려 보고자 합니다. 본 포스팅은 광고글은 아니며, 언제까지 무료로 제공될지는 모릅니다...
e book
무료 E-Book 소개 - Python, 데이터분석, SQL, 정규식 표현
이번 포스팅에서는 yes24.com 에서 2021년 6월 9일 기준 무료로 제공되는 e-book 중 Python, 데이터분석, SQL, 정규식 표현 등에 도움이 되는 책과 링크들을 정리하여 공유 드려 보고자 합니다. 본 포스팅은 광고글은 아니며, 언제까지 무료로 제공될지는 모릅니다...
그룹바이
#07-Pandas(판다스) Groupby와 Pivot table
이번 에피소드에서는 Pandas DataFrame의 groupby(), pivot_table()을 활용한 데이터 분석 방법에 대하여 다뤄 보도록 하겠습니다.
pivot table
#07-Pandas(판다스) Groupby와 Pivot table
이번 에피소드에서는 Pandas DataFrame의 groupby(), pivot_table()을 활용한 데이터 분석 방법에 대하여 다뤄 보도록 하겠습니다.
데이터 병합
#08-Pandas(판다스) Concat(연결), Merge(병합)
이번 에피소드에서는 Pandas DataFrame의 여러 개의 DataFrame으로 이루어진 데이터를 합치는 방법인 concat()(연결), merge()(병합)에 대하여 다뤄 보도록 하겠습니다.
데이터 연결
#08-Pandas(판다스) Concat(연결), Merge(병합)
이번 에피소드에서는 Pandas DataFrame의 여러 개의 DataFrame으로 이루어진 데이터를 합치는 방법인 concat()(연결), merge()(병합)에 대하여 다뤄 보도록 하겠습니다.
concat
#08-Pandas(판다스) Concat(연결), Merge(병합)
이번 에피소드에서는 Pandas DataFrame의 여러 개의 DataFrame으로 이루어진 데이터를 합치는 방법인 concat()(연결), merge()(병합)에 대하여 다뤄 보도록 하겠습니다.
merge
#08-Pandas(판다스) Concat(연결), Merge(병합)
이번 에피소드에서는 Pandas DataFrame의 여러 개의 DataFrame으로 이루어진 데이터를 합치는 방법인 concat()(연결), merge()(병합)에 대하여 다뤄 보도록 하겠습니다.
알고리마
인공지능? 모를수도 있지! 책 리뷰
이번 포스팅에서는 Algorima에서 집필한 인공지능? 모를수도 있지! 책 리뷰를 해보도록 하겠습니다.
algorima
인공지능? 모를수도 있지! 책 리뷰
이번 포스팅에서는 Algorima에서 집필한 인공지능? 모를수도 있지! 책 리뷰를 해보도록 하겠습니다.
텀블벅
인공지능? 모를수도 있지! 책 리뷰
이번 포스팅에서는 Algorima에서 집필한 인공지능? 모를수도 있지! 책 리뷰를 해보도록 하겠습니다.
책 리뷰
인공지능? 모를수도 있지! 책 리뷰
이번 포스팅에서는 Algorima에서 집필한 인공지능? 모를수도 있지! 책 리뷰를 해보도록 하겠습니다.
테디노트
파이썬 딥러닝 텐서플로 책이 출간되었습니다!
지난 6개월간 동료 3명과 집필한 “파이썬 딥러닝 텐서플로” 책이 드디어 온라인/오프라인 출간 되었습니다!!!
파이썬 책 추천
파이썬 딥러닝 텐서플로 책이 출간되었습니다!
지난 6개월간 동료 3명과 집필한 “파이썬 딥러닝 텐서플로” 책이 드디어 온라인/오프라인 출간 되었습니다!!!
파이썬 딥러닝 텐서플로
파이썬 딥러닝 텐서플로 책이 출간되었습니다!
지난 6개월간 동료 3명과 집필한 “파이썬 딥러닝 텐서플로” 책이 드디어 온라인/오프라인 출간 되었습니다!!!
텐서플로우 책 추천
파이썬 딥러닝 텐서플로 책이 출간되었습니다!
지난 6개월간 동료 3명과 집필한 “파이썬 딥러닝 텐서플로” 책이 드디어 온라인/오프라인 출간 되었습니다!!!
텐서플로 책
파이썬 딥러닝 텐서플로 책이 출간되었습니다!
지난 6개월간 동료 3명과 집필한 “파이썬 딥러닝 텐서플로” 책이 드디어 온라인/오프라인 출간 되었습니다!!!
인공지능 서적
파이썬 딥러닝 텐서플로 책이 출간되었습니다!
지난 6개월간 동료 3명과 집필한 “파이썬 딥러닝 텐서플로” 책이 드디어 온라인/오프라인 출간 되었습니다!!!
jekyll 블로그
Jupyter Notebook을 마크다운(.md) 형식으로 쉽게 변환하여 블로그에 업데이트하기
많은 분들께서 Jekyll 블로그 (혹은 GitHub Pages 블로그)에 포스팅 할 때 Jupyter Notebook을 바로 변환해서 마크다운 형식으로 바로 업로드 하고 싶어할껍니다. 왜냐면, Jupyter Notebook으로 작성된 코드와 주석, 텍스트, 그리고 이미지등을 다시...
노트북 변환
Jupyter Notebook을 마크다운(.md) 형식으로 쉽게 변환하여 블로그에 업데이트하기
많은 분들께서 Jekyll 블로그 (혹은 GitHub Pages 블로그)에 포스팅 할 때 Jupyter Notebook을 바로 변환해서 마크다운 형식으로 바로 업로드 하고 싶어할껍니다. 왜냐면, Jupyter Notebook으로 작성된 코드와 주석, 텍스트, 그리고 이미지등을 다시...
colab 변환
Jupyter Notebook을 마크다운(.md) 형식으로 쉽게 변환하여 블로그에 업데이트하기
많은 분들께서 Jekyll 블로그 (혹은 GitHub Pages 블로그)에 포스팅 할 때 Jupyter Notebook을 바로 변환해서 마크다운 형식으로 바로 업로드 하고 싶어할껍니다. 왜냐면, Jupyter Notebook으로 작성된 코드와 주석, 텍스트, 그리고 이미지등을 다시...
html
Jupyter Notebook을 마크다운(.md) 형식으로 쉽게 변환하여 블로그에 업데이트하기
많은 분들께서 Jekyll 블로그 (혹은 GitHub Pages 블로그)에 포스팅 할 때 Jupyter Notebook을 바로 변환해서 마크다운 형식으로 바로 업로드 하고 싶어할껍니다. 왜냐면, Jupyter Notebook으로 작성된 코드와 주석, 텍스트, 그리고 이미지등을 다시...
변환
Jupyter Notebook을 마크다운(.md) 형식으로 쉽게 변환하여 블로그에 업데이트하기
많은 분들께서 Jekyll 블로그 (혹은 GitHub Pages 블로그)에 포스팅 할 때 Jupyter Notebook을 바로 변환해서 마크다운 형식으로 바로 업로드 하고 싶어할껍니다. 왜냐면, Jupyter Notebook으로 작성된 코드와 주석, 텍스트, 그리고 이미지등을 다시...
주식
코사인 유사도(cosine similarity)로 과거 주가의 유사 패턴을 찾아 미래 예측하기
주가의 과거 패턴을 찾아 미래를 예측하는 것이 가능할까요?
코사인유사도
코사인 유사도(cosine similarity)로 과거 주가의 유사 패턴을 찾아 미래 예측하기
주가의 과거 패턴을 찾아 미래를 예측하는 것이 가능할까요?
cosine similarity
코사인 유사도(cosine similarity)로 과거 주가의 유사 패턴을 찾아 미래 예측하기
주가의 과거 패턴을 찾아 미래를 예측하는 것이 가능할까요?
주가 예측
코사인 유사도(cosine similarity)로 과거 주가의 유사 패턴을 찾아 미래 예측하기
주가의 과거 패턴을 찾아 미래를 예측하는 것이 가능할까요?
ai 주가
코사인 유사도(cosine similarity)로 과거 주가의 유사 패턴을 찾아 미래 예측하기
주가의 과거 패턴을 찾아 미래를 예측하는 것이 가능할까요?
패턴검색
코사인 유사도(cosine similarity)로 과거 주가의 유사 패턴을 찾아 미래 예측하기
주가의 과거 패턴을 찾아 미래를 예측하는 것이 가능할까요?
파이썬 주식
코사인 유사도(cosine similarity)로 과거 주가의 유사 패턴을 찾아 미래 예측하기
주가의 과거 패턴을 찾아 미래를 예측하는 것이 가능할까요?
판다스 주식
코사인 유사도(cosine similarity)로 과거 주가의 유사 패턴을 찾아 미래 예측하기
주가의 과거 패턴을 찾아 미래를 예측하는 것이 가능할까요?
유사 종목 검색
코사인 유사도(cosine similarity)로 과거 주가의 유사 패턴을 찾아 미래 예측하기
주가의 과거 패턴을 찾아 미래를 예측하는 것이 가능할까요?
캔들 패턴
코사인 유사도(cosine similarity)로 과거 주가의 유사 패턴을 찾아 미래 예측하기
주가의 과거 패턴을 찾아 미래를 예측하는 것이 가능할까요?
성인 인구조사
[캐글] 성인 인구조사 소득 예측 대회 커널
작년 T-Academy와 KaKr가 주최하는 성인 인구조사 소득 예측 대회에 참여하여 EDA 노트북을 공유했었습니다.
소득
[캐글] 성인 인구조사 소득 예측 대회 커널
작년 T-Academy와 KaKr가 주최하는 성인 인구조사 소득 예측 대회에 참여하여 EDA 노트북을 공유했었습니다.
kakr
[캐글] 성인 인구조사 소득 예측 대회 커널
작년 T-Academy와 KaKr가 주최하는 성인 인구조사 소득 예측 대회에 참여하여 EDA 노트북을 공유했었습니다.
tacademy
[캐글] 성인 인구조사 소득 예측 대회 커널
작년 T-Academy와 KaKr가 주최하는 성인 인구조사 소득 예측 대회에 참여하여 EDA 노트북을 공유했었습니다.
folium
지도 시각화 도구 Folium 사용법을 파헤쳐보자!
지도위에 데이터를 interactive하게 표현해 주는 대표적인 파이썬 지도 시각화 라이브러리 folium에 대해서 알아보고 그 사용법을 파헤쳐보도록 하겠습니다.
지도 시각화
지도 시각화 도구 Folium 사용법을 파헤쳐보자!
지도위에 데이터를 interactive하게 표현해 주는 대표적인 파이썬 지도 시각화 라이브러리 folium에 대해서 알아보고 그 사용법을 파헤쳐보도록 하겠습니다.
원격 서버
원격 서버 Jupyter Notebook에서 TensorBoard(텐서보드) 로드 하기
tensorboard는 딥러닝 프레임워크에서 모델이 학습되는 과정을 실시간으로 모니터링 할 수 있는 강력한 툴입니다.
iptime
원격 서버 Jupyter Notebook에서 TensorBoard(텐서보드) 로드 하기
tensorboard는 딥러닝 프레임워크에서 모델이 학습되는 과정을 실시간으로 모니터링 할 수 있는 강력한 툴입니다.
원격 접속 허용
원격 서버 Jupyter Notebook에서 TensorBoard(텐서보드) 로드 하기
tensorboard는 딥러닝 프레임워크에서 모델이 학습되는 과정을 실시간으로 모니터링 할 수 있는 강력한 툴입니다.
google cloud api
Google Cloud API를 활용하여 주소의 위도, 경도 정보 가져오기
Google Cloud API 의 Geocoding API를 활용하여 한글 주소를 위/경도 좌표계로 변경해 보는 방법에 대하여 알아보겠습니다.
위도
Google Cloud API를 활용하여 주소의 위도, 경도 정보 가져오기
Google Cloud API 의 Geocoding API를 활용하여 한글 주소를 위/경도 좌표계로 변경해 보는 방법에 대하여 알아보겠습니다.
경도
Google Cloud API를 활용하여 주소의 위도, 경도 정보 가져오기
Google Cloud API 의 Geocoding API를 활용하여 한글 주소를 위/경도 좌표계로 변경해 보는 방법에 대하여 알아보겠습니다.
지도 api
Google Cloud API를 활용하여 주소의 위도, 경도 정보 가져오기
Google Cloud API 의 Geocoding API를 활용하여 한글 주소를 위/경도 좌표계로 변경해 보는 방법에 대하여 알아보겠습니다.
google 지도
Google Cloud API를 활용하여 주소의 위도, 경도 정보 가져오기
Google Cloud API 의 Geocoding API를 활용하여 한글 주소를 위/경도 좌표계로 변경해 보는 방법에 대하여 알아보겠습니다.
google cloud platform
Google Cloud API를 활용하여 주소의 위도, 경도 정보 가져오기
Google Cloud API 의 Geocoding API를 활용하여 한글 주소를 위/경도 좌표계로 변경해 보는 방법에 대하여 알아보겠습니다.
발급
Google Cloud API를 활용하여 주소의 위도, 경도 정보 가져오기
Google Cloud API 의 Geocoding API를 활용하여 한글 주소를 위/경도 좌표계로 변경해 보는 방법에 대하여 알아보겠습니다.
ai spark 챌린지
[AI SPARK 챌린지] 수도관 누수 탐지 분류 문제 베이스라인 코드! (오디오 파일 전처리)
얼마전 연구개발특구진흥재단에서 주최하고 AIFactory에서 주관한 [AI SPARK 챌린지] 대회2. 수도관 누수 탐지 분류 문제에 대하여 베이스라인 코드를 잡아봤습니다.
수도관 누수 탐지
[AI SPARK 챌린지] 수도관 누수 탐지 분류 문제 베이스라인 코드! (오디오 파일 전처리)
얼마전 연구개발특구진흥재단에서 주최하고 AIFactory에서 주관한 [AI SPARK 챌린지] 대회2. 수도관 누수 탐지 분류 문제에 대하여 베이스라인 코드를 잡아봤습니다.
음성
[AI SPARK 챌린지] 수도관 누수 탐지 분류 문제 베이스라인 코드! (오디오 파일 전처리)
얼마전 연구개발특구진흥재단에서 주최하고 AIFactory에서 주관한 [AI SPARK 챌린지] 대회2. 수도관 누수 탐지 분류 문제에 대하여 베이스라인 코드를 잡아봤습니다.
오디오
[AI SPARK 챌린지] 수도관 누수 탐지 분류 문제 베이스라인 코드! (오디오 파일 전처리)
얼마전 연구개발특구진흥재단에서 주최하고 AIFactory에서 주관한 [AI SPARK 챌린지] 대회2. 수도관 누수 탐지 분류 문제에 대하여 베이스라인 코드를 잡아봤습니다.
푸리에 변환
[AI SPARK 챌린지] 수도관 누수 탐지 분류 문제 베이스라인 코드! (오디오 파일 전처리)
얼마전 연구개발특구진흥재단에서 주최하고 AIFactory에서 주관한 [AI SPARK 챌린지] 대회2. 수도관 누수 탐지 분류 문제에 대하여 베이스라인 코드를 잡아봤습니다.
color
matplotlib 컬러명(color name), 팔레트(palette) 이름
matplotlib이나 seaborn을 활용하여 시각화를 할 때 color, cmap, palette의 옵션 설정을 통해 그래프(시각화)의 색상을 쉽게 변경할 수 있습니다.
palette
matplotlib 컬러명(color name), 팔레트(palette) 이름
matplotlib이나 seaborn을 활용하여 시각화를 할 때 color, cmap, palette의 옵션 설정을 통해 그래프(시각화)의 색상을 쉽게 변경할 수 있습니다.
컬러 팔레트
matplotlib 컬러명(color name), 팔레트(palette) 이름
matplotlib이나 seaborn을 활용하여 시각화를 할 때 color, cmap, palette의 옵션 설정을 통해 그래프(시각화)의 색상을 쉽게 변경할 수 있습니다.
color name
matplotlib 컬러명(color name), 팔레트(palette) 이름
matplotlib이나 seaborn을 활용하여 시각화를 할 때 color, cmap, palette의 옵션 설정을 통해 그래프(시각화)의 색상을 쉽게 변경할 수 있습니다.
색상
matplotlib 컬러명(color name), 팔레트(palette) 이름
matplotlib이나 seaborn을 활용하여 시각화를 할 때 color, cmap, palette의 옵션 설정을 통해 그래프(시각화)의 색상을 쉽게 변경할 수 있습니다.
팔레트
matplotlib 컬러명(color name), 팔레트(palette) 이름
matplotlib이나 seaborn을 활용하여 시각화를 할 때 color, cmap, palette의 옵션 설정을 통해 그래프(시각화)의 색상을 쉽게 변경할 수 있습니다.
카카오브레인
뽀로로(PORORO) 자연어처리 라이브러리 활용기 (dev. and maintained by 카카오 브레인(Kakao Brain) PORORO팀)
카카오 브레인(Kakao Brain) 에서 개발한 자연어처리 종합 선물 세트
kakao brain
뽀로로(PORORO) 자연어처리 라이브러리 활용기 (dev. and maintained by 카카오 브레인(Kakao Brain) PORORO팀)
카카오 브레인(Kakao Brain) 에서 개발한 자연어처리 종합 선물 세트
뽀로로
뽀로로(PORORO) 자연어처리 라이브러리 활용기 (dev. and maintained by 카카오 브레인(Kakao Brain) PORORO팀)
카카오 브레인(Kakao Brain) 에서 개발한 자연어처리 종합 선물 세트
pororo
뽀로로(PORORO) 자연어처리 라이브러리 활용기 (dev. and maintained by 카카오 브레인(Kakao Brain) PORORO팀)
카카오 브레인(Kakao Brain) 에서 개발한 자연어처리 종합 선물 세트
트랜스포머
뽀로로(PORORO) 자연어처리 라이브러리 활용기 (dev. and maintained by 카카오 브레인(Kakao Brain) PORORO팀)
카카오 브레인(Kakao Brain) 에서 개발한 자연어처리 종합 선물 세트
토크나이저
뽀로로(PORORO) 자연어처리 라이브러리 활용기 (dev. and maintained by 카카오 브레인(Kakao Brain) PORORO팀)
카카오 브레인(Kakao Brain) 에서 개발한 자연어처리 종합 선물 세트
문장 생성
뽀로로(PORORO) 자연어처리 라이브러리 활용기 (dev. and maintained by 카카오 브레인(Kakao Brain) PORORO팀)
카카오 브레인(Kakao Brain) 에서 개발한 자연어처리 종합 선물 세트
문장 예측
뽀로로(PORORO) 자연어처리 라이브러리 활용기 (dev. and maintained by 카카오 브레인(Kakao Brain) PORORO팀)
카카오 브레인(Kakao Brain) 에서 개발한 자연어처리 종합 선물 세트
summary
뽀로로(PORORO) 자연어처리 라이브러리 활용기 (dev. and maintained by 카카오 브레인(Kakao Brain) PORORO팀)
카카오 브레인(Kakao Brain) 에서 개발한 자연어처리 종합 선물 세트
기계번역
뽀로로(PORORO) 자연어처리 라이브러리 활용기 (dev. and maintained by 카카오 브레인(Kakao Brain) PORORO팀)
카카오 브레인(Kakao Brain) 에서 개발한 자연어처리 종합 선물 세트
mask
뽀로로(PORORO) 자연어처리 라이브러리 활용기 (dev. and maintained by 카카오 브레인(Kakao Brain) PORORO팀)
카카오 브레인(Kakao Brain) 에서 개발한 자연어처리 종합 선물 세트
구글 드라이브
Colab에서 구글 드라이브(Google Drive) 압축파일 다운로드 쉽게하기 (코드 3줄!)
데이콘(dacon.io) 경진대회 데이터셋은 아래 이미지와 같이 대부분 구글 드라이브 download 링크로 제공합니다.
google drive
Colab에서 구글 드라이브(Google Drive) 압축파일 다운로드 쉽게하기 (코드 3줄!)
데이콘(dacon.io) 경진대회 데이터셋은 아래 이미지와 같이 대부분 구글 드라이브 download 링크로 제공합니다.
drive api
Colab에서 구글 드라이브(Google Drive) 압축파일 다운로드 쉽게하기 (코드 3줄!)
데이콘(dacon.io) 경진대회 데이터셋은 아래 이미지와 같이 대부분 구글 드라이브 download 링크로 제공합니다.
file download
Colab에서 구글 드라이브(Google Drive) 압축파일 다운로드 쉽게하기 (코드 3줄!)
데이콘(dacon.io) 경진대회 데이터셋은 아래 이미지와 같이 대부분 구글 드라이브 download 링크로 제공합니다.
파일 다운로드
Colab에서 구글 드라이브(Google Drive) 압축파일 다운로드 쉽게하기 (코드 3줄!)
데이콘(dacon.io) 경진대회 데이터셋은 아래 이미지와 같이 대부분 구글 드라이브 download 링크로 제공합니다.
베이스라인
캐글/데이콘 경진대회 Baseline을 잡기 위한 optuna + [xgboost, lightgbm, catboost] 패키지 소개
경진대회에서 모델의 Hyperparameter 튜닝에 드는 노력과 시간을 절약하기 위하여 xgboost, lightgbm, catboost 3개의 라이브러리에 대하여 optuna 튜닝을 적용하여 예측 값을 산출해 내는 로직을 라이브러리 형태로 패키징 했습니다.
catboost
캐글/데이콘 경진대회 Baseline을 잡기 위한 optuna + [xgboost, lightgbm, catboost] 패키지 소개
경진대회에서 모델의 Hyperparameter 튜닝에 드는 노력과 시간을 절약하기 위하여 xgboost, lightgbm, catboost 3개의 라이브러리에 대하여 optuna 튜닝을 적용하여 예측 값을 산출해 내는 로직을 라이브러리 형태로 패키징 했습니다.
하이퍼파라미터
캐글/데이콘 경진대회 Baseline을 잡기 위한 optuna + [xgboost, lightgbm, catboost] 패키지 소개
경진대회에서 모델의 Hyperparameter 튜닝에 드는 노력과 시간을 절약하기 위하여 xgboost, lightgbm, catboost 3개의 라이브러리에 대하여 optuna 튜닝을 적용하여 예측 값을 산출해 내는 로직을 라이브러리 형태로 패키징 했습니다.
install
구글 코랩(Google Colab)에서 Mecab 형태소 분석기, konlpy 쉽게 설치하기
Google Colab (구글 코랩) 에서 Mecab 형태소 분석기 설치 과정이 복잡하기 때문에 배시 스크립트(bash script)로 만들어 코드 1줄 실행으로 복잡한 설치 과정을 건너뛸 수 있도록 만들었습니다.
from_numpy
[PyTorch] 텐서(tensor)의 다양한 생성 방법, 속성, dtype 그리고 shape 변경
이번 포스팅에서는 PyTorch의 텐서(Tensor) 생성하는 다양한 방법, 랜덤 텐서의 생성, 그리고 텐서의 shape 확인 및 변경 방법에 대하여 알아보도록 하겠습니다.
as_tensor
[PyTorch] 텐서(tensor)의 다양한 생성 방법, 속성, dtype 그리고 shape 변경
이번 포스팅에서는 PyTorch의 텐서(Tensor) 생성하는 다양한 방법, 랜덤 텐서의 생성, 그리고 텐서의 shape 확인 및 변경 방법에 대하여 알아보도록 하겠습니다.
view
[PyTorch] 텐서(tensor)의 다양한 생성 방법, 속성, dtype 그리고 shape 변경
이번 포스팅에서는 PyTorch의 텐서(Tensor) 생성하는 다양한 방법, 랜덤 텐서의 생성, 그리고 텐서의 shape 확인 및 변경 방법에 대하여 알아보도록 하겠습니다.
reshape
[PyTorch] 텐서(tensor)의 다양한 생성 방법, 속성, dtype 그리고 shape 변경
이번 포스팅에서는 PyTorch의 텐서(Tensor) 생성하는 다양한 방법, 랜덤 텐서의 생성, 그리고 텐서의 shape 확인 및 변경 방법에 대하여 알아보도록 하겠습니다.
dtype
[PyTorch] 텐서(tensor)의 다양한 생성 방법, 속성, dtype 그리고 shape 변경
이번 포스팅에서는 PyTorch의 텐서(Tensor) 생성하는 다양한 방법, 랜덤 텐서의 생성, 그리고 텐서의 shape 확인 및 변경 방법에 대하여 알아보도록 하겠습니다.
torchsummary
[PyTorch] 모델의 구조도 요약(summary) 출력 (torchsummary)
이번 포스팅에서는 pytorch 모델의 구조도(structure) 요약(summary)을 손쉽게 확인해 볼 수 있는 라이브러리인 torchsummary에 대해 소개해 드리겠습니다.
모델 구조
[PyTorch] 모델의 구조도 요약(summary) 출력 (torchsummary)
이번 포스팅에서는 pytorch 모델의 구조도(structure) 요약(summary)을 손쉽게 확인해 볼 수 있는 라이브러리인 torchsummary에 대해 소개해 드리겠습니다.
shape
[PyTorch] RNN Layer 입출력 파라미터와 차원(shape) 이해
이번 포스팅에서는 pytorch의 rnn 레이어의 input 차원, output 차원, hidden dimension, num_layers 파라미터를 직접 확인하면서 동작 결과를 눈으로 직접 확인해 보고 코딩시 적절하게 활용하는 방법에 대하여 알아보도록 하겠습니다.
차원
[PyTorch] RNN Layer 입출력 파라미터와 차원(shape) 이해
이번 포스팅에서는 pytorch의 rnn 레이어의 input 차원, output 차원, hidden dimension, num_layers 파라미터를 직접 확인하면서 동작 결과를 눈으로 직접 확인해 보고 코딩시 적절하게 활용하는 방법에 대하여 알아보도록 하겠습니다.
입출력
[PyTorch] RNN Layer 입출력 파라미터와 차원(shape) 이해
이번 포스팅에서는 pytorch의 rnn 레이어의 input 차원, output 차원, hidden dimension, num_layers 파라미터를 직접 확인하면서 동작 결과를 눈으로 직접 확인해 보고 코딩시 적절하게 활용하는 방법에 대하여 알아보도록 하겠습니다.
도커 실행
한글 자연어 처리 패키지가 포함된 딥러닝 전용 도커 배포 (손쉬운 설치 및 실행)
최신 버전의 GPU를 활용한 학습이 가능한 딥러닝 도커를 구성하여 배포하게 되었습니다. (배포날짜는 2022년 07월 20일 기준입니다)
tensorflow docker
한글 자연어 처리 패키지가 포함된 딥러닝 전용 도커 배포 (손쉬운 설치 및 실행)
최신 버전의 GPU를 활용한 학습이 가능한 딥러닝 도커를 구성하여 배포하게 되었습니다. (배포날짜는 2022년 07월 20일 기준입니다)
텐서플로 도커
한글 자연어 처리 패키지가 포함된 딥러닝 전용 도커 배포 (손쉬운 설치 및 실행)
최신 버전의 GPU를 활용한 학습이 가능한 딥러닝 도커를 구성하여 배포하게 되었습니다. (배포날짜는 2022년 07월 20일 기준입니다)
파이토치 도커
한글 자연어 처리 패키지가 포함된 딥러닝 전용 도커 배포 (손쉬운 설치 및 실행)
최신 버전의 GPU를 활용한 학습이 가능한 딥러닝 도커를 구성하여 배포하게 되었습니다. (배포날짜는 2022년 07월 20일 기준입니다)
pytorch docker
한글 자연어 처리 패키지가 포함된 딥러닝 전용 도커 배포 (손쉬운 설치 및 실행)
최신 버전의 GPU를 활용한 학습이 가능한 딥러닝 도커를 구성하여 배포하게 되었습니다. (배포날짜는 2022년 07월 20일 기준입니다)
이미지정규화
torchvision의 transform으로 이미지 정규화하기(평균, 표준편차를 계산하여 적용)
딥러닝 모델이 이미지를 학습하기 전 이미지 정규화를 진행하는 것은 일반적으로 수행하는 전처리 입니다.
torchvision
torchvision의 transform으로 이미지 정규화하기(평균, 표준편차를 계산하여 적용)
딥러닝 모델이 이미지를 학습하기 전 이미지 정규화를 진행하는 것은 일반적으로 수행하는 전처리 입니다.
transform
torchvision의 transform으로 이미지 정규화하기(평균, 표준편차를 계산하여 적용)
딥러닝 모델이 이미지를 학습하기 전 이미지 정규화를 진행하는 것은 일반적으로 수행하는 전처리 입니다.
image transform
torchvision의 transform으로 이미지 정규화하기(평균, 표준편차를 계산하여 적용)
딥러닝 모델이 이미지를 학습하기 전 이미지 정규화를 진행하는 것은 일반적으로 수행하는 전처리 입니다.
이미지 전처리
torchvision의 transform으로 이미지 정규화하기(평균, 표준편차를 계산하여 적용)
딥러닝 모델이 이미지를 학습하기 전 이미지 정규화를 진행하는 것은 일반적으로 수행하는 전처리 입니다.
이미지 정규화
torchvision의 transform으로 이미지 정규화하기(평균, 표준편차를 계산하여 적용)
딥러닝 모델이 이미지를 학습하기 전 이미지 정규화를 진행하는 것은 일반적으로 수행하는 전처리 입니다.
그룹화
판다스(Pandas) .groupby()로 할 수 있는 거의 모든 것! (통계량, 전처리)
판다스(Pandas)의 .groupby() 기능은 데이터를 그룹별로 분할하여 독립된 그룹에 대하여 별도로 데이터를 처리(혹은 적용)하거나 그룹별 통계량을 확인하고자 할 때 유용한 함수 입니다.
데이터 전처리
판다스(Pandas) .groupby()로 할 수 있는 거의 모든 것! (통계량, 전처리)
판다스(Pandas)의 .groupby() 기능은 데이터를 그룹별로 분할하여 독립된 그룹에 대하여 별도로 데이터를 처리(혹은 적용)하거나 그룹별 통계량을 확인하고자 할 때 유용한 함수 입니다.
판다스 데이터분석
판다스(Pandas) .groupby()로 할 수 있는 거의 모든 것! (통계량, 전처리)
판다스(Pandas)의 .groupby() 기능은 데이터를 그룹별로 분할하여 독립된 그룹에 대하여 별도로 데이터를 처리(혹은 적용)하거나 그룹별 통계량을 확인하고자 할 때 유용한 함수 입니다.
DataFrame
판다스(Pandas) .groupby()로 할 수 있는 거의 모든 것! (통계량, 전처리)
판다스(Pandas)의 .groupby() 기능은 데이터를 그룹별로 분할하여 독립된 그룹에 대하여 별도로 데이터를 처리(혹은 적용)하거나 그룹별 통계량을 확인하고자 할 때 유용한 함수 입니다.
통계. 파이썬 데이터 분석
판다스(Pandas) .groupby()로 할 수 있는 거의 모든 것! (통계량, 전처리)
판다스(Pandas)의 .groupby() 기능은 데이터를 그룹별로 분할하여 독립된 그룹에 대하여 별도로 데이터를 처리(혹은 적용)하거나 그룹별 통계량을 확인하고자 할 때 유용한 함수 입니다.
pytorch datasets
맨 위로 이동 ↑이미지 데이터셋
맨 위로 이동 ↑파이토치 데이터셋
맨 위로 이동 ↑regression
PyTorch의 자동미분(AutoGrad)을 활용하여 정형 데이터 예측기(regression model)구현
이번 튜토리얼에서는 scikit-learn의 내장 데이터셋인 보스톤 주택 가격 데이터셋을 활용하여 회귀 예측 모델(regression model)을 만들고 예측해 보도록 하겠습니다.
subclassing
PyTorch 정형데이터를 CustomDataset으로 서브클래싱(SubClassing)한 후 예측 모델 생성 및 학습하기
정형데이터셋을 로드하여 PyTorch의 torch.utils.data.Dataset을 상속받아 커스텀 데이터셋(CustomDataset)을 서브클래싱(SubClassing)으로 정의하고, 이를 torch.utils.data.DataLoader에 주입하여 배치구성을 한 뒤, 모델 학...
심층신경망
PyTorch 심층신경망(DNN) 모델 생성 후 Fashion MNIST 이미지 분류기 생성, 학습, 예측, 검증 성능 측정하기
PyTorch 심층신경망(Deep Neural Network) 모델을 생성하고 PyTorch의 내장 데이터셋인 Fashion MNIST 데이터셋을 로드하여 이미지 분류기를 생성, 학습, 예측, 검증 성능 측정하는 방법을 알아보겠습니다.
deep neural network
PyTorch 심층신경망(DNN) 모델 생성 후 Fashion MNIST 이미지 분류기 생성, 학습, 예측, 검증 성능 측정하기
PyTorch 심층신경망(Deep Neural Network) 모델을 생성하고 PyTorch의 내장 데이터셋인 Fashion MNIST 데이터셋을 로드하여 이미지 분류기를 생성, 학습, 예측, 검증 성능 측정하는 방법을 알아보겠습니다.
dnn
PyTorch 심층신경망(DNN) 모델 생성 후 Fashion MNIST 이미지 분류기 생성, 학습, 예측, 검증 성능 측정하기
PyTorch 심층신경망(Deep Neural Network) 모델을 생성하고 PyTorch의 내장 데이터셋인 Fashion MNIST 데이터셋을 로드하여 이미지 분류기를 생성, 학습, 예측, 검증 성능 측정하는 방법을 알아보겠습니다.
train
PyTorch 심층신경망(DNN) 모델 생성 후 Fashion MNIST 이미지 분류기 생성, 학습, 예측, 검증 성능 측정하기
PyTorch 심층신경망(Deep Neural Network) 모델을 생성하고 PyTorch의 내장 데이터셋인 Fashion MNIST 데이터셋을 로드하여 이미지 분류기를 생성, 학습, 예측, 검증 성능 측정하는 방법을 알아보겠습니다.
evaluate
PyTorch 심층신경망(DNN) 모델 생성 후 Fashion MNIST 이미지 분류기 생성, 학습, 예측, 검증 성능 측정하기
PyTorch 심층신경망(Deep Neural Network) 모델을 생성하고 PyTorch의 내장 데이터셋인 Fashion MNIST 데이터셋을 로드하여 이미지 분류기를 생성, 학습, 예측, 검증 성능 측정하는 방법을 알아보겠습니다.
rps
PyTorch 로컬이미지 로드(ImageFolder) 후, DataLoader 생성 및 CNN이미지 분류 모델 생성, 학습, 검증 성능 측정하기
로컬 이미지 폴더에서 ImageFolder를 사용하여 이미지 데이터셋을 로드하고, CNN으로 구성된 모델을 생성, 학습, 예측, 검증 성능을 측정하는 방법을 알아보겠습니다.
가위바위보
PyTorch 로컬이미지 로드(ImageFolder) 후, DataLoader 생성 및 CNN이미지 분류 모델 생성, 학습, 검증 성능 측정하기
로컬 이미지 폴더에서 ImageFolder를 사용하여 이미지 데이터셋을 로드하고, CNN으로 구성된 모델을 생성, 학습, 예측, 검증 성능을 측정하는 방법을 알아보겠습니다.
fine tuning
PyTorch 전이학습(transfer learning)과 미세조정(fine tuning)으로 이미지 분류기 생성, 예측, 검증성능 평가하기
PyTorch의 사전 학습된 모델(pretrained model)을 로드하여 전이학습(transfer learning)을 통해 모델 생성, 학습, 예측 및 검증 성능을 측정해 보도록 하겠습니다.
미세조정
PyTorch 전이학습(transfer learning)과 미세조정(fine tuning)으로 이미지 분류기 생성, 예측, 검증성능 평가하기
PyTorch의 사전 학습된 모델(pretrained model)을 로드하여 전이학습(transfer learning)을 통해 모델 생성, 학습, 예측 및 검증 성능을 측정해 보도록 하겠습니다.
image dataset
PyTorch Dataset을 상속받은 사용자 정의 이미지 데이터셋(CustomImageDataset) 구성하기
이번 튜토리얼에서는 torch.utils.data.Dataset을 상속 받아 사용자 정의 이미지 데이터셋을 구성하고, 이를 활용하여 DataLoader를 구성하는 방법에 대하여 알아보겠습니다.
alexnet
AlexNet Implementation(구현) by PyTorch
AlexNet(2012) 의 PyTorch 구현 입니다. 논문에 대한 세부 인사이트는 생략하며, 오직 코드 구현만 다룹니다.
m1 맥북
실리콘(M1, M2) 맥(Mac) OS 에서 텐서플로(TensorFlow) 설치 방법
실리콘(M1, M2) 맥(Mac) 사용하는 유저가 최근 1~2년 안에 급격하게 늘어나면서, m1, m2 칩셋을 사용하는 맥 사용자를 위한 가상 환경 설치와 TensorFlow 설치에 대한 문의가 많았습니다. 아쉽게도 그동안 제가 실리콘 맥이 없어 직접 테스트를 해볼 수 없었기 때문...
m2 맥북
실리콘(M1, M2) 맥(Mac) OS 에서 텐서플로(TensorFlow) 설치 방법
실리콘(M1, M2) 맥(Mac) 사용하는 유저가 최근 1~2년 안에 급격하게 늘어나면서, m1, m2 칩셋을 사용하는 맥 사용자를 위한 가상 환경 설치와 TensorFlow 설치에 대한 문의가 많았습니다. 아쉽게도 그동안 제가 실리콘 맥이 없어 직접 테스트를 해볼 수 없었기 때문...
실리콘
실리콘(M1, M2) 맥(Mac) OS 에서 텐서플로(TensorFlow) 설치 방법
실리콘(M1, M2) 맥(Mac) 사용하는 유저가 최근 1~2년 안에 급격하게 늘어나면서, m1, m2 칩셋을 사용하는 맥 사용자를 위한 가상 환경 설치와 TensorFlow 설치에 대한 문의가 많았습니다. 아쉽게도 그동안 제가 실리콘 맥이 없어 직접 테스트를 해볼 수 없었기 때문...
mac
실리콘(M1, M2) 맥(Mac) OS 에서 텐서플로(TensorFlow) 설치 방법
실리콘(M1, M2) 맥(Mac) 사용하는 유저가 최근 1~2년 안에 급격하게 늘어나면서, m1, m2 칩셋을 사용하는 맥 사용자를 위한 가상 환경 설치와 TensorFlow 설치에 대한 문의가 많았습니다. 아쉽게도 그동안 제가 실리콘 맥이 없어 직접 테스트를 해볼 수 없었기 때문...
metal
실리콘(M1, M2) 맥(Mac) OS 에서 텐서플로(TensorFlow) 설치 방법
실리콘(M1, M2) 맥(Mac) 사용하는 유저가 최근 1~2년 안에 급격하게 늘어나면서, m1, m2 칩셋을 사용하는 맥 사용자를 위한 가상 환경 설치와 TensorFlow 설치에 대한 문의가 많았습니다. 아쉽게도 그동안 제가 실리콘 맥이 없어 직접 테스트를 해볼 수 없었기 때문...
맥 os
실리콘(M1, M2) 맥(Mac) OS 에서 텐서플로(TensorFlow) 설치 방법
실리콘(M1, M2) 맥(Mac) 사용하는 유저가 최근 1~2년 안에 급격하게 늘어나면서, m1, m2 칩셋을 사용하는 맥 사용자를 위한 가상 환경 설치와 TensorFlow 설치에 대한 문의가 많았습니다. 아쉽게도 그동안 제가 실리콘 맥이 없어 직접 테스트를 해볼 수 없었기 때문...
이미지 증강
[pytorch] 변환(Transform)을 활용한 이미지 증강(Image Augmentation) 적용
데이터 증강(Data Augmentation)은 학습을 위한 데이터에 변형을 가하여 데이터의 규모를 키울 뿐만 아니라, 데이터에 대한 변형된 다양한 케이스를 학습하게 만들 수 있는 좋은 수단 중 하나입니다. 또한, 모델이 과적합(overfitting) 되는 것을 방지해주는 효과도 ...
pypi
나만의 파이썬 패키지(PYPI) 만들기 및 등록하고 배포하기
PYPI는 Python Package Index의 약어로 Python 패키지 저장소의 개념으로 생각하시면 됩니다. 수 많은 개발자들이 본인이 만든 파이썬 소프트웨어를 손쉽게 설치하고 활용할 수 있도록 패키지화 하여 저장소에 업로드를 하는데요. 저장소에 업로드된 패키지를 pip in...
파이썬 패키지
나만의 파이썬 패키지(PYPI) 만들기 및 등록하고 배포하기
PYPI는 Python Package Index의 약어로 Python 패키지 저장소의 개념으로 생각하시면 됩니다. 수 많은 개발자들이 본인이 만든 파이썬 소프트웨어를 손쉽게 설치하고 활용할 수 있도록 패키지화 하여 저장소에 업로드를 하는데요. 저장소에 업로드된 패키지를 pip in...
패키지 생성
나만의 파이썬 패키지(PYPI) 만들기 및 등록하고 배포하기
PYPI는 Python Package Index의 약어로 Python 패키지 저장소의 개념으로 생각하시면 됩니다. 수 많은 개발자들이 본인이 만든 파이썬 소프트웨어를 손쉽게 설치하고 활용할 수 있도록 패키지화 하여 저장소에 업로드를 하는데요. 저장소에 업로드된 패키지를 pip in...
패키지 등록
나만의 파이썬 패키지(PYPI) 만들기 및 등록하고 배포하기
PYPI는 Python Package Index의 약어로 Python 패키지 저장소의 개념으로 생각하시면 됩니다. 수 많은 개발자들이 본인이 만든 파이썬 소프트웨어를 손쉽게 설치하고 활용할 수 있도록 패키지화 하여 저장소에 업로드를 하는데요. 저장소에 업로드된 패키지를 pip in...
googlenet
GoogLeNet의 Inception Module, 1x1 컨볼루션의 의미와 구현
Going Deeper with Convolutions(2015) Inception 모듈에 대한 내용입니다. 해당 논문에서는 Inception Module이라는 새로운 neural network architecture 를 공개하였습니다. 논문의 제목과 같이 Going Deeper ...
inception module
GoogLeNet의 Inception Module, 1x1 컨볼루션의 의미와 구현
Going Deeper with Convolutions(2015) Inception 모듈에 대한 내용입니다. 해당 논문에서는 Inception Module이라는 새로운 neural network architecture 를 공개하였습니다. 논문의 제목과 같이 Going Deeper ...
pytorch implementation
GoogLeNet의 Inception Module, 1x1 컨볼루션의 의미와 구현
Going Deeper with Convolutions(2015) Inception 모듈에 대한 내용입니다. 해당 논문에서는 Inception Module이라는 새로운 neural network architecture 를 공개하였습니다. 논문의 제목과 같이 Going Deeper ...
going deeper with convolutions
GoogLeNet의 Inception Module, 1x1 컨볼루션의 의미와 구현
Going Deeper with Convolutions(2015) Inception 모듈에 대한 내용입니다. 해당 논문에서는 Inception Module이라는 새로운 neural network architecture 를 공개하였습니다. 논문의 제목과 같이 Going Deeper ...
imagenet
GoogLeNet의 Inception Module, 1x1 컨볼루션의 의미와 구현
Going Deeper with Convolutions(2015) Inception 모듈에 대한 내용입니다. 해당 논문에서는 Inception Module이라는 새로운 neural network architecture 를 공개하였습니다. 논문의 제목과 같이 Going Deeper ...
inceptionnet
GoogLeNet의 Inception Module, 1x1 컨볼루션의 의미와 구현
Going Deeper with Convolutions(2015) Inception 모듈에 대한 내용입니다. 해당 논문에서는 Inception Module이라는 새로운 neural network architecture 를 공개하였습니다. 논문의 제목과 같이 Going Deeper ...
환경설치
[2023년 업데이트] 구글 텐서플로 개발자 자격인증 시험을 위한 환경설치(PyCharm, 필요 라이브러리 설치)
본 포스팅은 Google TensorFlow Developers Certificate 자격인증 시험을 위한 환경설치를 위한 내용입니다.
bbc-text.csv
bbc-text.csv 데이터셋을 활용한 BBC 뉴스 아티클 카테고리 분류기 만들기
BBC 뉴스 아티클 묶음 데이터셋인 bbc-text.csv 파일을 활용하여 TensorFlow 의 Tokenizer로 단어 사전을 만들고 자연어 처리 모델 학습을 위한 데이터 전처리를 진행해 보겠습니다. bbc-text.csv 파일을 pandas로 읽어와서 데이터프레임 변환 후 라...
tensorflow certificate
bbc-text.csv 데이터셋을 활용한 BBC 뉴스 아티클 카테고리 분류기 만들기
BBC 뉴스 아티클 묶음 데이터셋인 bbc-text.csv 파일을 활용하여 TensorFlow 의 Tokenizer로 단어 사전을 만들고 자연어 처리 모델 학습을 위한 데이터 전처리를 진행해 보겠습니다. bbc-text.csv 파일을 pandas로 읽어와서 데이터프레임 변환 후 라...
자연어 처리
bbc-text.csv 데이터셋을 활용한 BBC 뉴스 아티클 카테고리 분류기 만들기
BBC 뉴스 아티클 묶음 데이터셋인 bbc-text.csv 파일을 활용하여 TensorFlow 의 Tokenizer로 단어 사전을 만들고 자연어 처리 모델 학습을 위한 데이터 전처리를 진행해 보겠습니다. bbc-text.csv 파일을 pandas로 읽어와서 데이터프레임 변환 후 라...
stopwords
bbc-text.csv 데이터셋을 활용한 BBC 뉴스 아티클 카테고리 분류기 만들기
BBC 뉴스 아티클 묶음 데이터셋인 bbc-text.csv 파일을 활용하여 TensorFlow 의 Tokenizer로 단어 사전을 만들고 자연어 처리 모델 학습을 위한 데이터 전처리를 진행해 보겠습니다. bbc-text.csv 파일을 pandas로 읽어와서 데이터프레임 변환 후 라...
자격증 강의
bbc-text.csv 데이터셋을 활용한 BBC 뉴스 아티클 카테고리 분류기 만들기
BBC 뉴스 아티클 묶음 데이터셋인 bbc-text.csv 파일을 활용하여 TensorFlow 의 Tokenizer로 단어 사전을 만들고 자연어 처리 모델 학습을 위한 데이터 전처리를 진행해 보겠습니다. bbc-text.csv 파일을 pandas로 읽어와서 데이터프레임 변환 후 라...
nsmc
[huggingface] 한글 pre-trained 사전학습 BERT 모델로 텍스트 분류하기
이번 포스팅에서는 Huggingface의 한글 데이터셋으로 사전 학습된 kykim/bert-kor-base 모델을 가져와서 한글 자연어 데이터에 대한 텍스트 분류기를 만들어 보겠습니다. 이미지넷에서는 전이학습을 통해 손쉽게 Transfer Learning을 수행할 수 있습니다. ...
네이버 댓글
[huggingface] 한글 pre-trained 사전학습 BERT 모델로 텍스트 분류하기
이번 포스팅에서는 Huggingface의 한글 데이터셋으로 사전 학습된 kykim/bert-kor-base 모델을 가져와서 한글 자연어 데이터에 대한 텍스트 분류기를 만들어 보겠습니다. 이미지넷에서는 전이학습을 통해 손쉽게 Transfer Learning을 수행할 수 있습니다. ...
한글 자연어처리
[huggingface] 한글 pre-trained 사전학습 BERT 모델로 텍스트 분류하기
이번 포스팅에서는 Huggingface의 한글 데이터셋으로 사전 학습된 kykim/bert-kor-base 모델을 가져와서 한글 자연어 데이터에 대한 텍스트 분류기를 만들어 보겠습니다. 이미지넷에서는 전이학습을 통해 손쉽게 Transfer Learning을 수행할 수 있습니다. ...
사전학습
[huggingface] 한글 pre-trained 사전학습 BERT 모델로 텍스트 분류하기
이번 포스팅에서는 Huggingface의 한글 데이터셋으로 사전 학습된 kykim/bert-kor-base 모델을 가져와서 한글 자연어 데이터에 대한 텍스트 분류기를 만들어 보겠습니다. 이미지넷에서는 전이학습을 통해 손쉽게 Transfer Learning을 수행할 수 있습니다. ...
토큰화
[huggingface] 한글 pre-trained 사전학습 BERT 모델로 텍스트 분류하기
이번 포스팅에서는 Huggingface의 한글 데이터셋으로 사전 학습된 kykim/bert-kor-base 모델을 가져와서 한글 자연어 데이터에 대한 텍스트 분류기를 만들어 보겠습니다. 이미지넷에서는 전이학습을 통해 손쉽게 Transfer Learning을 수행할 수 있습니다. ...
머신러닝 도커
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
gpu 사용
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
torchtext
torchtext를 활용한 텍스트 데이터 전처리 방법
torchtext는 pytorch 모델에 주입하기 위한 텍스트 데이터셋을 구성하기 편하게 만들어 주는 데이터 로더(Data Loader) 입니다. torchtext 를 활용하여 CSV, TSV, JSON 등의 정형 데이터셋을 쉽게 로드하도록 도와주는 TabularDataset 클래...
텍스트 전처리
torchtext를 활용한 텍스트 데이터 전처리 방법
torchtext는 pytorch 모델에 주입하기 위한 텍스트 데이터셋을 구성하기 편하게 만들어 주는 데이터 로더(Data Loader) 입니다. torchtext 를 활용하여 CSV, TSV, JSON 등의 정형 데이터셋을 쉽게 로드하도록 도와주는 TabularDataset 클래...
토치텍스트
torchtext를 활용한 텍스트 데이터 전처리 방법
torchtext는 pytorch 모델에 주입하기 위한 텍스트 데이터셋을 구성하기 편하게 만들어 주는 데이터 로더(Data Loader) 입니다. torchtext 를 활용하여 CSV, TSV, JSON 등의 정형 데이터셋을 쉽게 로드하도록 도와주는 TabularDataset 클래...
tabulardataset
torchtext를 활용한 텍스트 데이터 전처리 방법
torchtext는 pytorch 모델에 주입하기 위한 텍스트 데이터셋을 구성하기 편하게 만들어 주는 데이터 로더(Data Loader) 입니다. torchtext 를 활용하여 CSV, TSV, JSON 등의 정형 데이터셋을 쉽게 로드하도록 도와주는 TabularDataset 클래...
블로그
OPENAI API(ChatGPT)를 활용한 블로그 생성 자동화
이번 포스팅에서는 OPENAI의 API를 활용하여 ChatGPT 의 텍스트 생성 모델인 text-davinci-003로 주제와 세부요구사항에 맞게 자동으로 블로그를 생성하고 이를 GitHub Pages에 블로그로 포스팅으로 자동 배포하는 튜토리얼을 진행해 보도록 하겠습니다.
수익
OPENAI API(ChatGPT)를 활용한 블로그 생성 자동화
이번 포스팅에서는 OPENAI의 API를 활용하여 ChatGPT 의 텍스트 생성 모델인 text-davinci-003로 주제와 세부요구사항에 맞게 자동으로 블로그를 생성하고 이를 GitHub Pages에 블로그로 포스팅으로 자동 배포하는 튜토리얼을 진행해 보도록 하겠습니다.
깃헙블로그
OPENAI API(ChatGPT)를 활용한 블로그 생성 자동화
이번 포스팅에서는 OPENAI의 API를 활용하여 ChatGPT 의 텍스트 생성 모델인 text-davinci-003로 주제와 세부요구사항에 맞게 자동으로 블로그를 생성하고 이를 GitHub Pages에 블로그로 포스팅으로 자동 배포하는 튜토리얼을 진행해 보도록 하겠습니다.
automation
OPENAI API(ChatGPT)를 활용한 블로그 생성 자동화
이번 포스팅에서는 OPENAI의 API를 활용하여 ChatGPT 의 텍스트 생성 모델인 text-davinci-003로 주제와 세부요구사항에 맞게 자동으로 블로그를 생성하고 이를 GitHub Pages에 블로그로 포스팅으로 자동 배포하는 튜토리얼을 진행해 보도록 하겠습니다.
blog
OPENAI API(ChatGPT)를 활용한 블로그 생성 자동화
이번 포스팅에서는 OPENAI의 API를 활용하여 ChatGPT 의 텍스트 생성 모델인 text-davinci-003로 주제와 세부요구사항에 맞게 자동으로 블로그를 생성하고 이를 GitHub Pages에 블로그로 포스팅으로 자동 배포하는 튜토리얼을 진행해 보도록 하겠습니다.
investing.com
영문 뉴스기사 크롤링 후 ChatGPT(OpenAI API) 기사 요약 및 한글 번역하기
이번 튜토리얼에서는 investing.com 의 뉴스기사를 크롤링 후 ChatGPT로 영문 뉴스기사를 요약하고, 이를 한글로 번역하는 튜토리얼을 진행해 보겠습니다.
영문뉴스기사
영문 뉴스기사 크롤링 후 ChatGPT(OpenAI API) 기사 요약 및 한글 번역하기
이번 튜토리얼에서는 investing.com 의 뉴스기사를 크롤링 후 ChatGPT로 영문 뉴스기사를 요약하고, 이를 한글로 번역하는 튜토리얼을 진행해 보겠습니다.
번역
영문 뉴스기사 크롤링 후 ChatGPT(OpenAI API) 기사 요약 및 한글 번역하기
이번 튜토리얼에서는 investing.com 의 뉴스기사를 크롤링 후 ChatGPT로 영문 뉴스기사를 요약하고, 이를 한글로 번역하는 튜토리얼을 진행해 보겠습니다.
경제기사
영문 뉴스기사 크롤링 후 ChatGPT(OpenAI API) 기사 요약 및 한글 번역하기
이번 튜토리얼에서는 investing.com 의 뉴스기사를 크롤링 후 ChatGPT로 영문 뉴스기사를 요약하고, 이를 한글로 번역하는 튜토리얼을 진행해 보겠습니다.
로또
로또 1회부터 최신회차까지 크롤링한 뒤 파일 저장하기(requests, beautifulsoup4)
본 내용은 로또 사이트(동행복권) 에서 로또의 1회차 부터 최신회차까지 당첨번호, 보너스번호,당첨일자등의 정보를 크롤링 하여 데이터프레임으로 변환하고 CSV 파일형식으로 저장하는 튜토리얼입니다.
lotto
로또 1회부터 최신회차까지 크롤링한 뒤 파일 저장하기(requests, beautifulsoup4)
본 내용은 로또 사이트(동행복권) 에서 로또의 1회차 부터 최신회차까지 당첨번호, 보너스번호,당첨일자등의 정보를 크롤링 하여 데이터프레임으로 변환하고 CSV 파일형식으로 저장하는 튜토리얼입니다.
requests
로또 1회부터 최신회차까지 크롤링한 뒤 파일 저장하기(requests, beautifulsoup4)
본 내용은 로또 사이트(동행복권) 에서 로또의 1회차 부터 최신회차까지 당첨번호, 보너스번호,당첨일자등의 정보를 크롤링 하여 데이터프레임으로 변환하고 CSV 파일형식으로 저장하는 튜토리얼입니다.
beautifulsoup4
로또 1회부터 최신회차까지 크롤링한 뒤 파일 저장하기(requests, beautifulsoup4)
본 내용은 로또 사이트(동행복권) 에서 로또의 1회차 부터 최신회차까지 당첨번호, 보너스번호,당첨일자등의 정보를 크롤링 하여 데이터프레임으로 변환하고 CSV 파일형식으로 저장하는 튜토리얼입니다.
bs4
로또 1회부터 최신회차까지 크롤링한 뒤 파일 저장하기(requests, beautifulsoup4)
본 내용은 로또 사이트(동행복권) 에서 로또의 1회차 부터 최신회차까지 당첨번호, 보너스번호,당첨일자등의 정보를 크롤링 하여 데이터프레임으로 변환하고 CSV 파일형식으로 저장하는 튜토리얼입니다.
데이터 수집
로또 1회부터 최신회차까지 크롤링한 뒤 파일 저장하기(requests, beautifulsoup4)
본 내용은 로또 사이트(동행복권) 에서 로또의 1회차 부터 최신회차까지 당첨번호, 보너스번호,당첨일자등의 정보를 크롤링 하여 데이터프레임으로 변환하고 CSV 파일형식으로 저장하는 튜토리얼입니다.
pyairtable
에어테이블(airtable)의 table 조회, 추가, 업데이트, 삭제 Python API
본 내용은 Airtable 에서 table에 대해서 데이터를 조회, 추가, 삭제 및 정렬 하는 방법에 대해서 다룹니다. 본 튜토리얼은 airtable의 공식 pyairtable 파이썬 패키지를 활용합니다.
에어테이블
에어테이블(airtable)의 table 조회, 추가, 업데이트, 삭제 Python API
본 내용은 Airtable 에서 table에 대해서 데이터를 조회, 추가, 삭제 및 정렬 하는 방법에 대해서 다룹니다. 본 튜토리얼은 airtable의 공식 pyairtable 파이썬 패키지를 활용합니다.
테이블
에어테이블(airtable)의 table 조회, 추가, 업데이트, 삭제 Python API
본 내용은 Airtable 에서 table에 대해서 데이터를 조회, 추가, 삭제 및 정렬 하는 방법에 대해서 다룹니다. 본 튜토리얼은 airtable의 공식 pyairtable 파이썬 패키지를 활용합니다.
table
에어테이블(airtable)의 table 조회, 추가, 업데이트, 삭제 Python API
본 내용은 Airtable 에서 table에 대해서 데이터를 조회, 추가, 삭제 및 정렬 하는 방법에 대해서 다룹니다. 본 튜토리얼은 airtable의 공식 pyairtable 파이썬 패키지를 활용합니다.
base
에어테이블(airtable)의 table 조회, 추가, 업데이트, 삭제 Python API
본 내용은 Airtable 에서 table에 대해서 데이터를 조회, 추가, 삭제 및 정렬 하는 방법에 대해서 다룹니다. 본 튜토리얼은 airtable의 공식 pyairtable 파이썬 패키지를 활용합니다.
base_id
에어테이블(airtable)의 table 조회, 추가, 업데이트, 삭제 Python API
본 내용은 Airtable 에서 table에 대해서 데이터를 조회, 추가, 삭제 및 정렬 하는 방법에 대해서 다룹니다. 본 튜토리얼은 airtable의 공식 pyairtable 파이썬 패키지를 활용합니다.
데이터
에어테이블(airtable)의 table 조회, 추가, 업데이트, 삭제 Python API
본 내용은 Airtable 에서 table에 대해서 데이터를 조회, 추가, 삭제 및 정렬 하는 방법에 대해서 다룹니다. 본 튜토리얼은 airtable의 공식 pyairtable 파이썬 패키지를 활용합니다.
db
에어테이블(airtable)의 table 조회, 추가, 업데이트, 삭제 Python API
본 내용은 Airtable 에서 table에 대해서 데이터를 조회, 추가, 삭제 및 정렬 하는 방법에 대해서 다룹니다. 본 튜토리얼은 airtable의 공식 pyairtable 파이썬 패키지를 활용합니다.
dropbox
파이썬, 데이터분석가를 위한 초간단 파일공유 서비스
본 내용은 자체 제작한 파일공유 서비스에 대한 내용입니다. 말그대로 파일을 가장 쉬운 방법으로 공유할 수 있는 서비스이며, 링크를 활용하여 공유할 수 있습니다. Python, wget 명령어로 다운로드 받는 코드를 제공하며, 비밀번호로 암호화 하여 공유도 가능합니다.
파일공유
파이썬, 데이터분석가를 위한 초간단 파일공유 서비스
본 내용은 자체 제작한 파일공유 서비스에 대한 내용입니다. 말그대로 파일을 가장 쉬운 방법으로 공유할 수 있는 서비스이며, 링크를 활용하여 공유할 수 있습니다. Python, wget 명령어로 다운로드 받는 코드를 제공하며, 비밀번호로 암호화 하여 공유도 가능합니다.
wget
파이썬, 데이터분석가를 위한 초간단 파일공유 서비스
본 내용은 자체 제작한 파일공유 서비스에 대한 내용입니다. 말그대로 파일을 가장 쉬운 방법으로 공유할 수 있는 서비스이며, 링크를 활용하여 공유할 수 있습니다. Python, wget 명령어로 다운로드 받는 코드를 제공하며, 비밀번호로 암호화 하여 공유도 가능합니다.
데이콘
자동차 충돌 분석 AI경진대회 - 베이스라인
본 포스팅은 데이콘(dacon.io)에서 2023.02.06 ~ 2023.03.13 기간 동안 진행하는 자동차 충돌 분석 AI경진대회에 제출한 베이스라인 코드 입니다.
dacon
자동차 충돌 분석 AI경진대회 - 베이스라인
본 포스팅은 데이콘(dacon.io)에서 2023.02.06 ~ 2023.03.13 기간 동안 진행하는 자동차 충돌 분석 AI경진대회에 제출한 베이스라인 코드 입니다.
자동차충돌
자동차 충돌 분석 AI경진대회 - 베이스라인
본 포스팅은 데이콘(dacon.io)에서 2023.02.06 ~ 2023.03.13 기간 동안 진행하는 자동차 충돌 분석 AI경진대회에 제출한 베이스라인 코드 입니다.
AI경진대회
자동차 충돌 분석 AI경진대회 - 베이스라인
본 포스팅은 데이콘(dacon.io)에서 2023.02.06 ~ 2023.03.13 기간 동안 진행하는 자동차 충돌 분석 AI경진대회에 제출한 베이스라인 코드 입니다.
conv3d
자동차 충돌 분석 AI경진대회 - 베이스라인
본 포스팅은 데이콘(dacon.io)에서 2023.02.06 ~ 2023.03.13 기간 동안 진행하는 자동차 충돌 분석 AI경진대회에 제출한 베이스라인 코드 입니다.
early stopping
[pytorch] Early Stopping 조기종료 구현 및 적용
조기 종료(Early Stopping)는 학습시 일정기간(여기서 기간은 보통 N번의 Epoch을 기준으로 합니다)동안 Loss 나 Score 기준으로 개선이 일어나지 않으면 학습을 조기에 종료해 주는 기능입니다. 만약, 20번의 Epoch 동안 학습이 진행한다고 가정했을 때, 아래...
콤마구분자
Pandas 데이터프레임 출력결과 및 표기옵션 수정(컬럼, 행 최대 출력, 콤마 구분자, 과학표기법)
판다스(Pandas) 데이터프레임(DataFrame)의 출력결과 표기형식을 설정할 수 있는 다양한 옵션들에 대해 알아보겠습니다.
소수점표기
Pandas 데이터프레임 출력결과 및 표기옵션 수정(컬럼, 행 최대 출력, 콤마 구분자, 과학표기법)
판다스(Pandas) 데이터프레임(DataFrame)의 출력결과 표기형식을 설정할 수 있는 다양한 옵션들에 대해 알아보겠습니다.
과학표기법
Pandas 데이터프레임 출력결과 및 표기옵션 수정(컬럼, 행 최대 출력, 콤마 구분자, 과학표기법)
판다스(Pandas) 데이터프레임(DataFrame)의 출력결과 표기형식을 설정할 수 있는 다양한 옵션들에 대해 알아보겠습니다.
wandb
WandB 를 활용하여 모델의 학습을 추적하는 방법
WandB는 weights and biases 의 약어입니다. 머신러닝을 하시는 분들은 weights & biases 와 굉장히 친숙할텐데요. WandB의 네이밍에서 알 수 있듯이 모델이 학습할 때 실험 결과를 저장 및 시각화, 하이퍼파라미터를 저장, 모델 뿐만아니라 시스템...
wights and biases
WandB 를 활용하여 모델의 학습을 추적하는 방법
WandB는 weights and biases 의 약어입니다. 머신러닝을 하시는 분들은 weights & biases 와 굉장히 친숙할텐데요. WandB의 네이밍에서 알 수 있듯이 모델이 학습할 때 실험 결과를 저장 및 시각화, 하이퍼파라미터를 저장, 모델 뿐만아니라 시스템...
input tensor
[pytorch] LSTM 입력 텐서와 출력 텐서의 shape 이해
pytorch에서 LSTM 입출력 텐서의 shape 때문에 애를 먹었습니다. 입출력 텐서의 shape에 대해서 명확히 인지하고 있어야 모델 구성시 에러를 최소화 할 수 있습니다.
output tensor
[pytorch] LSTM 입력 텐서와 출력 텐서의 shape 이해
pytorch에서 LSTM 입출력 텐서의 shape 때문에 애를 먹었습니다. 입출력 텐서의 shape에 대해서 명확히 인지하고 있어야 모델 구성시 에러를 최소화 할 수 있습니다.
cell state
[pytorch] LSTM 입력 텐서와 출력 텐서의 shape 이해
pytorch에서 LSTM 입출력 텐서의 shape 때문에 애를 먹었습니다. 입출력 텐서의 shape에 대해서 명확히 인지하고 있어야 모델 구성시 에러를 최소화 할 수 있습니다.
bidirectional
[pytorch] GRU 입력 텐서와 출력 텐서의 shape 이해
이번에는 지난 LSTM 입력 텐서와 출력 텐서의 shape 이해 의 후속편으로써, pytorch의 GRU layer의 입출력 텐서의 shape에 대하여 이해해 보고 세부 옵션에 대하여 자세히 알아보도록 하겠습니다.
cuda12.1
우분투(ubuntu 20.04) 에서 기존의 CUDA 설치버전 업데이트 하는 방법
본 포스팅은 Ubuntu 20.04 환경에서 기존에 설치된 CUDA 11.2 버전을 클린 삭제 후 CUDA 11.8 로 업그레이드 하는 과정을 담고 있습니다. CUDA 가 설치가 되어 있지 않은 서버에서도 동일하게 진행할 수 있습니다.
cuda11.8
우분투(ubuntu 20.04) 에서 기존의 CUDA 설치버전 업데이트 하는 방법
본 포스팅은 Ubuntu 20.04 환경에서 기존에 설치된 CUDA 11.2 버전을 클린 삭제 후 CUDA 11.8 로 업그레이드 하는 과정을 담고 있습니다. CUDA 가 설치가 되어 있지 않은 서버에서도 동일하게 진행할 수 있습니다.
ubuntu20.04
우분투(ubuntu 20.04) 에서 기존의 CUDA 설치버전 업데이트 하는 방법
본 포스팅은 Ubuntu 20.04 환경에서 기존에 설치된 CUDA 11.2 버전을 클린 삭제 후 CUDA 11.8 로 업그레이드 하는 과정을 담고 있습니다. CUDA 가 설치가 되어 있지 않은 서버에서도 동일하게 진행할 수 있습니다.
gradio
ChatGPT openai 파이썬(python) 모듈을 활용한 챗봇 구현
이번 포스팅에서는 openai 사의 ChatGPT 기능을 파이썬(python) 모듈을 활용하여 챗봇 을 구현하는 방법에 대하여 알아보겠습니다.
google bard
Google Bard 파이썬(Python) API 활용
이번 포스팅에서는 구글 바드(Google Bard) 의 파이썬(Python) API 사용법에 대해 알아보겠습니다.
bard api
Google Bard 파이썬(Python) API 활용
이번 포스팅에서는 구글 바드(Google Bard) 의 파이썬(Python) API 사용법에 대해 알아보겠습니다.
time-series
Python 시계열 데이터 분석 - AR, MA, ARIMA, SARIMAX, 분해, 지수평활
시계열 데이터 분석이라는 다소 넓은 범위의 주제이지만, 그 중에서도 전통적인 시계열 분석에서 언급되는 주요 분석 기법에 대해서 간략히 알아보고, 파이썬(Python) 코드로 구현하는 방법에 대해 알아보겠습니다.
ar
Python 시계열 데이터 분석 - AR, MA, ARIMA, SARIMAX, 분해, 지수평활
시계열 데이터 분석이라는 다소 넓은 범위의 주제이지만, 그 중에서도 전통적인 시계열 분석에서 언급되는 주요 분석 기법에 대해서 간략히 알아보고, 파이썬(Python) 코드로 구현하는 방법에 대해 알아보겠습니다.
ma
Python 시계열 데이터 분석 - AR, MA, ARIMA, SARIMAX, 분해, 지수평활
시계열 데이터 분석이라는 다소 넓은 범위의 주제이지만, 그 중에서도 전통적인 시계열 분석에서 언급되는 주요 분석 기법에 대해서 간략히 알아보고, 파이썬(Python) 코드로 구현하는 방법에 대해 알아보겠습니다.
bbc-news
[huggingface] BERT를 활용한 텍스트 분류(bbc news 데이터셋)
본 튜토리얼에서는 HuggingFace 의 transformers 라이브러리를 활용한 튜토리얼 입니다.
text-classification
[huggingface] BERT를 활용한 텍스트 분류(bbc news 데이터셋)
본 튜토리얼에서는 HuggingFace 의 transformers 라이브러리를 활용한 튜토리얼 입니다.
selenium
셀레니움(selenium)을 활용한 네이버 환율 정보 크롤링
이번 튜토리얼에서는 네이버의 환율 정보를 크롤링하는 방법에 대해 알아보겠습니다. 이 과정에서 Python의 셀레니움(selenium)을 사용할 예정입니다. 크롤링 과정에서 발생할 수 있는 다양한 오류들을 어떻게 처리 하는지에 대해서도 알아보겠습니다. 튜토리얼 마지막 부분에서는 코드...
셀레니움
셀레니움(selenium)을 활용한 네이버 환율 정보 크롤링
이번 튜토리얼에서는 네이버의 환율 정보를 크롤링하는 방법에 대해 알아보겠습니다. 이 과정에서 Python의 셀레니움(selenium)을 사용할 예정입니다. 크롤링 과정에서 발생할 수 있는 다양한 오류들을 어떻게 처리 하는지에 대해서도 알아보겠습니다. 튜토리얼 마지막 부분에서는 코드...
네이버 환율
셀레니움(selenium)을 활용한 네이버 환율 정보 크롤링
이번 튜토리얼에서는 네이버의 환율 정보를 크롤링하는 방법에 대해 알아보겠습니다. 이 과정에서 Python의 셀레니움(selenium)을 사용할 예정입니다. 크롤링 과정에서 발생할 수 있는 다양한 오류들을 어떻게 처리 하는지에 대해서도 알아보겠습니다. 튜토리얼 마지막 부분에서는 코드...
autogpt
AutoGPT 설치 및 실행 방법
인간의 일을 전부 대체할 수 있는 범용 인공지능의 시작점 이라 불리는 새로운 AI 프로그램이 등장했는데요, 그건 바로 AutoGPT 프로젝트 입니다.
llm
AutoGPT 설치 및 실행 방법
인간의 일을 전부 대체할 수 있는 범용 인공지능의 시작점 이라 불리는 새로운 AI 프로그램이 등장했는데요, 그건 바로 AutoGPT 프로젝트 입니다.
automl
[AutoML] PyCaret을 활용한 시계열 데이터 예측 모형 생성
이번 포스트의 주제는 “PyCaret을 활용한 시계열 데이터 예측 모형 생성” 입니다. 이 글에서는 시계열 데이터 예측 모형을 구축하는 과정을 세심하게 탐구하게 될 것입니다. 특히, PyCaret 라이브러리를 활용하여 기계 학습 프로세스를 효과적으로 자동화하는 방법을 중점적으로 다...
time series
[AutoML] PyCaret을 활용한 시계열 데이터 예측 모형 생성
이번 포스트의 주제는 “PyCaret을 활용한 시계열 데이터 예측 모형 생성” 입니다. 이 글에서는 시계열 데이터 예측 모형을 구축하는 과정을 세심하게 탐구하게 될 것입니다. 특히, PyCaret 라이브러리를 활용하여 기계 학습 프로세스를 효과적으로 자동화하는 방법을 중점적으로 다...
시계열 데이터
[AutoML] PyCaret을 활용한 시계열 데이터 예측 모형 생성
이번 포스트의 주제는 “PyCaret을 활용한 시계열 데이터 예측 모형 생성” 입니다. 이 글에서는 시계열 데이터 예측 모형을 구축하는 과정을 세심하게 탐구하게 될 것입니다. 특히, PyCaret 라이브러리를 활용하여 기계 학습 프로세스를 효과적으로 자동화하는 방법을 중점적으로 다...
sarima
[AutoML] PyCaret을 활용한 시계열 데이터 예측 모형 생성
이번 포스트의 주제는 “PyCaret을 활용한 시계열 데이터 예측 모형 생성” 입니다. 이 글에서는 시계열 데이터 예측 모형을 구축하는 과정을 세심하게 탐구하게 될 것입니다. 특히, PyCaret 라이브러리를 활용하여 기계 학습 프로세스를 효과적으로 자동화하는 방법을 중점적으로 다...
font
matplotlib 에서 신규 폰트 추가하는 방법
이번 포스팅에서는 matplotlib 에서 누락된 폰트를 추가 하는 방법에 대해 알아보겠습니다. 만약 설치된 폰트가 matplotlib 에서 사용할 수 없다면, 아래의 가이드를 따라 진행해 보시기 바랍니다.
font_manager
matplotlib 에서 신규 폰트 추가하는 방법
이번 포스팅에서는 matplotlib 에서 누락된 폰트를 추가 하는 방법에 대해 알아보겠습니다. 만약 설치된 폰트가 matplotlib 에서 사용할 수 없다면, 아래의 가이드를 따라 진행해 보시기 바랍니다.
폰트 추가
matplotlib 에서 신규 폰트 추가하는 방법
이번 포스팅에서는 matplotlib 에서 누락된 폰트를 추가 하는 방법에 대해 알아보겠습니다. 만약 설치된 폰트가 matplotlib 에서 사용할 수 없다면, 아래의 가이드를 따라 진행해 보시기 바랍니다.
폰트 삭제
matplotlib 에서 신규 폰트 추가하는 방법
이번 포스팅에서는 matplotlib 에서 누락된 폰트를 추가 하는 방법에 대해 알아보겠습니다. 만약 설치된 폰트가 matplotlib 에서 사용할 수 없다면, 아래의 가이드를 따라 진행해 보시기 바랍니다.
container
[Docker] 한글폰트가 추가된 Data Science 전용 jupyter notebook 컨테이너
이번 포스팅에서는 도커(docker)로 패키징한 주피터 노트북(jupyter notebook) 컨테이너를 실행하여 매우 쉽고 빠르게 노트북 서버를 구동하는 방법 에 대해 공유드리고자 합니다.
datetime
Python, Pandas 의 날짜 파싱(parsing)시 적용하는 날짜/시간 관련 형식 정리표
이번 포스팅에서는 pandas의 to_datetime() 함수를 사용하면서 발생할 수 있는 날짜 파싱 오류에 대한 해결 방법 을 소개하려고 합니다.
to_datetime
Python, Pandas 의 날짜 파싱(parsing)시 적용하는 날짜/시간 관련 형식 정리표
이번 포스팅에서는 pandas의 to_datetime() 함수를 사용하면서 발생할 수 있는 날짜 파싱 오류에 대한 해결 방법 을 소개하려고 합니다.
strftime
Python, Pandas 의 날짜 파싱(parsing)시 적용하는 날짜/시간 관련 형식 정리표
이번 포스팅에서는 pandas의 to_datetime() 함수를 사용하면서 발생할 수 있는 날짜 파싱 오류에 대한 해결 방법 을 소개하려고 합니다.
strptime
Python, Pandas 의 날짜 파싱(parsing)시 적용하는 날짜/시간 관련 형식 정리표
이번 포스팅에서는 pandas의 to_datetime() 함수를 사용하면서 발생할 수 있는 날짜 파싱 오류에 대한 해결 방법 을 소개하려고 합니다.
format
Python, Pandas 의 날짜 파싱(parsing)시 적용하는 날짜/시간 관련 형식 정리표
이번 포스팅에서는 pandas의 to_datetime() 함수를 사용하면서 발생할 수 있는 날짜 파싱 오류에 대한 해결 방법 을 소개하려고 합니다.
날짜
Python, Pandas 의 날짜 파싱(parsing)시 적용하는 날짜/시간 관련 형식 정리표
이번 포스팅에서는 pandas의 to_datetime() 함수를 사용하면서 발생할 수 있는 날짜 파싱 오류에 대한 해결 방법 을 소개하려고 합니다.
파싱
Python, Pandas 의 날짜 파싱(parsing)시 적용하는 날짜/시간 관련 형식 정리표
이번 포스팅에서는 pandas의 to_datetime() 함수를 사용하면서 발생할 수 있는 날짜 파싱 오류에 대한 해결 방법 을 소개하려고 합니다.
glob
Python 에서 glob.glob() 을 활용한 유연한 파일 검색 기법
이번 포스팅에서는 Python의 glob.glob() 함수를 활용하여 파일 시스템 내의 특정 패턴을 가진 파일들을 쉽게 찾는 방법에 대해 소개하려고 합니다.
파일 검색
Python 에서 glob.glob() 을 활용한 유연한 파일 검색 기법
이번 포스팅에서는 Python의 glob.glob() 함수를 활용하여 파일 시스템 내의 특정 패턴을 가진 파일들을 쉽게 찾는 방법에 대해 소개하려고 합니다.
와일드카드
Python 에서 glob.glob() 을 활용한 유연한 파일 검색 기법
이번 포스팅에서는 Python의 glob.glob() 함수를 활용하여 파일 시스템 내의 특정 패턴을 가진 파일들을 쉽게 찾는 방법에 대해 소개하려고 합니다.
파워쉘
PowerShell에서 아나콘다(Anaconda) 환경 설정하기
이번 포스팅에서는 PowerShell에서 Anaconda 환경을 사용하는 방법 에 대해 소개하려고 합니다.
powershell
PowerShell에서 아나콘다(Anaconda) 환경 설정하기
이번 포스팅에서는 PowerShell에서 Anaconda 환경을 사용하는 방법 에 대해 소개하려고 합니다.
텐서플로우
TensorFlow 와 PyTorch 중 무엇을 써야할까?
TensorFlow는 딥러닝 프레임워크 시장에서 초기에 막강한 선두 주자 였습니다. 그러나 최근에 들어 PyTorch가 연구 커뮤니티에서 큰 사랑을 받기 시작했습니다.
TensorFlow 와 PyTorch 중 무엇을 써야할까?
TensorFlow는 딥러닝 프레임워크 시장에서 초기에 막강한 선두 주자 였습니다. 그러나 최근에 들어 PyTorch가 연구 커뮤니티에서 큰 사랑을 받기 시작했습니다.
meta
TensorFlow 와 PyTorch 중 무엇을 써야할까?
TensorFlow는 딥러닝 프레임워크 시장에서 초기에 막강한 선두 주자 였습니다. 그러나 최근에 들어 PyTorch가 연구 커뮤니티에서 큰 사랑을 받기 시작했습니다.
단축 명령어
macOS의 iTerm/Mac 기본 터미널에서 Docker 명령어를 Alias로 지정하기
Docker는 개발자들에게 매우 유용한 도구입니다. 종종 복잡한 도커 명령어를 자주 사용하게 되는데, 이러한 명령어들을 간단한 명령어로 줄여서 사용 하고 싶을 때가 있습니다.
alias 지정
macOS의 iTerm/Mac 기본 터미널에서 Docker 명령어를 Alias로 지정하기
Docker는 개발자들에게 매우 유용한 도구입니다. 종종 복잡한 도커 명령어를 자주 사용하게 되는데, 이러한 명령어들을 간단한 명령어로 줄여서 사용 하고 싶을 때가 있습니다.
iterm
macOS의 iTerm/Mac 기본 터미널에서 Docker 명령어를 Alias로 지정하기
Docker는 개발자들에게 매우 유용한 도구입니다. 종종 복잡한 도커 명령어를 자주 사용하게 되는데, 이러한 명령어들을 간단한 명령어로 줄여서 사용 하고 싶을 때가 있습니다.
terminal
macOS의 iTerm/Mac 기본 터미널에서 Docker 명령어를 Alias로 지정하기
Docker는 개발자들에게 매우 유용한 도구입니다. 종종 복잡한 도커 명령어를 자주 사용하게 되는데, 이러한 명령어들을 간단한 명령어로 줄여서 사용 하고 싶을 때가 있습니다.
베이지안 최적화
Optuna를 활용한 하이퍼파라미터 최적화
이번 포스팅에서는 기계 학습 모델의 성능을 극대화하기 위해 하이퍼파라미터 최적화 과정에 대해 깊게 다루려고 합니다.
bayesian optimization
Optuna를 활용한 하이퍼파라미터 최적화
이번 포스팅에서는 기계 학습 모델의 성능을 극대화하기 위해 하이퍼파라미터 최적화 과정에 대해 깊게 다루려고 합니다.
HuggingFace
랭체인(langchain) + 허깅페이스(HuggingFace) 모델 사용법 (2)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 허깅페이스(HuggingFace) 허브 에 배포된 사전학습 모델을 활용하여 LLM 체인을 구성하는 방법에 대하여 다뤄보고자 합니다.
HuggingFace Hub
랭체인(langchain) + 허깅페이스(HuggingFace) 모델 사용법 (2)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 허깅페이스(HuggingFace) 허브 에 배포된 사전학습 모델을 활용하여 LLM 체인을 구성하는 방법에 대하여 다뤄보고자 합니다.
ConversationChain
랭체인(langchain) + 챗(chat) - ConversationChain, 템플릿 사용법 (3)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 챗(Chat) 기능 구현을 하는 방법에 대해 알아보겠습니다.
ConversationBufferMemory
랭체인(langchain) + 챗(chat) - ConversationChain, 템플릿 사용법 (3)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 챗(Chat) 기능 구현을 하는 방법에 대해 알아보겠습니다.
ConversationSummaryBufferMemory
랭체인(langchain) + 챗(chat) - ConversationChain, 템플릿 사용법 (3)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 챗(Chat) 기능 구현을 하는 방법에 대해 알아보겠습니다.
excel
랭체인(langchain) + 정형데이터(CSV, Excel) - ChatGPT 기반 데이터분석 (4)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 정형데이터(CSV, Excel) 에 대한 ChatGPT 기반 질의응답을 통해 데이터 분석하는 방법 에 대해 알아보겠습니다.
스키마
랭체인(langchain) + 웹사이트 정보 추출 - 스키마 활용법 (6)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 스크래핑한 뒤, 형식(schema) 에 맞게 정보 추출 하는 방법에 대해 알아보겠습니다.
schema
랭체인(langchain) + 웹사이트 정보 추출 - 스키마 활용법 (6)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 웹사이트 본문을 스크래핑한 뒤, 형식(schema) 에 맞게 정보 추출 하는 방법에 대해 알아보겠습니다.
독서감상문
랭체인(langchain) + PDF 문서요약, Map-Reduce (7)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용을 요약 하는 방법에 대해 알아보겠습니다.
회의록
랭체인(langchain) + PDF 문서요약, Map-Reduce (7)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용을 요약 하는 방법에 대해 알아보겠습니다.
뉴스레터
랭체인(langchain) + PDF 문서요약, Map-Reduce (7)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용을 요약 하는 방법에 대해 알아보겠습니다.
질의응답
랭체인(langchain) + PDF 기반 질의응답(Question-Answering) (8)
이번 포스팅에서는 랭체인(LangChain) 을 활용하여 PDF 문서를 로드하고, 문서의 내용에 기반하여 질의응답(Question-Answering) 하는 방법에 대해 알아보겠습니다.
coroutine
파이썬 비동기(async)함수와 코루틴(coroutine) 흐름 이해하기
파이썬에서 async 함수는 비동기 프로그래밍 을 위한 기능입니다. 파이썬 함수에서 def 키워드로 정의할 때 앞에 async 가 붙습니다. 파이썬의 비동기 함수가 많이 사용될 때는 I/O 바운드 작업 이나 높은 대기 시간이 예상되는 작업을 처리 할 때 유용합니다.
async
파이썬 비동기(async)함수와 코루틴(coroutine) 흐름 이해하기
파이썬에서 async 함수는 비동기 프로그래밍 을 위한 기능입니다. 파이썬 함수에서 def 키워드로 정의할 때 앞에 async 가 붙습니다. 파이썬의 비동기 함수가 많이 사용될 때는 I/O 바운드 작업 이나 높은 대기 시간이 예상되는 작업을 처리 할 때 유용합니다.
코루틴
파이썬 비동기(async)함수와 코루틴(coroutine) 흐름 이해하기
파이썬에서 async 함수는 비동기 프로그래밍 을 위한 기능입니다. 파이썬 함수에서 def 키워드로 정의할 때 앞에 async 가 붙습니다. 파이썬의 비동기 함수가 많이 사용될 때는 I/O 바운드 작업 이나 높은 대기 시간이 예상되는 작업을 처리 할 때 유용합니다.
동기
파이썬 비동기(async)함수와 코루틴(coroutine) 흐름 이해하기
파이썬에서 async 함수는 비동기 프로그래밍 을 위한 기능입니다. 파이썬 함수에서 def 키워드로 정의할 때 앞에 async 가 붙습니다. 파이썬의 비동기 함수가 많이 사용될 때는 I/O 바운드 작업 이나 높은 대기 시간이 예상되는 작업을 처리 할 때 유용합니다.
api키 발급
[2024년 UPDATE] OpenAI Python API 키 발급방법, 요금체계
이번 튜토리얼은 OpenAI 의 Python API 키를 발급받는 방법과 요금 체계에 대해 알아보겠습니다.
달리
[2024년 UPDATE] OpenAI Python API 튜토리얼 - DALL·E를 사용하여 이미지 생성, 수정, 다양화하기(2)
이번 튜토리얼은 OpenAI 의 DALL·E 의 Python API 사용법을 다룹니다. 이번 튜토리얼을 통하여 이미지 생성, 수정, 다양화 하는 방법에 대해 알아보겠습니다.
stable diffusion
[2024년 UPDATE] OpenAI Python API 튜토리얼 - DALL·E를 사용하여 이미지 생성, 수정, 다양화하기(2)
이번 튜토리얼은 OpenAI 의 DALL·E 의 Python API 사용법을 다룹니다. 이번 튜토리얼을 통하여 이미지 생성, 수정, 다양화 하는 방법에 대해 알아보겠습니다.
midjourney
[2024년 UPDATE] OpenAI Python API 튜토리얼 - DALL·E를 사용하여 이미지 생성, 수정, 다양화하기(2)
이번 튜토리얼은 OpenAI 의 DALL·E 의 Python API 사용법을 다룹니다. 이번 튜토리얼을 통하여 이미지 생성, 수정, 다양화 하는 방법에 대해 알아보겠습니다.
whisper api
[2024년 UPDATE] OpenAI Python API 튜토리얼 - Whisper API를 사용하여 TTS, STT 구현하기(3)
이번 튜토리얼은 OpenAI 의 Whisper API 를 사용하여 음성을 텍스트로 변환하는 STT, 그리고 텍스트를 음성으로 변환하는 방법에 대해 알아보겠습니다.
STT
[2024년 UPDATE] OpenAI Python API 튜토리얼 - Whisper API를 사용하여 TTS, STT 구현하기(3)
이번 튜토리얼은 OpenAI 의 Whisper API 를 사용하여 음성을 텍스트로 변환하는 STT, 그리고 텍스트를 음성으로 변환하는 방법에 대해 알아보겠습니다.
TTS
[2024년 UPDATE] OpenAI Python API 튜토리얼 - Whisper API를 사용하여 TTS, STT 구현하기(3)
이번 튜토리얼은 OpenAI 의 Whisper API 를 사용하여 음성을 텍스트로 변환하는 STT, 그리고 텍스트를 음성으로 변환하는 방법에 대해 알아보겠습니다.
Speech To Text
[2024년 UPDATE] OpenAI Python API 튜토리얼 - Whisper API를 사용하여 TTS, STT 구현하기(3)
이번 튜토리얼은 OpenAI 의 Whisper API 를 사용하여 음성을 텍스트로 변환하는 STT, 그리고 텍스트를 음성으로 변환하는 방법에 대해 알아보겠습니다.
Text To Speech
[2024년 UPDATE] OpenAI Python API 튜토리얼 - Whisper API를 사용하여 TTS, STT 구현하기(3)
이번 튜토리얼은 OpenAI 의 Whisper API 를 사용하여 음성을 텍스트로 변환하는 STT, 그리고 텍스트를 음성으로 변환하는 방법에 대해 알아보겠습니다.
음성인식
[2024년 UPDATE] OpenAI Python API 튜토리얼 - Whisper API를 사용하여 TTS, STT 구현하기(3)
이번 튜토리얼은 OpenAI 의 Whisper API 를 사용하여 음성을 텍스트로 변환하는 STT, 그리고 텍스트를 음성으로 변환하는 방법에 대해 알아보겠습니다.
YAML
YAML: 단 몇 분 만에 이해하기
오늘은 IT 세계에서 자주 사용되지만, 비전공자 분들에게는 조금 생소할 수 있는 'YAML' 에 대해 이야기해보려고 합니다.
데이터 직렬화
YAML: 단 몇 분 만에 이해하기
오늘은 IT 세계에서 자주 사용되지만, 비전공자 분들에게는 조금 생소할 수 있는 'YAML' 에 대해 이야기해보려고 합니다.
프로그래밍
YAML: 단 몇 분 만에 이해하기
오늘은 IT 세계에서 자주 사용되지만, 비전공자 분들에게는 조금 생소할 수 있는 'YAML' 에 대해 이야기해보려고 합니다.
IT 기술
YAML: 단 몇 분 만에 이해하기
오늘은 IT 세계에서 자주 사용되지만, 비전공자 분들에게는 조금 생소할 수 있는 'YAML' 에 대해 이야기해보려고 합니다.
설정 파일
YAML: 단 몇 분 만에 이해하기
오늘은 IT 세계에서 자주 사용되지만, 비전공자 분들에게는 조금 생소할 수 있는 'YAML' 에 대해 이야기해보려고 합니다.
개발자 가이드
YAML: 단 몇 분 만에 이해하기
오늘은 IT 세계에서 자주 사용되지만, 비전공자 분들에게는 조금 생소할 수 있는 'YAML' 에 대해 이야기해보려고 합니다.
기술 블로깅
YAML: 단 몇 분 만에 이해하기
오늘은 IT 세계에서 자주 사용되지만, 비전공자 분들에게는 조금 생소할 수 있는 'YAML' 에 대해 이야기해보려고 합니다.
데이터 구조
YAML: 단 몇 분 만에 이해하기
오늘은 IT 세계에서 자주 사용되지만, 비전공자 분들에게는 조금 생소할 수 있는 'YAML' 에 대해 이야기해보려고 합니다.
코드 작성
YAML: 단 몇 분 만에 이해하기
오늘은 IT 세계에서 자주 사용되지만, 비전공자 분들에게는 조금 생소할 수 있는 'YAML' 에 대해 이야기해보려고 합니다.
YAML 예시
YAML: 단 몇 분 만에 이해하기
오늘은 IT 세계에서 자주 사용되지만, 비전공자 분들에게는 조금 생소할 수 있는 'YAML' 에 대해 이야기해보려고 합니다.
YAML 사용법
YAML: 단 몇 분 만에 이해하기
오늘은 IT 세계에서 자주 사용되지만, 비전공자 분들에게는 조금 생소할 수 있는 'YAML' 에 대해 이야기해보려고 합니다.
YAML 주의점
YAML: 단 몇 분 만에 이해하기
오늘은 IT 세계에서 자주 사용되지만, 비전공자 분들에게는 조금 생소할 수 있는 'YAML' 에 대해 이야기해보려고 합니다.
IT 비전공자
YAML: 단 몇 분 만에 이해하기
오늘은 IT 세계에서 자주 사용되지만, 비전공자 분들에게는 조금 생소할 수 있는 'YAML' 에 대해 이야기해보려고 합니다.
소프트웨어 개발
YAML: 단 몇 분 만에 이해하기
오늘은 IT 세계에서 자주 사용되지만, 비전공자 분들에게는 조금 생소할 수 있는 'YAML' 에 대해 이야기해보려고 합니다.
기술 교육
YAML: 단 몇 분 만에 이해하기
오늘은 IT 세계에서 자주 사용되지만, 비전공자 분들에게는 조금 생소할 수 있는 'YAML' 에 대해 이야기해보려고 합니다.
Gemini Pro API
Google Gemini Pro API를 활용한 문서 검색 및 임베딩 가이드
Google의 Gemini API로 임베딩을 생성하고 문서 검색하는 방법을 다룹니다.
Google Colab
Google Gemini Pro API를 활용한 문서 검색 및 임베딩 가이드
Google의 Gemini API로 임베딩을 생성하고 문서 검색하는 방법을 다룹니다.
Apache License
Google Gemini Pro API를 활용한 문서 검색 및 임베딩 가이드
Google의 Gemini API로 임베딩을 생성하고 문서 검색하는 방법을 다룹니다.
Google LLC
Google Gemini Pro API를 활용한 문서 검색 및 임베딩 가이드
Google의 Gemini API로 임베딩을 생성하고 문서 검색하는 방법을 다룹니다.
생성적 AI
Google Gemini Pro API를 활용한 문서 검색 및 임베딩 가이드
Google의 Gemini API로 임베딩을 생성하고 문서 검색하는 방법을 다룹니다.
Google Car
Google Gemini Pro API를 활용한 문서 검색 및 임베딩 가이드
Google의 Gemini API로 임베딩을 생성하고 문서 검색하는 방법을 다룹니다.
Q&A 시스템
Google Gemini Pro API를 활용한 문서 검색 및 임베딩 가이드
Google의 Gemini API로 임베딩을 생성하고 문서 검색하는 방법을 다룹니다.
이상 탐지
Gemini API를 활용한 이상 탐지: 임베딩으로 데이터셋 분석하기
이 글에서는 Gemini API를 사용하여 데이터셋에서 이상치를 탐지하는 방법을 알아봅니다. 그리고 임베딩과 t-SNE를 활용한 데이터 시각화 및 이상치 탐지 과정을 단계별로 설명합니다.
Gemini API
Gemini API를 활용한 이상 탐지: 임베딩으로 데이터셋 분석하기
이 글에서는 Gemini API를 사용하여 데이터셋에서 이상치를 탐지하는 방법을 알아봅니다. 그리고 임베딩과 t-SNE를 활용한 데이터 시각화 및 이상치 탐지 과정을 단계별로 설명합니다.
t-SNE
Gemini API를 활용한 이상 탐지: 임베딩으로 데이터셋 분석하기
이 글에서는 Gemini API를 사용하여 데이터셋에서 이상치를 탐지하는 방법을 알아봅니다. 그리고 임베딩과 t-SNE를 활용한 데이터 시각화 및 이상치 탐지 과정을 단계별로 설명합니다.
유클리드 거리
Gemini API를 활용한 이상 탐지: 임베딩으로 데이터셋 분석하기
이 글에서는 Gemini API를 사용하여 데이터셋에서 이상치를 탐지하는 방법을 알아봅니다. 그리고 임베딩과 t-SNE를 활용한 데이터 시각화 및 이상치 탐지 과정을 단계별로 설명합니다.
차원 축소
Gemini API를 활용한 이상 탐지: 임베딩으로 데이터셋 분석하기
이 글에서는 Gemini API를 사용하여 데이터셋에서 이상치를 탐지하는 방법을 알아봅니다. 그리고 임베딩과 t-SNE를 활용한 데이터 시각화 및 이상치 탐지 과정을 단계별로 설명합니다.
API 키
Gemini API를 활용한 이상 탐지: 임베딩으로 데이터셋 분석하기
이 글에서는 Gemini API를 사용하여 데이터셋에서 이상치를 탐지하는 방법을 알아봅니다. 그리고 임베딩과 t-SNE를 활용한 데이터 시각화 및 이상치 탐지 과정을 단계별로 설명합니다.
중심점
Gemini API를 활용한 이상 탐지: 임베딩으로 데이터셋 분석하기
이 글에서는 Gemini API를 사용하여 데이터셋에서 이상치를 탐지하는 방법을 알아봅니다. 그리고 임베딩과 t-SNE를 활용한 데이터 시각화 및 이상치 탐지 과정을 단계별로 설명합니다.
이상치
Gemini API를 활용한 이상 탐지: 임베딩으로 데이터셋 분석하기
이 글에서는 Gemini API를 사용하여 데이터셋에서 이상치를 탐지하는 방법을 알아봅니다. 그리고 임베딩과 t-SNE를 활용한 데이터 시각화 및 이상치 탐지 과정을 단계별로 설명합니다.
다중 에이전트
LangGraph - Multi-Agent Collaboration(다중 협업 에이전트) 로 복잡한 테스크를 수행하는 LLM 어플리케이션 제작
LangChain 에서 야심차게 LangGraph 를 새롭게 출시하였습니다. LangGraph 라이브러리가 출시하게 된 가장 큰 이유는 “복잡한 문제들은 단일 AI 에이전트만으로 해결하기 어렵다” 라는 문장에서 시작합니다.
LangGraph
LangGraph - Multi-Agent Collaboration(다중 협업 에이전트) 로 복잡한 테스크를 수행하는 LLM 어플리케이션 제작
LangChain 에서 야심차게 LangGraph 를 새롭게 출시하였습니다. LangGraph 라이브러리가 출시하게 된 가장 큰 이유는 “복잡한 문제들은 단일 AI 에이전트만으로 해결하기 어렵다” 라는 문장에서 시작합니다.
AutoGen
LangGraph - Multi-Agent Collaboration(다중 협업 에이전트) 로 복잡한 테스크를 수행하는 LLM 어플리케이션 제작
LangChain 에서 야심차게 LangGraph 를 새롭게 출시하였습니다. LangGraph 라이브러리가 출시하게 된 가장 큰 이유는 “복잡한 문제들은 단일 AI 에이전트만으로 해결하기 어렵다” 라는 문장에서 시작합니다.
LLM
LangGraph - Multi-Agent Collaboration(다중 협업 에이전트) 로 복잡한 테스크를 수행하는 LLM 어플리케이션 제작
LangChain 에서 야심차게 LangGraph 를 새롭게 출시하였습니다. LangGraph 라이브러리가 출시하게 된 가장 큰 이유는 “복잡한 문제들은 단일 AI 에이전트만으로 해결하기 어렵다” 라는 문장에서 시작합니다.
협업
LangGraph - Multi-Agent Collaboration(다중 협업 에이전트) 로 복잡한 테스크를 수행하는 LLM 어플리케이션 제작
LangChain 에서 야심차게 LangGraph 를 새롭게 출시하였습니다. LangGraph 라이브러리가 출시하게 된 가장 큰 이유는 “복잡한 문제들은 단일 AI 에이전트만으로 해결하기 어렵다” 라는 문장에서 시작합니다.
멀티에이전트
LangGraph - Multi-Agent Collaboration(다중 협업 에이전트) 로 복잡한 테스크를 수행하는 LLM 어플리케이션 제작
LangChain 에서 야심차게 LangGraph 를 새롭게 출시하였습니다. LangGraph 라이브러리가 출시하게 된 가장 큰 이유는 “복잡한 문제들은 단일 AI 에이전트만으로 해결하기 어렵다” 라는 문장에서 시작합니다.
그래프 기반 시스템
LangGraph - Multi-Agent Collaboration(다중 협업 에이전트) 로 복잡한 테스크를 수행하는 LLM 어플리케이션 제작
LangChain 에서 야심차게 LangGraph 를 새롭게 출시하였습니다. LangGraph 라이브러리가 출시하게 된 가장 큰 이유는 “복잡한 문제들은 단일 AI 에이전트만으로 해결하기 어렵다” 라는 문장에서 시작합니다.
상태 정의
LangGraph - Multi-Agent Collaboration(다중 협업 에이전트) 로 복잡한 테스크를 수행하는 LLM 어플리케이션 제작
LangChain 에서 야심차게 LangGraph 를 새롭게 출시하였습니다. LangGraph 라이브러리가 출시하게 된 가장 큰 이유는 “복잡한 문제들은 단일 AI 에이전트만으로 해결하기 어렵다” 라는 문장에서 시작합니다.
노드
LangGraph - Multi-Agent Collaboration(다중 협업 에이전트) 로 복잡한 테스크를 수행하는 LLM 어플리케이션 제작
LangChain 에서 야심차게 LangGraph 를 새롭게 출시하였습니다. LangGraph 라이브러리가 출시하게 된 가장 큰 이유는 “복잡한 문제들은 단일 AI 에이전트만으로 해결하기 어렵다” 라는 문장에서 시작합니다.
에지 로직
LangGraph - Multi-Agent Collaboration(다중 협업 에이전트) 로 복잡한 테스크를 수행하는 LLM 어플리케이션 제작
LangChain 에서 야심차게 LangGraph 를 새롭게 출시하였습니다. LangGraph 라이브러리가 출시하게 된 가장 큰 이유는 “복잡한 문제들은 단일 AI 에이전트만으로 해결하기 어렵다” 라는 문장에서 시작합니다.
호출
LangGraph - Multi-Agent Collaboration(다중 협업 에이전트) 로 복잡한 테스크를 수행하는 LLM 어플리케이션 제작
LangChain 에서 야심차게 LangGraph 를 새롭게 출시하였습니다. LangGraph 라이브러리가 출시하게 된 가장 큰 이유는 “복잡한 문제들은 단일 AI 에이전트만으로 해결하기 어렵다” 라는 문장에서 시작합니다.
데이터 스트리밍
LangGraph - Multi-Agent Collaboration(다중 협업 에이전트) 로 복잡한 테스크를 수행하는 LLM 어플리케이션 제작
LangChain 에서 야심차게 LangGraph 를 새롭게 출시하였습니다. LangGraph 라이브러리가 출시하게 된 가장 큰 이유는 “복잡한 문제들은 단일 AI 에이전트만으로 해결하기 어렵다” 라는 문장에서 시작합니다.
이미지 코드 변환
[LangChain] 문장을 파이썬 코드로, 이미지를 파이썬 코드로 변경하는 방법
이번 튜토리얼에는 langchain 라이브러리와 GPT-4 모델을 사용하여 문장을 파이썬 코드로 변경 및 실행하고, 이미지를 이해하고 이를 파이썬 코드로 변경하는 방법을 다룹니다.
파이썬 코드
[LangChain] 문장을 파이썬 코드로, 이미지를 파이썬 코드로 변경하는 방법
이번 튜토리얼에는 langchain 라이브러리와 GPT-4 모델을 사용하여 문장을 파이썬 코드로 변경 및 실행하고, 이미지를 이해하고 이를 파이썬 코드로 변경하는 방법을 다룹니다.
REPL
[LangChain] 문장을 파이썬 코드로, 이미지를 파이썬 코드로 변경하는 방법
이번 튜토리얼에는 langchain 라이브러리와 GPT-4 모델을 사용하여 문장을 파이썬 코드로 변경 및 실행하고, 이미지를 이해하고 이를 파이썬 코드로 변경하는 방법을 다룹니다.
vision preview
[LangChain] 문장을 파이썬 코드로, 이미지를 파이썬 코드로 변경하는 방법
이번 튜토리얼에는 langchain 라이브러리와 GPT-4 모델을 사용하여 문장을 파이썬 코드로 변경 및 실행하고, 이미지를 이해하고 이를 파이썬 코드로 변경하는 방법을 다룹니다.
gpt-4-vision-preview
[LangChain] 문장을 파이썬 코드로, 이미지를 파이썬 코드로 변경하는 방법
이번 튜토리얼에는 langchain 라이브러리와 GPT-4 모델을 사용하여 문장을 파이썬 코드로 변경 및 실행하고, 이미지를 이해하고 이를 파이썬 코드로 변경하는 방법을 다룹니다.
PythonREPL
[LangChain] 문장을 파이썬 코드로, 이미지를 파이썬 코드로 변경하는 방법
이번 튜토리얼에는 langchain 라이브러리와 GPT-4 모델을 사용하여 문장을 파이썬 코드로 변경 및 실행하고, 이미지를 이해하고 이를 파이썬 코드로 변경하는 방법을 다룹니다.
gpt-4
OpenAI API 모델 리스트 / 요금표
최신 버전의 업데이트 된 OpenAI Model 리스트와 API 사용요금(Pricing) 입니다.
gpt-4 turbo
OpenAI API 모델 리스트 / 요금표
최신 버전의 업데이트 된 OpenAI Model 리스트와 API 사용요금(Pricing) 입니다.
gpt-3.5 turbo
OpenAI API 모델 리스트 / 요금표
최신 버전의 업데이트 된 OpenAI Model 리스트와 API 사용요금(Pricing) 입니다.
gpt-4 vision preview
OpenAI API 모델 리스트 / 요금표
최신 버전의 업데이트 된 OpenAI Model 리스트와 API 사용요금(Pricing) 입니다.
embedding models
OpenAI API 모델 리스트 / 요금표
최신 버전의 업데이트 된 OpenAI Model 리스트와 API 사용요금(Pricing) 입니다.
Assistant API
OpenAI API 모델 리스트 / 요금표
최신 버전의 업데이트 된 OpenAI Model 리스트와 API 사용요금(Pricing) 입니다.
Fine Tuning Models
OpenAI API 모델 리스트 / 요금표
최신 버전의 업데이트 된 OpenAI Model 리스트와 API 사용요금(Pricing) 입니다.
python api
OpenAI API 모델 리스트 / 요금표
최신 버전의 업데이트 된 OpenAI Model 리스트와 API 사용요금(Pricing) 입니다.
instruct
OpenAI API 모델 리스트 / 요금표
최신 버전의 업데이트 된 OpenAI Model 리스트와 API 사용요금(Pricing) 입니다.
체인 생성
LangChain Expression Language(LCEL) 원리 이해와 파이프라인 구축 가이드
이 블로그 글에서는 LangChain Expression Language(LCEL) 원리 이해와 LCEL 에 기반한 파이프라인 구축의 기본을 소개합니다.
파이프라인
LangChain Expression Language(LCEL) 원리 이해와 파이프라인 구축 가이드
이 블로그 글에서는 LangChain Expression Language(LCEL) 원리 이해와 LCEL 에 기반한 파이프라인 구축의 기본을 소개합니다.
모델
LangChain Expression Language(LCEL) 원리 이해와 파이프라인 구축 가이드
이 블로그 글에서는 LangChain Expression Language(LCEL) 원리 이해와 LCEL 에 기반한 파이프라인 구축의 기본을 소개합니다.
출력 파서
LangChain Expression Language(LCEL) 원리 이해와 파이프라인 구축 가이드
이 블로그 글에서는 LangChain Expression Language(LCEL) 원리 이해와 LCEL 에 기반한 파이프라인 구축의 기본을 소개합니다.
LCEL
LangChain Expression Language(LCEL) 원리 이해와 파이프라인 구축 가이드
이 블로그 글에서는 LangChain Expression Language(LCEL) 원리 이해와 LCEL 에 기반한 파이프라인 구축의 기본을 소개합니다.
ChatMessage
LangChain Expression Language(LCEL) 원리 이해와 파이프라인 구축 가이드
이 블로그 글에서는 LangChain Expression Language(LCEL) 원리 이해와 LCEL 에 기반한 파이프라인 구축의 기본을 소개합니다.
LangChain Expression Language
LangChain Expression Language(LCEL) 원리 이해와 파이프라인 구축 가이드
이 블로그 글에서는 LangChain Expression Language(LCEL) 원리 이해와 LCEL 에 기반한 파이프라인 구축의 기본을 소개합니다.
LLMs
LLMs를 활용한 문서 요약 가이드: Stuff, Map-Reduce, Refine 방법 총정리
이번 글은 LangChain 을 활용하여 문서를 요약하는 방법에 대하여 다룹니다. 특히, 문서 요약의 3가지 방식은 Stuff, Map-Reduce, Refine 방식에 대하여 알아보고, 각각의 방식 간의 차이점에 대하여 다룹니다.
문서 요약
LLMs를 활용한 문서 요약 가이드: Stuff, Map-Reduce, Refine 방법 총정리
이번 글은 LangChain 을 활용하여 문서를 요약하는 방법에 대하여 다룹니다. 특히, 문서 요약의 3가지 방식은 Stuff, Map-Reduce, Refine 방식에 대하여 알아보고, 각각의 방식 간의 차이점에 대하여 다룹니다.
Stuff
LLMs를 활용한 문서 요약 가이드: Stuff, Map-Reduce, Refine 방법 총정리
이번 글은 LangChain 을 활용하여 문서를 요약하는 방법에 대하여 다룹니다. 특히, 문서 요약의 3가지 방식은 Stuff, Map-Reduce, Refine 방식에 대하여 알아보고, 각각의 방식 간의 차이점에 대하여 다룹니다.
Map-Reduce
LLMs를 활용한 문서 요약 가이드: Stuff, Map-Reduce, Refine 방법 총정리
이번 글은 LangChain 을 활용하여 문서를 요약하는 방법에 대하여 다룹니다. 특히, 문서 요약의 3가지 방식은 Stuff, Map-Reduce, Refine 방식에 대하여 알아보고, 각각의 방식 간의 차이점에 대하여 다룹니다.
Refine
LLMs를 활용한 문서 요약 가이드: Stuff, Map-Reduce, Refine 방법 총정리
이번 글은 LangChain 을 활용하여 문서를 요약하는 방법에 대하여 다룹니다. 특히, 문서 요약의 3가지 방식은 Stuff, Map-Reduce, Refine 방식에 대하여 알아보고, 각각의 방식 간의 차이점에 대하여 다룹니다.
load_summarize_chain
LLMs를 활용한 문서 요약 가이드: Stuff, Map-Reduce, Refine 방법 총정리
이번 글은 LangChain 을 활용하여 문서를 요약하는 방법에 대하여 다룹니다. 특히, 문서 요약의 3가지 방식은 Stuff, Map-Reduce, Refine 방식에 대하여 알아보고, 각각의 방식 간의 차이점에 대하여 다룹니다.
LLMChain
LLMs를 활용한 문서 요약 가이드: Stuff, Map-Reduce, Refine 방법 총정리
이번 글은 LangChain 을 활용하여 문서를 요약하는 방법에 대하여 다룹니다. 특히, 문서 요약의 3가지 방식은 Stuff, Map-Reduce, Refine 방식에 대하여 알아보고, 각각의 방식 간의 차이점에 대하여 다룹니다.
ReduceDocumentsChain
LLMs를 활용한 문서 요약 가이드: Stuff, Map-Reduce, Refine 방법 총정리
이번 글은 LangChain 을 활용하여 문서를 요약하는 방법에 대하여 다룹니다. 특히, 문서 요약의 3가지 방식은 Stuff, Map-Reduce, Refine 방식에 대하여 알아보고, 각각의 방식 간의 차이점에 대하여 다룹니다.
WebBaseLoader
LLMs를 활용한 문서 요약 가이드: Stuff, Map-Reduce, Refine 방법 총정리
이번 글은 LangChain 을 활용하여 문서를 요약하는 방법에 대하여 다룹니다. 특히, 문서 요약의 3가지 방식은 Stuff, Map-Reduce, Refine 방식에 대하여 알아보고, 각각의 방식 간의 차이점에 대하여 다룹니다.
GPT 모델
LLMs를 활용한 문서 요약 가이드: Stuff, Map-Reduce, Refine 방법 총정리
이번 글은 LangChain 을 활용하여 문서를 요약하는 방법에 대하여 다룹니다. 특히, 문서 요약의 3가지 방식은 Stuff, Map-Reduce, Refine 방식에 대하여 알아보고, 각각의 방식 간의 차이점에 대하여 다룹니다.
텍스트 분석
LLMs를 활용한 문서 요약 가이드: Stuff, Map-Reduce, Refine 방법 총정리
이번 글은 LangChain 을 활용하여 문서를 요약하는 방법에 대하여 다룹니다. 특히, 문서 요약의 3가지 방식은 Stuff, Map-Reduce, Refine 방식에 대하여 알아보고, 각각의 방식 간의 차이점에 대하여 다룹니다.
메타데이터
자동화된 메타데이터 태깅으로 문서의 메타데이터(metadata) 생성 및 자동 라벨링
문서 관리를 위한 메타데이터 태깅은 필수적이지만 번거로울 수 있습니다. OpenAI 기반의 자동화된 메타데이터 태깅 방법을 통해 이 과정을 효율적으로 만드는 방법을 알아보도록 하겠습니다.
문서 변환기
자동화된 메타데이터 태깅으로 문서의 메타데이터(metadata) 생성 및 자동 라벨링
문서 관리를 위한 메타데이터 태깅은 필수적이지만 번거로울 수 있습니다. OpenAI 기반의 자동화된 메타데이터 태깅 방법을 통해 이 과정을 효율적으로 만드는 방법을 알아보도록 하겠습니다.
JSON Schema
자동화된 메타데이터 태깅으로 문서의 메타데이터(metadata) 생성 및 자동 라벨링
문서 관리를 위한 메타데이터 태깅은 필수적이지만 번거로울 수 있습니다. OpenAI 기반의 자동화된 메타데이터 태깅 방법을 통해 이 과정을 효율적으로 만드는 방법을 알아보도록 하겠습니다.
Pydantic
자동화된 메타데이터 태깅으로 문서의 메타데이터(metadata) 생성 및 자동 라벨링
문서 관리를 위한 메타데이터 태깅은 필수적이지만 번거로울 수 있습니다. OpenAI 기반의 자동화된 메타데이터 태깅 방법을 통해 이 과정을 효율적으로 만드는 방법을 알아보도록 하겠습니다.
태깅
자동화된 메타데이터 태깅으로 문서의 메타데이터(metadata) 생성 및 자동 라벨링
문서 관리를 위한 메타데이터 태깅은 필수적이지만 번거로울 수 있습니다. OpenAI 기반의 자동화된 메타데이터 태깅 방법을 통해 이 과정을 효율적으로 만드는 방법을 알아보도록 하겠습니다.
문서 관리
자동화된 메타데이터 태깅으로 문서의 메타데이터(metadata) 생성 및 자동 라벨링
문서 관리를 위한 메타데이터 태깅은 필수적이지만 번거로울 수 있습니다. OpenAI 기반의 자동화된 메타데이터 태깅 방법을 통해 이 과정을 효율적으로 만드는 방법을 알아보도록 하겠습니다.
검색 최적화
자동화된 메타데이터 태깅으로 문서의 메타데이터(metadata) 생성 및 자동 라벨링
문서 관리를 위한 메타데이터 태깅은 필수적이지만 번거로울 수 있습니다. OpenAI 기반의 자동화된 메타데이터 태깅 방법을 통해 이 과정을 효율적으로 만드는 방법을 알아보도록 하겠습니다.
Q&A
LangChain으로 네이버 뉴스 기반 Q&A 애플리케이션 구축하기 - 기본편
LangChain을 활용하여 간단하게 네이버 뉴스기사를 바탕으로 Q&A 애플리케이션을 만드는 방법을 다룹니다.
gpt-4-turbo-preview
LangChain으로 네이버 뉴스 기반 Q&A 애플리케이션 구축하기 - 기본편
LangChain을 활용하여 간단하게 네이버 뉴스기사를 바탕으로 Q&A 애플리케이션을 만드는 방법을 다룹니다.
네이버 뉴스 Q&A
LangChain으로 네이버 뉴스 기반 Q&A 애플리케이션 구축하기 - 기본편
LangChain을 활용하여 간단하게 네이버 뉴스기사를 바탕으로 Q&A 애플리케이션을 만드는 방법을 다룹니다.
Retrieval
LangChain으로 네이버 뉴스 기반 Q&A 애플리케이션 구축하기 - 기본편
LangChain을 활용하여 간단하게 네이버 뉴스기사를 바탕으로 Q&A 애플리케이션을 만드는 방법을 다룹니다.
VectorStore
LangChain으로 네이버 뉴스 기반 Q&A 애플리케이션 구축하기 - 기본편
LangChain을 활용하여 간단하게 네이버 뉴스기사를 바탕으로 Q&A 애플리케이션을 만드는 방법을 다룹니다.
질문 처리
LangChain RAG 파헤치기: 문서 기반 QA 시스템 설계 방법 - 심화편
LangChain의 RAG 시스템을 통해 문서(PDF, txt, 웹페이지 등)에 대한 질문-답변을 찾는 과정을 정리하였습니다.
답변 생성
LangChain RAG 파헤치기: 문서 기반 QA 시스템 설계 방법 - 심화편
LangChain의 RAG 시스템을 통해 문서(PDF, txt, 웹페이지 등)에 대한 질문-답변을 찾는 과정을 정리하였습니다.
아키텍처
LangChain RAG 파헤치기: 문서 기반 QA 시스템 설계 방법 - 심화편
LangChain의 RAG 시스템을 통해 문서(PDF, txt, 웹페이지 등)에 대한 질문-답변을 찾는 과정을 정리하였습니다.
데이터 인덱싱
LangChain RAG 파헤치기: 문서 기반 QA 시스템 설계 방법 - 심화편
LangChain의 RAG 시스템을 통해 문서(PDF, txt, 웹페이지 등)에 대한 질문-답변을 찾는 과정을 정리하였습니다.
검색
LangChain RAG 파헤치기: 문서 기반 QA 시스템 설계 방법 - 심화편
LangChain의 RAG 시스템을 통해 문서(PDF, txt, 웹페이지 등)에 대한 질문-답변을 찾는 과정을 정리하였습니다.
생성 모델
LangChain RAG 파헤치기: 문서 기반 QA 시스템 설계 방법 - 심화편
LangChain의 RAG 시스템을 통해 문서(PDF, txt, 웹페이지 등)에 대한 질문-답변을 찾는 과정을 정리하였습니다.
인덱싱
LangChain RAG 파헤치기: 문서 기반 QA 시스템 설계 방법 - 심화편
LangChain의 RAG 시스템을 통해 문서(PDF, txt, 웹페이지 등)에 대한 질문-답변을 찾는 과정을 정리하였습니다.
검색 및 생성
LangChain RAG 파헤치기: 문서 기반 QA 시스템 설계 방법 - 심화편
LangChain의 RAG 시스템을 통해 문서(PDF, txt, 웹페이지 등)에 대한 질문-답변을 찾는 과정을 정리하였습니다.
문서 로드
LangChain RAG 파헤치기: 문서 기반 QA 시스템 설계 방법 - 심화편
LangChain의 RAG 시스템을 통해 문서(PDF, txt, 웹페이지 등)에 대한 질문-답변을 찾는 과정을 정리하였습니다.
벡터스토어
LangChain RAG 파헤치기: 문서 기반 QA 시스템 설계 방법 - 심화편
LangChain의 RAG 시스템을 통해 문서(PDF, txt, 웹페이지 등)에 대한 질문-답변을 찾는 과정을 정리하였습니다.
언어모델
LangChain RAG 파헤치기: 문서 기반 QA 시스템 설계 방법 - 심화편
LangChain의 RAG 시스템을 통해 문서(PDF, txt, 웹페이지 등)에 대한 질문-답변을 찾는 과정을 정리하였습니다.
ensemble retriever
LangChain RAG 파헤치기: 문서 기반 QA 시스템 설계 방법 - 심화편
LangChain의 RAG 시스템을 통해 문서(PDF, txt, 웹페이지 등)에 대한 질문-답변을 찾는 과정을 정리하였습니다.
vectorstore
LangChain RAG 파헤치기: 문서 기반 QA 시스템 설계 방법 - 심화편
LangChain의 RAG 시스템을 통해 문서(PDF, txt, 웹페이지 등)에 대한 질문-답변을 찾는 과정을 정리하였습니다.
mmr
LangChain RAG 파헤치기: 문서 기반 QA 시스템 설계 방법 - 심화편
LangChain의 RAG 시스템을 통해 문서(PDF, txt, 웹페이지 등)에 대한 질문-답변을 찾는 과정을 정리하였습니다.
similarity
LangChain RAG 파헤치기: 문서 기반 QA 시스템 설계 방법 - 심화편
LangChain의 RAG 시스템을 통해 문서(PDF, txt, 웹페이지 등)에 대한 질문-답변을 찾는 과정을 정리하였습니다.
에이전트
[LangChain] 에이전트(Agent)와 도구(tools)를 활용한 지능형 검색 시스템 구축 가이드
이 글에서는 LangChain 의 Agent 프레임워크를 활용하여 복잡한 검색과 데이터 처리 작업을 수행하는 방법을 소개합니다. LangSmith 를 사용하여 Agent의 추론 단계를 추적합니다. Agent가 활용할 검색 도구(Tavily Search), PDF 기반 검색 리트리버...
검색도구
[LangChain] 에이전트(Agent)와 도구(tools)를 활용한 지능형 검색 시스템 구축 가이드
이 글에서는 LangChain 의 Agent 프레임워크를 활용하여 복잡한 검색과 데이터 처리 작업을 수행하는 방법을 소개합니다. LangSmith 를 사용하여 Agent의 추론 단계를 추적합니다. Agent가 활용할 검색 도구(Tavily Search), PDF 기반 검색 리트리버...
Tavily Search
[LangChain] 에이전트(Agent)와 도구(tools)를 활용한 지능형 검색 시스템 구축 가이드
이 글에서는 LangChain 의 Agent 프레임워크를 활용하여 복잡한 검색과 데이터 처리 작업을 수행하는 방법을 소개합니다. LangSmith 를 사용하여 Agent의 추론 단계를 추적합니다. Agent가 활용할 검색 도구(Tavily Search), PDF 기반 검색 리트리버...
Retriever
[LangChain] 에이전트(Agent)와 도구(tools)를 활용한 지능형 검색 시스템 구축 가이드
이 글에서는 LangChain 의 Agent 프레임워크를 활용하여 복잡한 검색과 데이터 처리 작업을 수행하는 방법을 소개합니다. LangSmith 를 사용하여 Agent의 추론 단계를 추적합니다. Agent가 활용할 검색 도구(Tavily Search), PDF 기반 검색 리트리버...
FAISS
[LangChain] 에이전트(Agent)와 도구(tools)를 활용한 지능형 검색 시스템 구축 가이드
이 글에서는 LangChain 의 Agent 프레임워크를 활용하여 복잡한 검색과 데이터 처리 작업을 수행하는 방법을 소개합니다. LangSmith 를 사용하여 Agent의 추론 단계를 추적합니다. Agent가 활용할 검색 도구(Tavily Search), PDF 기반 검색 리트리버...
Agent
[LangChain] 에이전트(Agent)와 도구(tools)를 활용한 지능형 검색 시스템 구축 가이드
이 글에서는 LangChain 의 Agent 프레임워크를 활용하여 복잡한 검색과 데이터 처리 작업을 수행하는 방법을 소개합니다. LangSmith 를 사용하여 Agent의 추론 단계를 추적합니다. Agent가 활용할 검색 도구(Tavily Search), PDF 기반 검색 리트리버...
tools
[LangChain] 에이전트(Agent)와 도구(tools)를 활용한 지능형 검색 시스템 구축 가이드
이 글에서는 LangChain 의 Agent 프레임워크를 활용하여 복잡한 검색과 데이터 처리 작업을 수행하는 방법을 소개합니다. LangSmith 를 사용하여 Agent의 추론 단계를 추적합니다. Agent가 활용할 검색 도구(Tavily Search), PDF 기반 검색 리트리버...
Assistants API
[Assistants API] Code Interpreter, Retrieval, Functions 활용법
OpenAI의 새로운 Assistants API는 대화와 더불어 강력한 도구 접근성을 제공합니다. 본 튜토리얼은 OpenAI Assistants API를 활용하는 내용을 다룹니다. 특히, Assistant API 가 제공하는 도구인 Code Interpreter, Retrieval...
Chat Completions API
[Assistants API] Code Interpreter, Retrieval, Functions 활용법
OpenAI의 새로운 Assistants API는 대화와 더불어 강력한 도구 접근성을 제공합니다. 본 튜토리얼은 OpenAI Assistants API를 활용하는 내용을 다룹니다. 특히, Assistant API 가 제공하는 도구인 Code Interpreter, Retrieval...
스레드
[Assistants API] Code Interpreter, Retrieval, Functions 활용법
OpenAI의 새로운 Assistants API는 대화와 더불어 강력한 도구 접근성을 제공합니다. 본 튜토리얼은 OpenAI Assistants API를 활용하는 내용을 다룹니다. 특히, Assistant API 가 제공하는 도구인 Code Interpreter, Retrieval...
메시지
[Assistants API] Code Interpreter, Retrieval, Functions 활용법
OpenAI의 새로운 Assistants API는 대화와 더불어 강력한 도구 접근성을 제공합니다. 본 튜토리얼은 OpenAI Assistants API를 활용하는 내용을 다룹니다. 특히, Assistant API 가 제공하는 도구인 Code Interpreter, Retrieval...
Thread
[Assistants API] Code Interpreter, Retrieval, Functions 활용법
OpenAI의 새로운 Assistants API는 대화와 더불어 강력한 도구 접근성을 제공합니다. 본 튜토리얼은 OpenAI Assistants API를 활용하는 내용을 다룹니다. 특히, Assistant API 가 제공하는 도구인 Code Interpreter, Retrieval...
Message
[Assistants API] Code Interpreter, Retrieval, Functions 활용법
OpenAI의 새로운 Assistants API는 대화와 더불어 강력한 도구 접근성을 제공합니다. 본 튜토리얼은 OpenAI Assistants API를 활용하는 내용을 다룹니다. 특히, Assistant API 가 제공하는 도구인 Code Interpreter, Retrieval...
Openai Functions
[Assistants API] Code Interpreter, Retrieval, Functions 활용법
OpenAI의 새로운 Assistants API는 대화와 더불어 강력한 도구 접근성을 제공합니다. 본 튜토리얼은 OpenAI Assistants API를 활용하는 내용을 다룹니다. 특히, Assistant API 가 제공하는 도구인 Code Interpreter, Retrieval...
어시스턴트
[Assistants API] Code Interpreter, Retrieval, Functions 활용법
OpenAI의 새로운 Assistants API는 대화와 더불어 강력한 도구 접근성을 제공합니다. 본 튜토리얼은 OpenAI Assistants API를 활용하는 내용을 다룹니다. 특히, Assistant API 가 제공하는 도구인 Code Interpreter, Retrieval...
langgraph
LangGraph Retrieval Agent를 활용한 동적 문서 검색 및 처리
LangGraph Retrieval Agent는 언어 처리, AI 모델 통합, 데이터베이스 관리, 그래프 기반 데이터 처리 등 다양한 기능을 제공하여 언어 기반 AI 애플리케이션 개발에 필수적인 도구입니다.
retrieval agent
LangGraph Retrieval Agent를 활용한 동적 문서 검색 및 처리
LangGraph Retrieval Agent는 언어 처리, AI 모델 통합, 데이터베이스 관리, 그래프 기반 데이터 처리 등 다양한 기능을 제공하여 언어 기반 AI 애플리케이션 개발에 필수적인 도구입니다.
AI 애플리케이션
LangGraph Retrieval Agent를 활용한 동적 문서 검색 및 처리
LangGraph Retrieval Agent는 언어 처리, AI 모델 통합, 데이터베이스 관리, 그래프 기반 데이터 처리 등 다양한 기능을 제공하여 언어 기반 AI 애플리케이션 개발에 필수적인 도구입니다.
데이터베이스 관리
LangGraph Retrieval Agent를 활용한 동적 문서 검색 및 처리
LangGraph Retrieval Agent는 언어 처리, AI 모델 통합, 데이터베이스 관리, 그래프 기반 데이터 처리 등 다양한 기능을 제공하여 언어 기반 AI 애플리케이션 개발에 필수적인 도구입니다.
그래프 기반 데이터 처리
LangGraph Retrieval Agent를 활용한 동적 문서 검색 및 처리
LangGraph Retrieval Agent는 언어 처리, AI 모델 통합, 데이터베이스 관리, 그래프 기반 데이터 처리 등 다양한 기능을 제공하여 언어 기반 AI 애플리케이션 개발에 필수적인 도구입니다.
검색 에이전트
LangGraph Retrieval Agent를 활용한 동적 문서 검색 및 처리
LangGraph Retrieval Agent는 언어 처리, AI 모델 통합, 데이터베이스 관리, 그래프 기반 데이터 처리 등 다양한 기능을 제공하여 언어 기반 AI 애플리케이션 개발에 필수적인 도구입니다.
정보 처리
LangGraph Retrieval Agent를 활용한 동적 문서 검색 및 처리
LangGraph Retrieval Agent는 언어 처리, AI 모델 통합, 데이터베이스 관리, 그래프 기반 데이터 처리 등 다양한 기능을 제공하여 언어 기반 AI 애플리케이션 개발에 필수적인 도구입니다.
poetry
poetry 의 거의 모든것 (튜토리얼)
Python 개발에 있어서 poetry는 매우 강력한 도구로, 프로젝트의 의존성 관리와 패키지 배포를 간소화하는 데 큰 도움을 줍니다. 지금부터 poetry 활용 튜토리얼을 살펴 보겠습니다.
python 가상환경
poetry 의 거의 모든것 (튜토리얼)
Python 개발에 있어서 poetry는 매우 강력한 도구로, 프로젝트의 의존성 관리와 패키지 배포를 간소화하는 데 큰 도움을 줍니다. 지금부터 poetry 활용 튜토리얼을 살펴 보겠습니다.
poetry tutorial
poetry 의 거의 모든것 (튜토리얼)
Python 개발에 있어서 poetry는 매우 강력한 도구로, 프로젝트의 의존성 관리와 패키지 배포를 간소화하는 데 큰 도움을 줍니다. 지금부터 poetry 활용 튜토리얼을 살펴 보겠습니다.
poetry 튜토리얼
poetry 의 거의 모든것 (튜토리얼)
Python 개발에 있어서 poetry는 매우 강력한 도구로, 프로젝트의 의존성 관리와 패키지 배포를 간소화하는 데 큰 도움을 줍니다. 지금부터 poetry 활용 튜토리얼을 살펴 보겠습니다.
poetry 활용
poetry 의 거의 모든것 (튜토리얼)
Python 개발에 있어서 poetry는 매우 강력한 도구로, 프로젝트의 의존성 관리와 패키지 배포를 간소화하는 데 큰 도움을 줍니다. 지금부터 poetry 활용 튜토리얼을 살펴 보겠습니다.
poetry 배포
poetry 의 거의 모든것 (튜토리얼)
Python 개발에 있어서 poetry는 매우 강력한 도구로, 프로젝트의 의존성 관리와 패키지 배포를 간소화하는 데 큰 도움을 줍니다. 지금부터 poetry 활용 튜토리얼을 살펴 보겠습니다.
세마틱 버저닝
poetry 의 거의 모든것 (튜토리얼)
Python 개발에 있어서 poetry는 매우 강력한 도구로, 프로젝트의 의존성 관리와 패키지 배포를 간소화하는 데 큰 도움을 줍니다. 지금부터 poetry 활용 튜토리얼을 살펴 보겠습니다.