[huggingface] BERT를 활용한 텍스트 분류(bbc news 데이터셋)
본 튜토리얼에서는 HuggingFace 의 transformers 라이브러리를 활용한 튜토리얼 입니다.
최근 포스트
Python 시계열 데이터 분석 - AR, MA, ARIMA, SARIMAX, 분해, 지수평활
시계열 데이터 분석이라는 다소 넓은 범위의 주제이지만, 그 중에서도 전통적인 시계열 분석에서 언급되는 주요 분석 기법에 대해서 간략히 알아보고, 파이썬(Python) 코드로 구현하는 방법에 대해 알아보겠습니다.
데이터 분석(pandas, matplotlib) 모듈과 머신러닝/딥러닝 모듈 사용시 자주 사용하는 옵션 정리
데이터 분석이나 머신러닝 프로젝트 진행시 자주 사용하는 옵션 값을 정리 해 보았습니다. 거의 매번 노트북 파일을 만들 때마다 import 를 해주어야 하는데, 저는 하나의 파일에 정리해 두고 필요한 옵션을 찾아서 사용하는 편입니다. 앞으로 유용한 옵션이 있다면 계속 추가해 나갈 예...
[pytorch] 토큰화(Tokenizing), Embedding + LSTM 모델을 활용한 텍스트 분류 예측
이번 튜토리얼에서는 sarcasm 데이터셋을 활용하여 뉴스 기사의 제목(headline) 텍스트를 학습하여 sarcastic(1) 인지 normal(0) 인지 판별하는 텍스트 분류기를 생성하고, 학습 및 추론까지 진행합니다.
Google Bard 파이썬(Python) API 활용
이번 포스팅에서는 구글 바드(Google Bard) 의 파이썬(Python) API 사용법에 대해 알아보겠습니다.
ChatGPT openai 파이썬(python) 모듈을 활용한 챗봇 구현
이번 포스팅에서는 openai 사의 ChatGPT 기능을 파이썬(python) 모듈을 활용하여 챗봇 을 구현하는 방법에 대하여 알아보겠습니다.
[pytorch] Seq2Seq with Attention 구현 및 한 줄씩 코드 설명
이번 포스팅에서는 Attention 메카니즘이 적용된 Seq2Seq 모델을 pytorch로 구현하고, 코드 한 줄씩 직접 shape를 찍어보고 확인하면서 구현된 코드 통해 동작 원리와 Attention 구조를 이해해 보도록 하겠습니다.
우분투(ubuntu 20.04) 에서 기존의 CUDA 설치버전 업데이트 하는 방법
본 포스팅은 Ubuntu 20.04 환경에서 기존에 설치된 CUDA 11.2 버전을 클린 삭제 후 CUDA 11.8 로 업그레이드 하는 과정을 담고 있습니다. CUDA 가 설치가 되어 있지 않은 서버에서도 동일하게 진행할 수 있습니다.
[pytorch] Seq2Seq 으로 챗봇 만들기 (코드 구현)
이번 튜토리얼에서는 seq2seq 모델을 pytorch로 구현하고 한글 챗봇 데이터를 학습시켜 추론해 보는 단계까지 진행해 보도록 하겠습니다.
[pytorch] GRU 입력 텐서와 출력 텐서의 shape 이해
이번에는 지난 LSTM 입력 텐서와 출력 텐서의 shape 이해 의 후속편으로써, pytorch의 GRU layer의 입출력 텐서의 shape에 대하여 이해해 보고 세부 옵션에 대하여 자세히 알아보도록 하겠습니다.