자동차 충돌 분석 AI경진대회 - 베이스라인
본 포스팅은 데이콘(dacon.io)에서 2023.02.06 ~ 2023.03.13 기간 동안 진행하는 자동차 충돌 분석 AI경진대회에 제출한 베이스라인 코드 입니다.
최근 포스트
파이썬, 데이터분석가를 위한 초간단 파일공유 서비스
본 내용은 자체 제작한 파일공유 서비스에 대한 내용입니다. 말그대로 파일을 가장 쉬운 방법으로 공유할 수 있는 서비스이며, 링크를 활용하여 공유할 수 있습니다. Python, wget 명령어로 다운로드 받는 코드를 제공하며, 비밀번호로 암호화 하여 공유도 가능합니다.
에어테이블(airtable)의 table 조회, 추가, 업데이트, 삭제 Python API
본 내용은 Airtable 에서 table에 대해서 데이터를 조회, 추가, 삭제 및 정렬 하는 방법에 대해서 다룹니다. 본 튜토리얼은 airtable의 공식 pyairtable 파이썬 패키지를 활용합니다.
로또 1회부터 최신회차까지 크롤링한 뒤 파일 저장하기(requests, beautifulsoup4)
본 내용은 로또 사이트(동행복권) 에서 로또의 1회차 부터 최신회차까지 당첨번호, 보너스번호,당첨일자등의 정보를 크롤링 하여 데이터프레임으로 변환하고 CSV 파일형식으로 저장하는 튜토리얼입니다.
영문 뉴스기사 크롤링 후 ChatGPT(OpenAI API) 기사 요약 및 한글 번역하기
이번 튜토리얼에서는 investing.com 의 뉴스기사를 크롤링 후 ChatGPT로 영문 뉴스기사를 요약하고, 이를 한글로 번역하는 튜토리얼을 진행해 보겠습니다.
OPENAI API(ChatGPT)를 활용한 블로그 생성 자동화
이번 포스팅에서는 OPENAI의 API를 활용하여 ChatGPT 의 텍스트 생성 모델인 text-davinci-003로 주제와 세부요구사항에 맞게 자동으로 블로그를 생성하고 이를 GitHub Pages에 블로그로 포스팅으로 자동 배포하는 튜토리얼을 진행해 보도록 하겠습니다.
torchtext를 활용한 텍스트 데이터 전처리 방법
torchtext는 pytorch 모델에 주입하기 위한 텍스트 데이터셋을 구성하기 편하게 만들어 주는 데이터 로더(Data Loader) 입니다. torchtext 를 활용하여 CSV, TSV, JSON 등의 정형 데이터셋을 쉽게 로드하도록 도와주는 TabularDataset 클래...
[2023년 UPDATE] 머신러닝/딥러닝(PyTorch, TensorFlow) 최신 도커(docker) 업데이트 안내
2023년 01월 15일 새해를 맞아 데이터 분석 / 머신러닝 / 딥러닝 주요 파이썬 패키지를 의존성 충돌 없이 설치, 그리고 한글 폰트, 형태소 분석기 등 한글 전처리 관련 도구가 사전에 설치된 도커(Docker) 이미지를 리뉴얼 하여 배포 하였습니다.
[huggingface] 한글 pre-trained 사전학습 BERT 모델로 텍스트 분류하기
이번 포스팅에서는 Huggingface의 한글 데이터셋으로 사전 학습된 kykim/bert-kor-base 모델을 가져와서 한글 자연어 데이터에 대한 텍스트 분류기를 만들어 보겠습니다. 이미지넷에서는 전이학습을 통해 손쉽게 Transfer Learning을 수행할 수 있습니다. ...
bbc-text.csv 데이터셋을 활용한 BBC 뉴스 아티클 카테고리 분류기 만들기
BBC 뉴스 아티클 묶음 데이터셋인 bbc-text.csv 파일을 활용하여 TensorFlow 의 Tokenizer로 단어 사전을 만들고 자연어 처리 모델 학습을 위한 데이터 전처리를 진행해 보겠습니다. bbc-text.csv 파일을 pandas로 읽어와서 데이터프레임 변환 후 라...