본문 바로가기

PROJECT/LOST ARK Web Crawling Project5

[ LOST ARK Web Crawling Project ] 내 캐릭터 각인 및 정보 확인하기 동적 크롤링을 사용 로아와(https://loawa.com/) 사이트의 검색 HTML 요소에 내 캐릭터의 이름인 데이터를 전송해준다. 내 캐릭터 데이터 창에서 나의 정보와 내가 사용하고 있는 각인 등을 출력해준다. 추가적인 요소로 내 캐릭터가 사용하고 있는 각인과 다른 유저들이 많이 사용하고 있는 각인을 비교할 수 있다. from selenium import webdriver import time driver = webdriver.Chrome('./chromedriver') URL = 'https://loawa.com/' driver.get(URL) # get 함수를 사용해서 웹 사이트의 내용 받아오기 time.sleep(2) my_character = input("검색하고자 하는 캐릭터명 입력 : ").. 2022. 3. 3.
[ LOST ARK Web Crawling Project ] 새로운 클래스 추가하기 csv 파일 수정하기 open 함수 사용시 인자 'a'를 사용해서 이미 존재하는 csv 파일에 데이터를 추가 import csv import sys def adding(korean_name, english_name): fhand = open('./lostark_class_name.csv', 'a', newline='') # 이미 존재하는 csv 파일에 데이터를 추가하기 위해서는 open 함수에 옵션을 'a'를 사용 wtr = csv.writer(fhand) # csv 파일의 모든 데이터를 행별로 출력 wtr.writerow([korean_name, english_name]) fhand.close() fhand = open('./lostark_class_name.csv', 'r') rdr = csv.rea.. 2022. 3. 3.
[ LOST ARK Web Crawling Project ] 각인 추출하기 정적 크롤링을 사용 MGX.KR URL 패턴을 사용해서 각 클래스에 대한 상위 5개의 공통 각인 추출 상대적으로 더 많이 사용하는 직업 각인 추출 추가적인 요소로 각 각인들의 레벨 추출하기 ( 각 각인들에 대한 설명은 DB 구축 후 진행 ) import requests from bs4 import BeautifulSoup import csv fhand = open('./lostark_class_name.csv', 'r') rdr = csv.reader(fhand) next(rdr) my_class = input("검색하고자 하는 클래스 입력 : ") for row in rdr : if my_class in row[0] : my_class_english = row[1] fhand.close() URL = .. 2022. 1. 8.
[ LOST ARK Web Crawling Project ] CSV 파일 생성하기 csv 파일을 생성해서 모든 직업 클래스를 영문으로 변경해 데이터 저장하기 import csv fhand = open('./lostark_class_name.csv', 'w', newline='') # csv 파일을 작성하는 객체 변수 wtr 생성 wtr = csv.writer(fhand) wtr.writerow(['Korean','English']) korean_class_list = ['디스트로이어', '워로드', '버서커', '홀리나이트', '스트라이커', '배틀마스터', '인파이터', '기공사', '창술사', '데빌헌터', '블래스터', '호크아이', '스카우터', '건슬링어', '바드', '서머너', '아르카나', '소서리스', '블레이드', '데모닉', '리퍼'] english_class_li.. 2022. 1. 8.
[ LOST ARK Web Crawling Project ] 프로젝트 설계 웹 크롤링이란? 크롤링은 인터넷에서 데이터를 검색해서 필요한 정보를 색인하는 것을 의미. 사용자가 검색하고자 하는 키워드를 입력하면 크롤링을 해주는 프로그램은 키워드에 대한 정보를 수집하고 저장 및 가공하는 과정을 수행해줌. 내가 하고자 하는 웹 크롤링 프로젝트 주제 최근 인기게임 '스마일게이트'의 MMORPG 'LOST ARK' 게임 유저로서 신규 및 기존 유저들이 쉽게 클래스에 대한 정보를 얻을 수 있는 크롤링 프로그램을 만들어보고자 한다! 물론 'LOST ARK' 유저들을 위한 다양한 도움 사이트들이 존재하지만 나만의 프로그램을 만들어보고 싶어서 프로젝트의 주제로 선정하게 됐다. 유저 정보에 대한 데이터베이스를 구하기는 어려움으로 'LOST ARK'를 위한 사이트인 '로스트아크 공식 홈페이지', '.. 2022. 1. 7.

티스토리툴바