[ LOST ARK Web Crawling Project ] 프로젝트 설계

웹 크롤링이란?

 

크롤링은 인터넷에서 데이터를 검색해서 필요한 정보를 색인하는 것을 의미.

사용자가 검색하고자 하는 키워드를 입력하면 크롤링을 해주는 프로그램은 키워드에 대한 정보를 수집하고

저장 및 가공하는 과정을 수행해줌.

 

내가 하고자 하는 웹 크롤링 프로젝트 주제

 

 

최근 인기게임 '스마일게이트'의 MMORPG 'LOST ARK' 게임 유저로서 신규 및 기존 유저들이 쉽게 클래스에 대한

정보를 얻을 수 있는 크롤링 프로그램을 만들어보고자 한다!

 

물론 'LOST ARK' 유저들을 위한 다양한 도움 사이트들이 존재하지만 나만의 프로그램을 만들어보고 싶어서

프로젝트의 주제로 선정하게 됐다. 유저 정보에 대한 데이터베이스를 구하기는 어려움으로 'LOST ARK'를 위한

사이트인 '로스트아크 공식 홈페이지', '로아와', 'MGX.KR' 사이트를 이용해볼 예정이다.

 

로스트아크 공식 홈페이지 : https://lostark.game.onstove.com/Main

로아와 : https://loawa.com/main

MGX.KR : https://www.mgx.kr/lostark/

 

'LOST ARK'에는 아이템 레벨, 각인, 보석, 카드 등 자신의 캐릭터를 강화할 수 있는 다양한 방법들이 존재한다.

하지만 신규 유저의 입장으로서는 스토리를 다 진행한 후 카오스 던전 및 어비스 레이드 등 다양한 컨텐츠를

즐기기 위해서 무엇을 어떻게 강화하고 사용해야하는지 사용법에 대해 모르는 경우가 많다.

 

이번 프로젝트의 주제로는 신규 유저 및 새로운 클래스을 위한 가장 큰 어려운 점인 '각인'을 위주로 진행해보려한다.

'LOST ARK'에서의 각인이란 전투와 관련된 다양한 효과를 얻을 수 있는 시스템이다. 각 클래스마다 2개 정도의

직업 각인이 존재하고 그 외의 공통적으로 사용할 수 있는 공통 각인이 존재한다. 각인을 어떻게 맞추냐에 따라서

자신의 캐릭터를 다양한 방법으로 강화하여 플레이를 진행할 수 있기 때문에 그만큼 각인은 필수적이다.

 

그래서 클래스의 이름을 검색하면 해당 클래스에 대한 각인 정보를 나열할 수 있는 크롤링 프로그램을

만들어보고자 한다.

 

 

구현 방식

 

1. csv 파일을 생성해서 모든 직업 클래스를 영문으로 변경해 데이터 저장하기

 

2. 정적 크롤링을 사용

 

• MGX.KR URL 패턴을 사용해서 각 클래스에 대한 상위 5개의 공통 각인 추출
• 상대적으로 더 많이 사용하는 직업 각인 추출
• 추가적인 요소로 각 각인들의 레벨 추출하기
• 각 각인들에 대한 설명은 DB 구축 후 진행 ( 단순 크롤링 웹 프로젝트 )

3. 동적 크롤링을 사용

 

• 로아와 및 MGX.KR 사이트를 자동화된 크롬창으로 실행
• 자신의 캐릭터 및 검색할 아이디를 입력받아 HTML 요소에 데이터를 전송
• 검색한 캐릭터가 사용하고 있는 직업, 공통 각인을 추출하여 모든 유저들이 사용하는 각인과 비교 가능