본문 바로가기
DATA/[ 모각코+ 12월 과정 ] 웹 크롤링

[ 모각코+ 2일차 ] 정적 크롤링 vs 동적 크롤링

by 2CHAE._.EUN 2021. 12. 21.

[ 정적 크롤링 ]

 

정적 크롤링은 로그인 등과 같은 사전 작업 없이, 한 페이지 내부에서 원하는 데이터를 수집할 때 사용

 

정적 크롤링은 주소를 통해 데이터를 요청하고 결과를 받는 것으로 과정이 종료됨.

한 페이지 내에서 모든 작업이 이루어지기 때문에 속도가 매우 빠름

 

하지만 주소를 통해 데이터를 받으니 연속적인 작업은 수행 불가능

즉, 페이지를 이동해야 하는 경우에는 정적 크롤링을 하기에 한계가 있음

 

예를 들어, 정적 크롤링으로 페이지에 접속했을 경우 페이지에 있는 눈에 바로 보이는 정보는 수집 가능하지만

페이지 이동 혹은 별다른 조작이 필요한 경우 정적 크롤링을 사용할 수 없음.


[ 정적 크롤링 ]

 

동적 크롤링은 정적 크롤링과는 달리 페이지 내부에서 조작이 필요한 데이터를 수집할 때 사용

 

추가적인 작업이 필요하기 때문에 정적 크롤링에 비해 상대적으로 느리지만 수집 대상에 한계가 거의 없음

즉, 우리가 원하는 모든 데이터를 얻어 올 수 있음

 

예를 들어, 정적 크롤링은 페이지에 접속했을 경우 눈에 보이는 정보만 수집 가능하지만

동적 크롤링은 클릭, 이동 등으로 원하는 정보에 대한 추가 정보 등 우리가 원하는 정보를 수집할 수 있음.

 


[ 2일차 미션 ]

 


로또 당첨 번호 사이트에 대한 크롤링은 '정적 크롤링'을 사용.

왜냐하면 페이지 이동 및 별다른 조작 없이 해당 페이지에서 보이는 정보만으로 크롤링이 가능하기 때문에

 

언어 번역 결과 사이트에 대한 크롤링은 '동적 크롤링'을 사용.

왜냐하면 우리가 원하는 번역 결과를 얻으려면 '번역하기' 버튼 등의 클릭 및 동적 이동이 필요하기 때문에

 

저작권 출처 : https://cafe.naver.com/codeuniv