개발바닥

Wget을 알아보기에 앞서 크롤링에 대해서 간단하게 정의하고 시작하겠습니다. 크롤링이란? 웹 페이지의 하이퍼링크를 순회하면서 웹 페이지를 다운로드하는 작업입니다. 보통 우분투에서 Wget으로 크롤링을 합니다. Wget이란? GNU Wget은 HTTP 통신 또는 FTP 통신을 사용해 서버에서 파일 또는 콘텐츠를 다운로드할 때 사용하는 소프트웨어입니다. Wget의 특징은 크롤링 기능입니다. 여러 파일을 한 번에 다운로드하거나 웹 페이지의 링크를 순회하며 여러 콘텐츠를 자동으로 다운로드할 수 있습니다. 우분투에서 Wget 설치 하기 아래 두 명령어를 입력하시면 됩니다. 테스트 해보기 웹사이트에 올라와져 있는 사진을 다운로드 해보겠습니다. 명령어를 입력하시면 홈 디렉토리에 main_img_v.jpg라는 파일이 ..