seo에 대해서 검색하다보니까 크롤링이라는 단어가 많이 보였다.
그래서 찾아보았다.
크롤링(Crawling) 또는 스크래핑(Scraping)으로 혼동해서 쓰는 경우가 많이 있다고 한다.
크롤링은 개인 혹은 단체에서 필요한 데이터가 있는 웹페이지의 구조를 분석하고 파악하여 긁어옵니다. 여기서 긁어온다는 의미는 모두 그대로 가져오는 것을 말합니다. 이것은 데이터를 추출한다로 설명할수 있으며 크롤링이라는 행위를 하는 소프트웨어(혹은 프로그램)를 크롤러(Crawler)라고 부릅니다.
웹 크롤링이란 웹상의 정보들을 탐색하고 수집하는 작업을 의미합니다. 인터넷에 존재하는 방대한 양의 정보를 사람이 일일히 파악하는 것은 불가능한 일입니다. 때문에 규칙에 따라 자동으로 웹 문서를 탐색하는 컴퓨터 프로그램, 웹 크롤러(Crawler)를 만들었습니다.
크롤러는 인터넷을 돌아다니며 여러 웹 사이트에 접속합니다. 그리고 페이지의 내용과 링크의 복사본을 생성하여 다운로드하고 요약본을 만듭니다. 그리고 검색 시 유용한 정보만을 노출하도록 검색 색인을 붙이죠. 이는 도서관에서 책을 찾기 위해 도서의 주제, 제목 등에 따라 분류 기준을 구성하는 것과 비슷한 작업입니다.
일련의 과정이 다소 어렵게 들리지만, 검색 포털을 떠올리면 쉽게 이해할 수 있습니다. 우리는 필요한 정보가 있을 때, 구글이나 네이버 등을 이용합니다. 검색창에 키워드를 입력하면 해당 포털의 URL을 지닌 페이지뿐만 아니라 외부 사이트 링크도 본문의 요약본과 함께 노출되는 것을 확인할 수 있습니다. 이러한 웹 페이지 목록 화면은 검색 엔진이 웹 크롤러가 수집한 데이터에 검색 알고리즘을 적용하여 정보를 추출해낸 결과입니다.
참고한 블로그
'개인공부 > 개발용어공부' 카테고리의 다른 글
| Webpack(웹팩) (0) | 2023.11.23 |
|---|---|
| 번들링???? (1) | 2023.11.23 |