| 검색 엔진 인덱싱 | → 크롤러의 가장 흔한 사용 예입니다. 구글이나 네이버 같은 검색엔진이 웹사이트를 돌아다니며 내용을 수집하고, 검색 결과에 빠르게 보여줄 수 있도록 ‘웹 지도(인덱스)’를 만드는 과정이에요.(예: 구글봇이 블로그 글을 찾아 검색 결과에 등록함) | | --- | --- | | 웹 아카이빙 | → 나중에 참고하거나 보존하기 위해 웹페이지를 모아두는 것입니다. 정부기관, 도서관, 연구기관 등에서 시간이 지나 사라질 수도 있는 웹 콘텐츠를 저장해요.(예: 국립중앙도서관이 뉴스 기사나 공공기관 홈페이지를 주기적으로 저장함) | | 웹 마이닝 | → 웹에서 수집한 데이터를 분석해 패턴이나 통계, 트렌드를 찾아내는 작업이에요. 쇼핑몰 상품 후기, SNS 게시글, 뉴스 기사 등을 긁어와 사람들이 어떤 제품을 좋아하는지, 어떤 주제가 인기 있는지 분석할 수 있습니다.(예: 트위터 글을 분석해 유행어를 찾는 것) | | 웹 모니터링 | → 인터넷에 올라온 정보를 실시간으로 살펴보는 용도입니다. 기업은 크롤러를 이용해 자사 브랜드가 언급된 글을 찾거나, 저작권 침해나 위조상품을 감시할 수 있어요.(예: 한 회사가 ‘자사 로고를 무단으로 쓰는 사이트’를 자동으로 찾아내는 경우) |