Crawling (hay còn gọi là web crawling hoặc spidering) là quá trình tự động duyệt qua các trang web trên internet bằng các chương trình máy tính, như bot (Googlebot) hoặc spider. Mục đích để thu thập dữ liệu từ các trang web. Để cập nhật và lưu trữ trong cơ sở dữ liệu của công cụ tìm kiếm.
Đối với Google:
Google phát hiện ra các trang web mới bằng cách Crawling dữ liệu trang web và sau đó họ thêm các trang đó vào Index của Google. Họ làm điều này bằng cách sử dụng Webspider có tên là Googlebot.
Qúa trình Crawling hoạt động như thế nào?
Quá trình crawling bắt đầu bằng việc chọn một trang web gốc (thường là trang chủ) và sau đó theo dõi các liên kết trên trang này để truy cập vào các trang web khác. Bot sẽ duyệt qua các trang web, thu thập thông tin về nội dung, liên kết, cấu trúc và các yếu tố khác của trang. Đối với mỗi trang web mà bot duyệt qua, nó cũng sẽ kiểm tra xem trang đã được index trước đó chưa và cập nhật thông tin mới nếu cần thiết.
Quá trình crawling diễn ra tự động và liên tục để đảm bảo cơ sở dữ liệu của công cụ tìm kiếm luôn được cập nhật với các thông tin mới nhất từ internet. Các công cụ tìm kiếm như Google sử dụng các thuật toán phức tạp để quyết định trang nào được ưu tiên trong quá trình crawling, tùy thuộc vào mức độ quan trọng, tần suất cập nhật và chất lượng của trang.
Crawling là một bước quan trọng trong quy trình tìm kiếm và đánh giá nội dung của công cụ tìm kiếm. Quá trình này cho phép công cụ tìm kiếm hiểu về cấu trúc và nội dung của các trang web, từ đó xây dựng cơ sở dữ liệu để hiển thị kết quả tìm kiếm phù hợp với người dùng.
Crawling vs Indexing
Crawling (Duyệt web):
- Crawling là quá trình mà các công cụ tìm kiếm sử dụng để tìm kiếm và thu thập thông tin từ các trang web trên internet.
- Trong quá trình crawling, các "web crawler" (còn được gọi là "bot" hoặc "spider") được gửi ra để duyệt qua các trang web và thu thập dữ liệu từ chúng.
- Các web crawler theo dõi các liên kết trên trang web để tiếp tục duyệt qua các trang khác.
- Mục đích chính của crawling là thu thập thông tin về các trang web, bao gồm nội dung, cấu trúc trang, liên kết và các yếu tố khác.
Indexing (Cấu trúc dữ liệu):
- Indexing là quá trình mà các công cụ tìm kiếm sử dụng để xử lý và lưu trữ thông tin về các trang web mà đã được thu thập từ quá trình crawling.
- Trong quá trình indexing, các thông tin thu thập được từ crawling (như nội dung, từ khóa, liên kết) được xử lý và lưu trữ trong cơ sở dữ liệu của công cụ tìm kiếm.
- Chỉ mục (index) là bộ dữ liệu chứa thông tin về các trang web, cho phép công cụ tìm kiếm tra cứu và trả về kết quả tìm kiếm phù hợp với truy vấn của người dùng.
- Mục đích chính của indexing là tạo ra một cơ sở dữ liệu có cấu trúc để tìm kiếm nhanh chóng và chính xác các trang web phù hợp với yêu cầu tìm kiếm của người dùng.