Tìm Hiểu Thẻ META Robots Và Tập Tin Robots.txt

Có đôi lúc chúng ta không muốn spider/robot thu thập những thông tin không cần thiết hoặc không muốn “show” những thông tin nào đó trong website, vậy chúng ta phải làm sao? Bài viết này sẽ thảo luận về chủ đề này.

Có 2 cách để ngăn chặn robot thu thập thông tin của website. Đầu tiên, đặt thẻ META Robots vào trong phần HEAD của tập tin HTML (trang nào có chèn thẻ META robots thì chỉ trang đó mới ảnh hưởng). Cách thứ 2 là viết ra một tập tin đặc biệt được gọi là robots.txt và đặt nó vào thư mục gốc của website.

Robots thực sự có ích từ khi các SE công bố chỉ thu thập giới hạn một số trang của webiste để đánh chỉ mục, từ đó, Robots được ứng dụng để tránh cho các robot thu thập những trang chưa tối ưu hoặc những thông tin không muốn trình bày. Ngoài ra, robots cũng được dùng trong các trường hợp trùng lắp nội dung để tránh các robot đánh chỉ mục nội dung trùng lặp.

Cuối cùng, các webmaster muốn loại bỏ nội dung của những thư mục riêng tư, bí mật, … trên website.

Thẻ META Robots

Thẻ META robots là một thẻ bên trong mã HTML có tác dụng điều hướng những robot thu thập thông tin những trang nên đánh chỉ mục và những trang nên loại trừ của một website.

Trong mã HTML của một trang web bất kỳ, thẻ META Robots sẽ xuất hiện như sau:

“index” có nghĩa là các robot thu thập thông tin được phép đánh chỉ mục trang này và “follow” có nghĩa là cho phép các robot dựa vào những liên kết trên trang hiện tại để khám phá các trang khác có liên quan đến trang này.

Bạn có thể hướng dẫn các robot không đánh chỉ mục một trang bất kỳ nếu chuyển content=”noindex, follow” hoặc content=”noindex, nofollow”. “follow” và “nofollow” là cho phép hoặc không cho phép các robot dựa vào những liên kết trên trang hiện tại để khám phá thêm các trang liên quan.

Thẻ META Robots phải được đặt trong phần HEAD của mã HTML. Một vài SE không hỗ trợ thẻ này mà chỉ hỗ trợ Robots Exclusion Protocol.

Googlebot và MSNBot

Các spider/robot của Google được gọi là Googlebot, các spider/robot của MSN được gọi là MSNBot. Khi đọc trang HTML của bạn, những robot này xem xét thẻ META đặc biệt là META Googlebot và META MSNBot. Hai thẻ này có ý nghĩa trong việc webmaster không có quyền truy cập vào thư mục gốc để áp dụng tập tin robots.txt, lúc đó, webmaster sẽ bổ sung 2 thẻ này vào các tập tin HTML để đáp ứng nhu cầu của mình.

Cú pháp như sau:

Bạn có thể dùng kết hợp “noindex”, “nofollow”, “noarchive” hoặc “nosnippet” trong thuộc tính content. “nosnippet”, “noarchive” sẽ thông báo với Google rằng không trình bày snippet của trang trong các trang kết quả tìm kiếm (SERP) và không lưu trữ bản sao của trang web.

Cú pháp khi dùng MSNBot:

MSNBot chỉ có 2 câu lệnh “noindex” và “nofollow”.

Robots Exclusion Protocol (tập tin robots.txt)

Robots Exclusion Protocol thường được gọi là tập tin robots.txt, đây là một phương pháp khác để cho phép chúng ta chỉ dẫn các robot thu thập thông tin như đã nói ở trên.

Khi một robot viếng thăm website, đầu tiên, nó sẽ kiểm tra sự tồn tại của tập tin robots.txt trong thư mục gốc của website, nếu có tập tin robots.txt, nó sẽ làm theo những chỉ dẫn được định nghĩa trong tập tin này.

Tập tin robots.txt sẽ có những thông tin như định dạng sau:

User-agent: *
Disallow: /

Tập tin này luôn có 2 trường, trường thứ nhất là tên của các robot, trường thứ 2 là thư mục hoặc các thư mục không cho phép các robot thăm viếng.

“*” có nghĩa là tất cả các robot và “/” có nghĩa là tất cả URL và điều này có nghĩa là ngăn chặn tất cả các robot cho bất kỳ URL nào.

Sau đây là một ví dụ, ví dụ này cho chúng ta biết là Googlebot sẽ không bị bất kỳ giới hạn nào.

User-agent: Googlebot
Disallow:

Hoặc không giới hạn với Googlebot, nhưng giới hạn thư mục cgi-bin với các robot còn lại.

User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /cgi-bin/

Một số ý kiến về tập tin robots.txt

1/ Tên tập tin robots.txt phải luôn là chữ thường ngay cả khi website của bạn được đặt trên những server không phân biệt hoa – thường như Windows.
2/ Ký tự đại diện chỉ được dùng trong User-agent, ngoài ra không được hỗ trợ bởi các SE ngoại trừ Google (xem thêm tại địa chỉ http://google.com/webmasters/).
3/ Các chức năng của website không bị ảnh hưởng bởi việc có hay không có tập tin robots.txt hoặc tập tin này là rỗng. Tuy nhiên, với một vài server và một vài robot, thì điều này có thể gây ra lỗi 404, vì thế luôn luôn có tập tin robots.txt.
4/ Mỗi tên miền chỉ có một tập tin robots.txt duy nhất và nó phải được đặt trong thư mục gốc của tên miền đó.
5/ Nếu bạn không có quyền truy cập hay hiệu chỉnh tập tin robots.txt, hãy sử dụng thẻ META Robots.
6/ Dùng chữ thường khi đặt tên tập tin robots.txt.

Để có thông tin đầy đủ hơn về tập tin robots.txt và cách sử dụng, vui lòng truy cập vào http://www.robotstxt.org/wc/norobots.html