GTV - Robot.txt là một dạng text chứa các câu lệnh để điều hướng cho các robot tìm kiếm của các công cụ tìm kiếm được phép và không được phép Index nội dung nào trên website. Robots.txt là một trong những yếu tố quan trọng trong việc tối ưu SEO Blogspot.
Vậy cấu trúc file Robot.txt nào là chuẩn nhất cho một trang blog?
Nói chuẩn nhất thì nói chung thôi, chứ thật ra file Robot.txt sẽ tùy vào chủ ý của chủ blog mà cho phép hay không cho phép index những nội dung nào.
Đây là file robot.txt đầy đủ nhất:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Disallow: /search
Disallow: /*?updated-max=*
Disallow: *archive.html
Sitemap: https://blogcuaban/feeds/posts/default?orderby=UPDATEDSitemap: https://www.gocthuvi.net/sitemap.xml
– Dòng Allow:/ tức là cho phép bot có thể index tất cả nội dung trên trang web.
– Disallow: /search , được dùng khi bạn không muốn bot index các labels của blogspot. Tuy nhiên, nếu nội dung tốt và có code chuẩn SEO cho các Label, thì ngại ngùng gì mà chặn index nó chứ. Các bạn hãy thử gõ Naruto Coming trên Google Search sẽ thấy Label này của https://tranbadat.info đang ở top 1 ^_^
– 2 disallow còn lại cũng tương tự, chặn cũng ok, không vấn đề gì.
– Còn lại là 2 dòng sitemap, khai báo sitemap cho bot có thể dễ dàng index nội dung. Thay 2 dòng chữ màu xanh bằng đường dẫn blog của bạn nhé.
Cách thêm nội dung vào file robot.txt:
– Vào trang quản trị của blogspot ở địa chỉ: blogger.com
– Vào Cài đặt (Setiings), chọn phần Tùy chọn tìm kiếm (Search Options), và tiến hành chỉnh sửa file robot.txt nhé.
Chúc các bạn có một trang web đẹp và tối ưu SEO cho Google!
