Mẫu file robots.txt chuẩn cho website WordPress
Tệp robots.txt tiêu chuẩn cho trang web WordPress – hình minh họa
Để trang web của bạn xuất hiện trên trang kết quả tìm kiếm của Google, nó cần cho phép bot tìm kiếm vào bên trong và thu thập dữ liệu.
Một trong những điều mà các webmaster (sử dụng WordPress) cực kỳ chú trọng, đó là cấu hình tệp robots.txt này cho chuẩn, sao cho hiệu quả thu thập dữ liệu là tốt nhất.
Không chỉ vậy, cấu hình tốt tập tin này sẽ giúp bạn giảm sự phá hoại SEO từ các đối thủ cạnh tranh. Trong bài viết này, mình chia sẻ với các bạn mẫu file robots.txt chuẩn cho website WordPress để áp dụng cho trang mà bạn đang làm việc!
Nội dung
Tệp robots.txt là gì?
Tệp robots.txt chỉ đơn giản là một tệp văn bản thông thường, nó có nhiệm vụ khai báo Google Bots về trang nào được thu thập thông tin và trang nào không được thu thập thông tin.
Theo mặc định, các bot của Google sẽ quét trang web của bạn ngay cả khi bạn không có tệp robots.txt tùy chỉnh. Nhưng sẽ không hiệu quả lắm, vì bot sẽ thu thập dữ liệu tất cả nội dung của bạn, có những thứ không cần index như plugin bạn đang dùng, thư viện nội dung bạn không muốn hiển thị trong kết quả tìm kiếm.
Nơi lưu tệp robots.txt trên WordPress
Khi bạn tạo một trang web WordPress, nó sẽ tự động tạo tệp robots.txt nằm ngay bên dưới thư mục gốc của lưu trữ / máy chủ (thư mục) của bạn public_html trên lưu trữ cPanel).
Ví dụ, nếu trang web của bạn nằm trong thư mục gốc của Hocban.vn, bạn có thể xem tệp robots.txt tại liên kết. Hocban.vn/robots.txtkết quả thường sẽ như thế này, nhưng đôi khi tôi sẽ sửa đổi nó cho phù hợp với tình huống và thời gian:
User-agent: * Disallow: /wp-admin/ Disallow: /readme.html Disallow: /license.txt Disallow: /search/?q=* Allow: /wp-admin/admin-ajax.php Allow: /wp-admin/images/* Sitemap: https://hocban.vn/sitemap_index.xml
Và nếu bạn sử dụng Yoast SEO, bạn không cần phải vào máy chủ để tìm nó mà theo thứ tự sau: Yoast SEO >> Công cụ >> Trình chỉnh sửa tệp >> Robots.txt | Nó hiển thị đầu tiên, bạn có thể chỉnh sửa trực tiếp trong đó và lưu lại.
Tôi khuyến khích bạn nên chỉnh sửa thay vì tạo tệp robots.txt mới | bởi vì tạo lại nó giống nhau, điều quan trọng là nội dung bên trong, còn được gọi là cấu hình hoặc tệp robots.txt tùy chỉnh
Mẫu tệp robots.txt tiêu chuẩn cho WordPress
Như trên các bạn đã thấy template robots.txt của Hocban.vn đang sử dụng rồi, template này mình cũng đã tham khảo nhiều nơi và quyết định sử dụng, bạn cũng có thể lấy về và chỉnh sửa tên miền. cũng như thêm nội dung cần chặn nếu có.
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /readme.html Disallow: /license.txt Disallow: /search/?q=* Disallow: /s/ Disallow: /?s= Disallow: *?replytocom Disallow: */attachment/* Disallow: /refer/ Disallow: /wp-login.php* Disallow: /component/* Allow: /*.js$ Allow: /*.css$ Allow: /wp-admin/admin-ajax.php Allow: /wp-admin/images/* Sitemap: https://hocban.vn/sitemap_index.xml
Trong đó:
- Không cho phép: là khai báo các trang web / đường dẫn chặn thu thập thông tin;
- Cho phép: khai báo những trang / liên kết nào được phép thu thập thông tin;
Nói về chuẩn SEO hay không thì chưa chắc mẫu trên là tốt nhất, tùy từng website mà chúng ta tùy chỉnh cho phù hợp. Template trên là dành cho blog WordPress của mình, mình thấy rất ngon, bạn có thể dùng thử một thời gian để xem kết quả.
Điểm quan trọng là mẫu này sẽ giúp bạn tránh bị lợi dụng ô tìm kiếm của WordPress để tạo liên kết nội bộ bẩn, ảnh hưởng đến SEO của website. Ví dụ: Bên nào muốn phá hoại website của bạn về mặt SEO thì chỉ cần nhập nhiều truy vấn tìm kiếm “bẩn” và nếu bạn không chặn thì trang web của bạn sẽ bị Google đánh giá xấu và tụt hạng về tìm kiếm sau này.
Xác nhận các thay đổi đối với nội dung tệp robots.txt bằng bảng điều khiển tìm kiếm của Google
Điều này rất quan trọng vì nếu sau khi bạn chỉnh sửa tệp robots.txt nhưng không báo cáo nó trong bảng điều khiển tìm kiếm của Google, thì Nó cũng không hoạt động. Vì vậy, bạn phải thực hiện thêm bước này, đây là cách thực hiện:
Bước 1: Sao chép tất cả nội dung trong tệp robots.txt sau khi chỉnh sửa >> mở Trình kiểm tra Robots.txt của bảng điều khiển tìm kiếm của Google và ghi đè lên nội dung đã sao chép ở đó.
Bước 2: Nhìn xuống bạn thấy nút Gửi, bấm vào đó >> bấm tiếp Yêu cầu Google cập nhật là xong.
Nhấp vào yêu cầu cập nhật tệp robots.txt để hoàn tất
Vậy là bây giờ file robots.txt trên host và trên Google search console đã được thống nhất rồi, rất đơn giản phải không nào. Bài viết này tôi chia sẻ dựa trên ứng dụng của tôi để làm cho nó nhanh hơn, nó không phải là cách duy nhất. Nếu bạn có bất kỳ cách nào khác để tùy chỉnh Robots TXT cho nó chuẩn hơn hoặc cách bạn đang sử dụng tệp đó, vui lòng để lại bình luận bên dưới, xin cảm ơn!
4,4 / 5 – (8 phiếu bầu)
Thông tin thêm
#Mẫu #file #robotstxt #chuẩn #cho #website #WordPress
[rule_3_plain]
#Mẫu #file #robotstxt #chuẩn #cho #website #WordPress
File robots.txt chuẩn cho website WordPress – ảnh minh họa
Để website của bạn xuất hiện trên trang kết quả tìm kiếm Google thì nó cần cho bot tìm kiếm đi vào bên trong và thu thập dữ liệu.
Một trong những việc mà webmaster (dùng WordPress) cực kỳ chú trọng, đó là cấu hình file robots.txt này cho chuẩn, để hiệu quả thu thập dữ liệu là tốt nhất.
Không những thế, việc cấu hình file này tốt sẽ giúp bạn giảm bớt sự phá hoại về SEO từ đối thủ. Bài này mình chia sẻ đến bạn Mẫu file robots.txt chuẩn cho website WordPress để áp dụng vào site đang làm nhé !
MỤC LỤC NỘI DUNG1 File robots.txt là gì ?2 Nơi lưu file robots.txt trên WordPress3 Mẫu file robots.txt chuẩn cho WordPress4 Xác nhận đã thay đổi nội dung file robots.txt với Google search console
File robots.txt là gì ?
File robots.txt đơn giản là một file text thông thường, nó có nhiệm vụ khai báo cho Bots Google về những trang nào được thu thập dữ liệu, trang nào thì không.
Mặc định bots Google sẽ quét site của bạn kể cả khi bạn không có tùy chỉnh file robots.txt. Nhưng sẽ không đạt hiểu quả cao, do bots sẽ thu thập toàn bộ nội dung của bạn, có những thứ không cần phải index như plugin đang dùng, các thư viện nội dung bạn không muốn hiển thị trên kết quả tìm kiếm.
Nơi lưu file robots.txt trên WordPress
Khi bạn tạo website WordPress, nó sẽ tự động tạo ra một file robots.txt đặt ngay bên dưới thư mục gốc của hosting/server (thư mục public_html trên hosting cPanel).
Ví dụ: nếu site của bạn đặt trong thư mục gốc của địa chỉ Hocban.vn, bạn có thể xem file robots.txt ở đường dẫn Hocban.vn/robots.txt, kết quả thông thường sẽ như này, tuy nhiên có lúc mình sẽ sửa đổi lại cho phù hợp với hoàn cảnh, thời điểm:
User-agent: *
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/?q=*
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Sitemap: https://hocban.vn/sitemap_index.xml
Còn nếu bạn dùng Yoast SEO thì không cần phải vào host để tìm nó, mà theo trình tự: Yoast SEO >> Tools >> File editor >> Robots.txt | Nó hiển thị ngay đầu tiên luôn, bạn có thể sửa trực tiếp ngay trong đó và lưu lại.
Mình khuyến khích bạn sửa lại thay vì tạo mới file robots.txt | vì tạo lại nó cũng vậy thôi mà, quan trọng là nội dung bên trong, hay người ta còn gọi là cấu hình hay tùy chỉnh file robots.txt
Mẫu file robots.txt chuẩn cho WordPress
Như ở trên bạn đã thấy mẫu robots.txt của Hocban.vn đang sử dụng rồi đấy, mẫu này mình cũng tham khảo ở rất nhiều nơi và quyết định sử dụng nó, bạn cũng có thể lấy nó về và chỉnh sửa lại tên miền cũng như thêm những nội dung cần chặn nếu có.
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/?q=*
Disallow: /s/
Disallow: /?s=
Disallow: *?replytocom
Disallow: */attachment/*
Disallow: /refer/
Disallow: /wp-login.php*
Disallow: /component/*
Allow: /*.js$
Allow: /*.css$
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Sitemap: https://hocban.vn/sitemap_index.xml
Trong đó:
Disallow: là khai báo những trang / đường dẫn chặn thu thập dữ liệu;
Allow: khai báo những trang / đường dẫn cho phép thu thập dữ liệu;
Nói về chuẩn SEO hay chưa thì cũng chưa chắc mẫu trên là nhất, tùy từng website mà mình tùy chỉnh lại cho phù hợp. Mẫu trên dùng cho blog WordPress mình thấy NGON, bạn có thể dùng thử một thời gian để xem thành quả.
Điểm quan trọng là mẫu này sẽ giúp bạn tránh được việc lợi dụng khung tìm kiếm của WordPress để tạo ra các link bẩn nội bộ, gây ảnh hưởng đến vấn đề SEO của website. Ví dụ: Các bên muốn phá hoại website của bạn về mặt SEO thì chỉ cần nhập nhiều truy vấn tìm kiếm “tầm bậy” và nếu bạn không chặn thì site bạn sẽ bị Google đánh giá xấu và rớt tóp tìm kiếm sau đó.
Xác nhận đã thay đổi nội dung file robots.txt với Google search console
Việc này rất quan trọng vì nếu sau khi bạn sửa lại file robots.txt nhưng không báo lại trong Google search console thì cũng chẳng có tác dụng gì. Do đó bạn phải thực hiện thêm bước này nữa, đây là cách thực hiện:
Bước 1: Copy toàn bộ nội dung trong file robots.txt sau khi đã chỉnh sửa >> mở Trình kiểm tra robots.txt của Google search console lên và dán đè nội dung đã copy vào đó.
Bước 2: Nhìn xuống dưới bạn thấy nút Gửi, nhấn vào đó >> nhấn tiếp Yêu cầu Google cập nhật là xong.
Nhấn vào yêu cầu cập nhật file robots.txt để hoàn tất
Như vậy là bây giờ file robots.txt trên host và trên Google search console đã thống nhất với nhau rồi đấy, rất đơn giản đúng không nào. Bài viết này mình chia sẻ dựa trên cách ứng dụng của mình để cho nhanh gọn hơn thôi chứ nó không phải là cách làm duy nhất. Bạn nào có những cách tùy chỉnh Robots TXT cho nó chuẩn hơn nữa hoặc bạn đang sử dụng file đó như thế nào, mời để lại bình luận bên dưới, cảm ơn bạn !
4.4/5 – (8 votes)
window.addEventListener(‘DOMContentLoaded’, function() {
jQuery(document).ready(function( $) {
$.post( ‘https://hocban.vn/wp-admin/admin-ajax.php’, {action: ‘mts_view_count’, id: ‘10976’});
});
});
#Mẫu #file #robotstxt #chuẩn #cho #website #WordPress
[rule_2_plain]
#Mẫu #file #robotstxt #chuẩn #cho #website #WordPress
[rule_2_plain]
#Mẫu #file #robotstxt #chuẩn #cho #website #WordPress
[rule_3_plain]
#Mẫu #file #robotstxt #chuẩn #cho #website #WordPress
File robots.txt chuẩn cho website WordPress – ảnh minh họa
Để website của bạn xuất hiện trên trang kết quả tìm kiếm Google thì nó cần cho bot tìm kiếm đi vào bên trong và thu thập dữ liệu.
Một trong những việc mà webmaster (dùng WordPress) cực kỳ chú trọng, đó là cấu hình file robots.txt này cho chuẩn, để hiệu quả thu thập dữ liệu là tốt nhất.
Không những thế, việc cấu hình file này tốt sẽ giúp bạn giảm bớt sự phá hoại về SEO từ đối thủ. Bài này mình chia sẻ đến bạn Mẫu file robots.txt chuẩn cho website WordPress để áp dụng vào site đang làm nhé !
MỤC LỤC NỘI DUNG1 File robots.txt là gì ?2 Nơi lưu file robots.txt trên WordPress3 Mẫu file robots.txt chuẩn cho WordPress4 Xác nhận đã thay đổi nội dung file robots.txt với Google search console
File robots.txt là gì ?
File robots.txt đơn giản là một file text thông thường, nó có nhiệm vụ khai báo cho Bots Google về những trang nào được thu thập dữ liệu, trang nào thì không.
Mặc định bots Google sẽ quét site của bạn kể cả khi bạn không có tùy chỉnh file robots.txt. Nhưng sẽ không đạt hiểu quả cao, do bots sẽ thu thập toàn bộ nội dung của bạn, có những thứ không cần phải index như plugin đang dùng, các thư viện nội dung bạn không muốn hiển thị trên kết quả tìm kiếm.
Nơi lưu file robots.txt trên WordPress
Khi bạn tạo website WordPress, nó sẽ tự động tạo ra một file robots.txt đặt ngay bên dưới thư mục gốc của hosting/server (thư mục public_html trên hosting cPanel).
Ví dụ: nếu site của bạn đặt trong thư mục gốc của địa chỉ Hocban.vn, bạn có thể xem file robots.txt ở đường dẫn Hocban.vn/robots.txt, kết quả thông thường sẽ như này, tuy nhiên có lúc mình sẽ sửa đổi lại cho phù hợp với hoàn cảnh, thời điểm:
User-agent: *
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/?q=*
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Sitemap: https://hocban.vn/sitemap_index.xml
Còn nếu bạn dùng Yoast SEO thì không cần phải vào host để tìm nó, mà theo trình tự: Yoast SEO >> Tools >> File editor >> Robots.txt | Nó hiển thị ngay đầu tiên luôn, bạn có thể sửa trực tiếp ngay trong đó và lưu lại.
Mình khuyến khích bạn sửa lại thay vì tạo mới file robots.txt | vì tạo lại nó cũng vậy thôi mà, quan trọng là nội dung bên trong, hay người ta còn gọi là cấu hình hay tùy chỉnh file robots.txt
Mẫu file robots.txt chuẩn cho WordPress
Như ở trên bạn đã thấy mẫu robots.txt của Hocban.vn đang sử dụng rồi đấy, mẫu này mình cũng tham khảo ở rất nhiều nơi và quyết định sử dụng nó, bạn cũng có thể lấy nó về và chỉnh sửa lại tên miền cũng như thêm những nội dung cần chặn nếu có.
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/?q=*
Disallow: /s/
Disallow: /?s=
Disallow: *?replytocom
Disallow: */attachment/*
Disallow: /refer/
Disallow: /wp-login.php*
Disallow: /component/*
Allow: /*.js$
Allow: /*.css$
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Sitemap: https://hocban.vn/sitemap_index.xml
Trong đó:
Disallow: là khai báo những trang / đường dẫn chặn thu thập dữ liệu;
Allow: khai báo những trang / đường dẫn cho phép thu thập dữ liệu;
Nói về chuẩn SEO hay chưa thì cũng chưa chắc mẫu trên là nhất, tùy từng website mà mình tùy chỉnh lại cho phù hợp. Mẫu trên dùng cho blog WordPress mình thấy NGON, bạn có thể dùng thử một thời gian để xem thành quả.
Điểm quan trọng là mẫu này sẽ giúp bạn tránh được việc lợi dụng khung tìm kiếm của WordPress để tạo ra các link bẩn nội bộ, gây ảnh hưởng đến vấn đề SEO của website. Ví dụ: Các bên muốn phá hoại website của bạn về mặt SEO thì chỉ cần nhập nhiều truy vấn tìm kiếm “tầm bậy” và nếu bạn không chặn thì site bạn sẽ bị Google đánh giá xấu và rớt tóp tìm kiếm sau đó.
Xác nhận đã thay đổi nội dung file robots.txt với Google search console
Việc này rất quan trọng vì nếu sau khi bạn sửa lại file robots.txt nhưng không báo lại trong Google search console thì cũng chẳng có tác dụng gì. Do đó bạn phải thực hiện thêm bước này nữa, đây là cách thực hiện:
Bước 1: Copy toàn bộ nội dung trong file robots.txt sau khi đã chỉnh sửa >> mở Trình kiểm tra robots.txt của Google search console lên và dán đè nội dung đã copy vào đó.
Bước 2: Nhìn xuống dưới bạn thấy nút Gửi, nhấn vào đó >> nhấn tiếp Yêu cầu Google cập nhật là xong.
Nhấn vào yêu cầu cập nhật file robots.txt để hoàn tất
Như vậy là bây giờ file robots.txt trên host và trên Google search console đã thống nhất với nhau rồi đấy, rất đơn giản đúng không nào. Bài viết này mình chia sẻ dựa trên cách ứng dụng của mình để cho nhanh gọn hơn thôi chứ nó không phải là cách làm duy nhất. Bạn nào có những cách tùy chỉnh Robots TXT cho nó chuẩn hơn nữa hoặc bạn đang sử dụng file đó như thế nào, mời để lại bình luận bên dưới, cảm ơn bạn !
4.4/5 – (8 votes)
window.addEventListener(‘DOMContentLoaded’, function() {
jQuery(document).ready(function( $) {
$.post( ‘https://hocban.vn/wp-admin/admin-ajax.php’, {action: ‘mts_view_count’, id: ‘10976’});
});
});
