Google ngừng hỗ trợ chỉ thị noindex trong robot.txt

Các thay đổi đang đến với cách Google hiểu một số chỉ thị không được hỗ trợ trong tệp robot.txt của bạn.

Bắt đầu từ ngày 1 tháng 9, Google sẽ ngừng hỗ trợ các quy tắc không được hỗ trợ và chưa được công bố trong giao thức độc quyền của robot, công ty đã thông báo trên blog Google Webmaster. Điều đó có nghĩa là Google sẽ không còn hỗ trợ các tệp robot.txt với chỉ thị noindex được liệt kê trong tệp.

File robot txt

Vì lợi ích của việc duy trì một hệ sinh thái lành mạnh và chuẩn bị cho các bản phát hành nguồn mở tiềm năng trong tương lai, chúng tôi sẽ rút tất cả các mã xử lý các quy tắc không được hỗ trợ và chưa được công bố (chẳng hạn như noindex) vào ngày 1 tháng 9 năm 2019. Dành cho những người bạn dựa vào noindex Chỉ thị lập chỉ mục trong tệp robot.txt, điều khiển thu thập thông tin, có một số tùy chọn thay thế, công ty cho biết.

Các lựa chọn thay thế là gì? Google liệt kê các tùy chọn sau, những tùy chọn mà bạn có lẽ nên sử dụng:

Dữ liệu từ file Robot txt

(1) Thẻ meta Noindex trong robot: Được hỗ trợ cả trong tiêu đề phản hồi HTTP và HTML, chỉ thị noindex là cách hiệu quả nhất để xóa URL khỏi chỉ mục khi cho phép thu thập thông tin.
(2) 404 và 410 mã trạng thái HTTP: Cả hai mã trạng thái có nghĩa là trang không tồn tại, điều này sẽ loại bỏ các URL như vậy khỏi chỉ mục Google mộc sau khi chúng được thu thập và xử lý.
(3) Bảo vệ mật khẩu: Trừ khi đánh dấu được sử dụng để chỉ ra nội dung đăng ký hoặc trả phí, việc ẩn một trang phía sau thông tin đăng nhập thường sẽ xóa nó khỏi chỉ mục của Google.
. Mặc dù công cụ tìm kiếm cũng có thể lập chỉ mục một URL dựa trên các liên kết từ các trang khác, mà không thấy chính nội dung đó, chúng tôi hướng đến việc làm cho các trang đó ít hiển thị hơn trong tương lai.
(5) Search Console Xóa công cụ URL: Công cụ này là phương pháp nhanh chóng và dễ dàng để xóa URL tạm thời khỏi kết quả tìm kiếm của Google.

Trở thành một tiêu chuẩn. Hôm qua, Google tuyên bố công ty đang làm việc để biến giao thức loại trừ robot thành tiêu chuẩn và đây có lẽ là thay đổi đầu tiên sắp tới. Trên thực tế, Google đã phát hành trình phân tích cú pháp robot.txt như một dự án nguồn mở cùng với thông báo này ngày hôm qua.

Tại sao Google thay đổi ngay bây giờ. Google đã tìm cách thay đổi điều này trong nhiều năm và với việc chuẩn hóa giao thức, giờ đây nó có thể tiến lên phía trước. Google cho biết, Google đã phân tích việc sử dụng các quy tắc robot.txt. Google Google tập trung vào việc xem xét các triển khai không được hỗ trợ của dự thảo internet, chẳng hạn như thu thập dữ liệu chậm trễ, nofollow và noindex. Vì các quy tắc này chưa bao giờ được Google ghi lại, nên việc sử dụng chúng liên quan đến Googlebot rất thấp, Google Google cho biết. Những sai lầm này làm tổn thương các trang web Sự hiện diện của Google trong kết quả tìm kiếm của Google theo cách mà chúng tôi không thể nghĩ là quản trị trang web.

Tại sao chúng ta quan tâm. Điều quan trọng nhất là đảm bảo rằng bạn không sử dụng lệnh noindex trong tệp robot.txt. Nếu là bạn, bạn sẽ muốn thực hiện các thay đổi được đề xuất ở trên trước ngày 1 tháng 9. Ngoài ra, hãy xem liệu bạn đang sử dụng các lệnh nofollow hay crawl-delay và nếu vậy, hãy tìm cách sử dụng phương thức được hỗ trợ thực sự cho các chỉ thị đó trong tương lai.