Mọi trang web đều dựa vào Google ở một mức độ nào đó. Rất đơn giản: các trang của bạn được Google lập chỉ mục, điều này giúp mọi người có thể tìm thấy bạn. Đó là cách mà mọi thứ được vận hành.
Tuy nhiên, không phải lúc nào cũng vậy. Nhiều trang không bao giờ được Google lập chỉ mục.
Nếu bạn làm việc với một trang web, đặc biệt là một trang web lớn, bạn có thể nhận thấy rằng không phải mọi trang trên trang web của bạn đều được lập chỉ mục và nhiều trang phải đợi hàng tuần trước khi Google lựa chọn.
Nhiều yếu tố khác nhau góp phần vào vấn đề này và đa phần trong số đó là những yếu tố tương tự liên quan đến xếp hạng – chất lượng nội dung và liên kết là hai ví dụ. Đôi khi, những yếu tố này cũng rất phức tạp và kỹ thuật. Trước đây, các trang web hiện đại phụ thuộc nhiều vào công nghệ web mới thường xuyên gặp phải các vấn đề về lập chỉ mục và thậm chí tình trạng này vẫn còn kéo dài đến bây giờ.
Nhiều người làm SEO vẫn tin rằng chính những thứ kỹ thuật đã ngăn Google lập chỉ mục nội dung, nhưng hoàn toàn không phải. Mặc dù đúng là Google có thể không lập chỉ mục các trang của bạn nếu bạn không gửi các tín hiệu kỹ thuật nhất quán về những trang bạn muốn lập chỉ mục, hoặc nếu bạn không có đủ ngân sách thu thập thông tin, điều quan trọng là bạn phải nhất quán với chất lượng nội dung của mình.
Hầu hết các trang web, dù lớn hay nhỏ, đều có nhiều nội dung cần được lập chỉ mục – nhưng không phải vậy. Và mặc dù những thứ như JavaScript làm cho việc lập chỉ mục trở nên phức tạp hơn, nhưng trang web của bạn có thể gặp phải các vấn đề rắc rối về lập chỉ mục ngay cả khi nó được viết bằng HTML thuần túy. Trong bài này, hãy giải quyết một số vấn đề phổ biến nhất và cách để giảm thiểu chúng.
Lý do tại sao Google không lập chỉ mục các trang của bạn
Các vấn đề hàng đầu khi lập chỉ mục
Các vấn đề lập chỉ mục phổ biến nhất được Google Search Console báo cáo là:
1. “Đã thu thập thông tin – hiện chưa được lập chỉ mục”
Trong trường hợp này, Google đã truy cập một trang nhưng không lập chỉ mục trang đó.
Theo kinh nghiệm của tôi, đây thường là vấn đề chất lượng nội dung. Với sự bùng nổ thương mại điện tử hiện đang diễn ra, chúng ta có thể mong đợi Google sẽ nhanh hơn khi nói đến chất lượng. Vì vậy, nếu bạn nhận thấy các trang của mình “Đã được thu thập thông tin – hiện chưa được lập chỉ mục”, hãy đảm bảo nội dung trên các trang đó có giá trị độc nhất:
– Sử dụng tiêu đề, mô tả độc đáo và sao chép trên tất cả các trang có thể lập chỉ mục.
– Tránh sao chép mô tả sản phẩm từ các nguồn bên ngoài.
– Sử dụng các thẻ canonical để hợp nhất nội dung trùng lặp.
– Chặn Google thu thập dữ liệu hoặc lập chỉ mục các phần chất lượng thấp trên trang web của bạn bằng cách sử dụng tệp robots.txt hoặc thẻ noindex.
2. “Đã khám phá – hiện chưa được lập chỉ mục”
Đây là vấn đề yêu thích của tôi, vì nó có thể bao gồm mọi thứ, từ vấn đề thu thập thông tin đến chất lượng nội dung không đủ. Đó là một vấn đề lớn, đặc biệt là trong trường hợp của các cửa hàng thương mại điện tử lớn và tôi đã thấy điều này áp dụng cho hàng chục triệu URL trên một trang web.
Google có thể báo cáo rằng các trang sản phẩm thương mại điện tử “Đã được khám phá – hiện chưa được lập chỉ mục” vì:
– Vấn đề về ngân sách thu thập thông tin: có thể có quá nhiều URL trong hàng đợi thu thập thông tin và những URL này có thể được thu thập thông tin và lập chỉ mục sau đó.
– Vấn đề về chất lượng: Google có thể nghĩ rằng một số trang trên tên miền đó không đáng để thu thập thông tin và quyết định không truy cập chúng bằng cách tìm kiếm một mẫu trong URL của chúng.
Đối phó với vấn đề này cần một số kiến thức chuyên môn. Nếu bạn phát hiện ra rằng các trang của mình là “Đã khám phá – hiện chưa được lập chỉ mục”, hãy làm như sau:
– Xác định xem có những mẫu trang nào thuộc thể loại này không. Có thể vấn đề liên quan đến một danh mục sản phẩm cụ thể và toàn bộ danh mục không được liên kết nội bộ? Hoặc có thể một phần lớn các trang sản phẩm đang trong hàng đợi để được lập chỉ mục?
– Tối ưu hóa ngân sách thu thập thông tin của bạn. Tập trung vào việc phát hiện các trang chất lượng thấp mà Google dành nhiều thời gian để thu thập thông tin. Các nghi phạm thông thường bao gồm các trang danh mục được lọc và các trang tìm kiếm nội bộ – những trang này có thể dễ dàng có hàng chục triệu trên một trang thương mại điện tử điển hình. Nếu Googlebot có thể tự do thu thập dữ liệu từ chúng, có thể không có tài nguyên để truy cập những nội dung có giá trị trên trang web của bạn được lập chỉ mục trong Google.
3. “Nội dung trùng lặp”
Vấn đề này được đề cập rộng rãi bởi Trung tâm Học SEO Moz. Tôi chỉ muốn chỉ ra ở đây rằng nội dung trùng lặp có thể do nhiều lý do khác nhau, chẳng hạn như:
– Các biến thể ngôn ngữ (ví dụ: ngôn ngữ tiếng Anh ở Vương quốc Anh, Mỹ hoặc Canada). Nếu bạn có một số phiên bản của cùng một trang được nhắm mục tiêu đến các quốc gia khác nhau, một số trang này có thể không được lập chỉ mục.
– Đối thủ cạnh tranh sử dụng nội dung trùng lặp. Điều này thường xảy ra trong ngành thương mại điện tử khi một số trang web sử dụng cùng một mô tả sản phẩm do nhà sản xuất cung cấp.
Bên cạnh việc sử dụng rel = canonical, chuyển hướng 301 hoặc tạo nội dung độc đáo, ta nên tập trung vào việc cung cấp giá trị duy nhất cho người dùng.
Cách kiểm tra mức độ phù hợp chỉ mục của trang web của bạn
Bạn có thể dễ dàng kiểm tra xem có bao nhiêu trang trên trang web của mình chưa được lập chỉ mục bằng cách mở báo cáo Trạng thái lập chỉ mục trong Google Search Console.
Điều đầu tiên bạn nên xem ở đây là số lượng trang bị loại trừ. Sau đó, cố gắng tìm một mẫu – những loại trang nào không được lập chỉ mục?
Nếu sở hữu một cửa hàng thương mại điện tử, hầu hết bạn sẽ thấy các trang sản phẩm chưa được lập chỉ mục. Mặc dù đây luôn là một dấu hiệu cảnh báo, nhưng bạn không thể mong đợi tất cả các trang sản phẩm của mình được lập chỉ mục, đặc biệt là với một trang web lớn. Ví dụ: một cửa hàng thương mại điện tử lớn nhất định có các trang trùng lặp và các sản phẩm hết hạn hoặc hết hàng. Các trang này có thể không đủ chất lượng khiến chúng đứng đầu hàng đợi lập chỉ mục của Google (và đó là nếu Google quyết định thu thập dữ liệu các trang này ngay từ đầu).
Ngoài ra, các trang web thương mại điện tử lớn có xu hướng gặp vấn đề với ngân sách thu thập thông tin. Tôi đã thấy các trường hợp cửa hàng thương mại điện tử có hơn một triệu sản phẩm trong khi 90% trong số đó được phân loại là “Đã khám phá – hiện chưa được lập chỉ mục”. Nhưng nếu bạn thấy rằng các trang quan trọng đang bị loại trừ khỏi chỉ mục của Google, bạn nên chú ý hơn.
Cách tăng xác suất Google lập chỉ mục các trang của bạn
Mỗi trang web đều khác nhau và có thể gặp phải các vấn đề lập chỉ mục khác nhau. Tuy nhiên, sau đây là một số phương pháp hay nhất sẽ giúp các trang của bạn được lập chỉ mục:
1. Tránh các tín hiệu “Soft 404”
Đảm bảo rằng các trang của bạn không chứa bất kỳ thứ gì có thể biểu thị trạng thái soft 404. Điều này bao gồm bất kỳ điều gì từ việc sử dụng “Không tìm thấy” hoặc “Không có sẵn” trong bản sao dẫn đến việc có số “404” trong URL.
2. Sử dụng liên kết nội bộ
Liên kết nội bộ là một trong những tín hiệu chính được Google nhận định rằng một trang nhất định là một phần quan trọng của trang web và xứng đáng được lập chỉ mục. Không để lại các trang đơn lẻ trong cấu trúc trang web của bạn và nhớ đưa tất cả các trang có thể lập chỉ mục vào sơ đồ trang web của bạn.
3. Thực hiện chiến lược thu thập thông tin hợp lý
Đừng để Google thu thập dữ liệu trên trang web của bạn. Nếu quá nhiều tài nguyên được sử dụng để thu thập thông tin từ các phần ít có giá trị hơn trong miền của bạn, có thể dẫn tới việc Google mất quá nhiều thời gian để có được nội dung tốt. Phân tích nhật ký máy chủ có thể cung cấp cho bạn bức tranh đầy đủ về những gì Googlebot thu thập dữ liệu và cách tối ưu hóa nó.
4. Loại bỏ nội dung chất lượng thấp và trùng lặp
Mọi trang web lớn đều có một số trang không được lập chỉ mục. Đảm bảo rằng các trang này không tìm thấy đường vào sơ đồ trang web của bạn và có cơ hội sử dụng thẻ noindex và tệp robots.txt. Nếu bạn để Google dành quá nhiều thời gian cho những phần tồi tệ nhất trên trang web của mình, nó có thể đánh giá thấp chất lượng tổng thể miền của bạn.
5. Gửi tín hiệu SEO nhất quán.
Một ví dụ phổ biến về việc gửi các tín hiệu SEO không nhất quán tới Google là thay đổi các thẻ chuẩn bằng JavaScript. Như Martin Splitt của Google đã được đề cập trong JavaScript SEO Office Hours, bạn không bao giờ có thể chắc chắn Google sẽ làm gì nếu bạn có một thẻ chuẩn trong HTML nguồn và một thẻ khác sau khi hiển thị JavaScript.
Trang web ngày càng lớn
Trong vài năm qua, Google đã có những bước nhảy vọt trong việc xử lý JavaScript, giúp công việc của những người làm SEO trở nên dễ dàng hơn. Ngày nay, ít trường hợp các trang web hỗ trợ JavaScript không được lập chỉ mục vì nền tảng công nghệ mà họ đang sử dụng.
Nhưng liệu chúng ta có thể mong đợi điều tương tự xảy ra với các vấn đề lập chỉ mục không liên quan đến JavaScript không? Tôi không nghĩ vậy.
Internet không ngừng phát triển. Mỗi ngày các trang web mới xuất hiện và các trang web hiện có phát triển.
Google có thể đối phó với thách thức này không?
Câu hỏi cũng thường xuyên được đề cập. Và để trả lời cho vấn đề này, tôi xin trích dẫn lời của Google:
“Google có một số lượng tài nguyên hữu hạn, vì vậy khi đối mặt với số lượng gần như vô hạn nội dung có sẵn trực tuyến, Googlebot chỉ có thể tìm và thu thập 1% phần trăm nội dung đó. Sau đó, trong số nội dung chúng tôi đã thu thập thông tin, chúng tôi chỉ có thể lập chỉ mục một phần. “
Nói cách khác, Google chỉ có thể truy cập một phần của tất cả các trang trên web và lập chỉ mục một phần thậm chí còn nhỏ hơn. Và ngay cả khi trang web của bạn tuyệt vời, bạn nên ghi nhớ điều đó. Google có thể sẽ không truy cập mọi trang trong trang web của bạn, ngay cả khi nó tương đối nhỏ. Công việc của bạn là đảm bảo rằng Google có thể khám phá và lập chỉ mục các trang cần thiết cho doanh nghiệp của bạn.
Hoa Nguyễn – Theo moz.com