Halaman tidak terindeks adalah kondisi ketika Google mengetahui alamat sebuah halaman tetapi memilih tidak memasukkannya ke indeks, sehingga halaman itu tidak bisa muncul di hasil pencarian. Bagi pemilik situs, ini sering terasa seperti kegagalan misterius: halaman ada, bisa dibuka di browser, tetapi tidak ditemukan siapa pun. Kabar baiknya, Google menyediakan laporan yang menyebutkan alasannya secara eksplisit. Artikel ini memandu cara membaca laporan tersebut, mengurutkan penyebab yang paling sering, dan memastikan perbaikan benar-benar diterapkan sebelum meminta perayapan ulang.
Membaca Status di Laporan Pengindeksan
Laporan pengindeksan halaman di Search Console menunjukkan halaman mana yang dapat ditemukan dan diindeks Google, beserta masalah yang ditemui. URL dikelompokkan menurut status, misalnya terindeks, tidak terindeks, dan perlu diperbaiki.
Langkah pertama bukan memperbaiki, melainkan mengelompokkan. Buka setiap kelompok dan lihat contoh URL di dalamnya. Tanyakan tiga hal: apakah halaman ini memang penting, apakah statusnya masuk akal untuk jenis halaman tersebut, dan apakah jumlahnya berubah dibandingkan pemeriksaan sebelumnya. Halaman arsip tanggal, hasil pencarian internal, dan halaman filter biasanya memang tidak perlu diindeks, sehingga status tidak terindeks di sana bukan masalah.
Penyebab yang Paling Sering Ditemui
Dari pengalaman menangani situs kecil hingga menengah, ada empat penyebab yang paling sering muncul dan paling mudah diperbaiki.
- Tag noindex yang tertinggal. Sering terjadi setelah peluncuran ulang templat atau saat menyalin pengaturan dari halaman arsip ke halaman produk.
- Kanonik yang salah arah. Halaman A menyatakan bahwa versi kanonisnya adalah halaman B, sehingga Google mengabaikan A. Ini biasa terjadi pada situs dengan parameter URL atau versi cetak.
- Isi yang sangat tipis atau duplikat. Halaman yang hampir identik dengan halaman lain, atau yang hanya berisi beberapa baris, jarang dipilih untuk diindeks.
- Halaman baru tanpa tautan internal. Tanpa tautan dari halaman lain, perayap sulit menemukan halaman tersebut meski sudah ada di peta situs.
Perhatikan bahwa penyebab pertama dan kedua saling berkaitan dengan cara situs mengelola duplikasi. Penjelasan Google tentang kanonisasi menegaskan bahwa sinyal kanonis bersifat petunjuk, dan sinyal yang saling bertentangan membuat Google memilih sendiri, kadang tidak sesuai harapan Anda.
Memeriksa Satu URL Langkah demi Langkah
Untuk kasus yang penting, jangan menebak. Gunakan inspeksi URL untuk memeriksa satu alamat secara utuh.
- Masukkan URL lengkap, termasuk protokol dan garis miring akhir yang Anda gunakan.
- Periksa hasil pengambilan data langsung. Jika statusnya bukan sukses, masalahnya ada pada server atau pengalihan, bukan pada konten.
- Lihat HTML yang dirender. Pastikan tag noindex tidak muncul, baik dari HTML awal maupun dari skrip.
- Periksa bagian kanonis. Pastikan URL yang dinyatakan kanonis adalah URL itu sendiri, bukan halaman lain.
- Pastikan halaman bisa diakses tanpa login dan tidak diblokir oleh aturan robots.txt.
Jika kelima pemeriksaan itu bersih tetapi halaman tetap tidak terindeks, kemungkinan besar Google menilai halaman tersebut belum cukup bernilai dibandingkan halaman lain di situs Anda. Dalam kondisi ini, menambah isi dan menautkannya dari halaman yang sudah kuat lebih berguna daripada mengirim permintaan berulang.
Setelah Diperbaiki: Meminta Perayapan Ulang
Perbaikan tidak langsung terlihat. Setelah tag noindex dihapus atau kanonis dibetulkan, Google perlu merayapi ulang halaman tersebut. Panduan meminta Google merayapi ulang menjelaskan bahwa permintaan perayapan bisa diajukan melalui inspeksi URL, dan bahwa permintaan itu masuk ke antrean, bukan dieksekusi seketika.
Karena itu, lakukan tiga hal berurutan. Pertama, terapkan perbaikan pada templat agar semua halaman serupa ikut terbantu, bukan hanya satu URL. Kedua, pastikan peta situs memuat URL tersebut dan tidak memuat URL yang sudah dialihkan. Ketiga, ajukan permintaan perayapan untuk beberapa URL perwakilan, bukan seluruh situs sekaligus. Untuk situs dengan ribuan halaman, memperbaiki templat jauh lebih efisien daripada mengirim permintaan satu per satu.
Kapan Halaman Sebaiknya Tidak Diindeks
Tidak semua halaman perlu masuk indeks. Halaman terima kasih setelah pendaftaran, halaman hasil pencarian internal, halaman uji coba, dan halaman dengan isi yang hampir sama biasanya lebih baik dikecualikan. Menjaga indeks tetap bersih membantu Google memfokuskan perayapan pada halaman yang bernilai.
Namun, hati-hati dalam memilih cara mengecualikan. Memblokir perayapan sebuah URL lewat robots.txt dapat membuat Google tidak pernah membaca tag noindex di halaman itu, sehingga URL tetap bisa muncul tanpa deskripsi. Jika tujuan Anda adalah mengeluarkan halaman dari indeks, gunakan noindex dan biarkan halaman tetap bisa dirayapi. Untuk halaman yang memang tidak boleh diakses publik, lindungi dengan autentikasi, bukan hanya dengan pengaturan mesin pencari.
Kesimpulan
Halaman yang hilang dari indeks hampir selalu punya alasan yang bisa dibaca. Mulailah dari laporan pengindeksan, kelompokkan status, periksa satu URL secara menyeluruh, lalu perbaiki pada tingkat templat. Jika situs Anda dikelola dengan sistem manajemen konten populer, langkah pengamanan dasarnya dibahas di panduan mengamankan website WordPress. Untuk memperdalam sisi teknis perayapan dan pengindeksan, lihat program kursus Linuxhackingid.
Setiap artikel ditinjau pimpinan praktik yang menangani pekerjaannya sebelum terbit.



