Sitemap XML adalah berkas yang memberi tahu mesin pencari halaman dan berkas mana yang Anda anggap penting, lengkap dengan keterangan kapan terakhir diperbarui. Robots.txt adalah berkas teks di akar domain yang mengatur bagian mana yang boleh dirayapi crawler. Keduanya sering disalahpahami sebagai alat pengaman, padahal fungsinya berbeda dan tidak saling menggantikan.
Kesalahan paling mahal adalah menganggap robots.txt bisa menyembunyikan halaman dari hasil pencarian. Google menyatakan tegas bahwa robots.txt bukan mekanisme untuk mengeluarkan halaman dari Google, dan halaman yang dilarang dirayapi tetap bisa muncul di hasil pencarian tanpa deskripsi bila ada tautan dari situs lain.
Apa Itu Sitemap XML dan Kapan Dibutuhkan
Menurut pengantar sitemap dari Google, sitemap adalah berkas berisi informasi tentang halaman, video, dan berkas lain di situs Anda beserta hubungan di antaranya. Sitemap membantu crawler menemukan URL, tetapi tidak menjamin semua isinya dirayapi dan diindeks.
Situs kecil dengan struktur tautan rapi biasanya tidak membutuhkan sitemap karena semua halaman penting bisa dijangkau dari menu. Sitemap menjadi penting ketika situs berukuran besar, masih baru dan minim tautan eksternal, atau memiliki banyak konten media seperti video dan gambar.
Batas Teknis Sitemap yang Wajib Dipatuhi
- Satu berkas sitemap dibatasi 50 MB tidak terkompresi atau 50.000 URL. Jika melebihi, pecah menjadi beberapa sitemap dan gabungkan lewat sitemap index.
- Berkas harus memakai encoding UTF-8.
- Semua URL harus absolut dan lengkap, bukan path relatif.
- Hanya masukkan URL yang ingin Anda tampilkan di hasil pencarian, yaitu versi kanoniknya.
- Nilai priority dan changefreq diabaikan Google, jadi tidak perlu diisi.
Batas angka di atas berasal dari panduan membangun sitemap Google. Google juga memakai nilai lastmod hanya jika konsisten dan terbukti akurat, misalnya cocok dengan waktu perubahan halaman yang sebenarnya.
Contoh Sitemap XML yang Valid
Berkas berikut cukup untuk situs kecil dengan satu halaman contoh:
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>https://contoh.com/id/blog/panduan-penetration-testing</loc> <lastmod>2026-11-10</lastmod> </url> </urlset>
Perhatikan tiga hal: deklarasi XML di baris pertama, namespace sitemaps.org pada elemen urlset, dan URL absolut di dalam loc. Bila Anda memakai CMS, sitemap biasanya sudah dihasilkan otomatis dan tidak perlu ditulis manual.
Robots.txt: Fungsi Sebenarnya dan Batasannya
Robots.txt berada di akar host, misalnya https://contoh.com/robots.txt, dan hanya satu berkas per host. Aturannya berlaku untuk protocol, host, dan port tempat berkas itu dipasang, sehingga aturan di domain utama tidak otomatis berlaku untuk subdomain. Huruf besar dan kecil berpengaruh karena aturan bersifat case-sensitive.
Berkas ini terdiri dari grup aturan yang dibuka dengan baris User-agent, lalu diikuti Allow dan Disallow. Menurut pengantar robots.txt Google, crawler yang sopan mematuhi aturan ini, tetapi crawler lain belum tentu. Untuk melindungi berkas privat, gunakan proteksi kata sandi, bukan robots.txt.
Ada satu risiko yang sering terlewat: memblokir berkas CSS dan JavaScript. Jika Google tidak bisa mengambil berkas tersebut, pemahaman mesin pencari terhadap halaman menurun. Blokir hanya direktori yang benar-benar tidak penting, seperti halaman admin atau hasil pencarian internal.
Contoh Aturan robots.txt untuk Situs Kursus
User-agent: * Allow: / Disallow: /admin/ Disallow: /keranjang/ Sitemap: https://contoh.com/sitemap.xml
Aturan di atas membuka seluruh situs, menutup dua direktori internal, dan mencantumkan lokasi sitemap. Baris Sitemap harus berupa URL lengkap karena Google tidak menebak varian http, https, atau www.
Jika tujuan Anda mengeluarkan halaman tertentu dari indeks, jangan pakai Disallow. Gunakan tag noindex atau header noindex, lalu pastikan halaman itu tetap bisa dirayapi agar perintahnya terbaca.
Cara Mengirim dan Memverifikasi
Ada dua cara mengirim sitemap: menambahkannya di laporan Sitemaps pada Search Console, atau menuliskan baris Sitemap di robots.txt. Search Console memberi informasi tambahan berupa waktu akses Googlebot dan kesalahan pemrosesan, sehingga lebih mudah dipakai saat mencari masalah.
Untuk robots.txt, gunakan laporan robots.txt di Search Console atau uji berkasnya dengan panduan penulisan robots.txt Google sebelum diterapkan ke produksi. Uji selalu di lingkungan staging lebih dulu, karena satu baris Disallow yang salah bisa menghentikan perayapan seluruh situs dalam hitungan jam.
Kesimpulan
Sitemap XML dan robots.txt adalah dua alat berbeda dengan tujuan berbeda. Sitemap mengusulkan halaman yang penting untuk dirayapi, sedangkan robots.txt mengatur lalu lintas crawler. Tidak satu pun dari keduanya berfungsi sebagai kontrol akses.
Urutan kerja yang aman: pastikan sitemap hanya memuat URL kanonik, letakkan di akar domain, kirim lewat Search Console, lalu uji robots.txt di staging sebelum produksi. Bila situs Anda dikelola lewat WordPress, langkah pengamanan tambahan bisa dibaca pada artikel cara mengamankan website WordPress.
Setiap artikel ditinjau pimpinan praktik yang menangani pekerjaannya sebelum terbit.



