Peta Situs, Robots.txt, Kanonik, Hreflang

Pendahuluan

Pada pelajaran ini Anda akan mempelajari cara membangun fondasi SEO teknis yang kuat dengan memahami dan mengonfigurasi empat elemen penting: Peta Situs (Sitemap XML), Robots.txt, Tag Canonical, dan Tag Hreflang.

Keempat komponen ini memastikan mesin pencari dapat merayapi (crawl) situs Anda dengan benar, memahami struktur halaman, memilih versi konten yang tepat, serta menampilkan bahasa/negara yang sesuai untuk pengguna global.

Tanpa konfigurasi yang benar, situs Anda dapat mengalami masalah serius seperti duplikasi konten, halaman tidak diindeks, atau salah menampilkan versi bahasa.

Prasyarat & Alat yang Dibutuhkan

  • Akses ke CMS (WordPress, Shopify, Webflow, atau custom).
  • Akses ke hosting / file manager / FTP (untuk robots.txt).
  • Google Search Console (GSC).
  • Pengetahuan dasar struktur situs.
  • Plugin SEO (jika WordPress): RankMath / Yoast / SEOPress.

Langkah-langkah Utama

1. Buat & Optimalkan Peta Situs XML (Sitemap)

Instruksi Detail

  1. Periksa apakah situs Anda sudah memiliki sitemap.
    • Buka browser dan akses: domainanda.com/sitemap.xml
    • (Visual Hint: Tampilan daftar URL XML dengan struktur <urlset><url>)
  2. Jika belum ada, buat sitemap menggunakan CMS atau generator.
    • WordPress: Aktifkan plugin RankMath → Sitemap Settings → Enable Sitemap.
      • (Visual Hint: Toggle “Enable Sitemap” aktif berwarna biru)
    • Shopify: Sitemap otomatis: domain.com/sitemap.xml
    • Webflow: Project Settings → SEO → Enable Sitemap
  3. Pastikan hanya halaman penting yang masuk sitemap.
    • Sertakan: halaman produk, kategori, artikel, landing page.
    • Hindari: halaman admin, tag, hasil pencarian, halaman berganda.
    • (Visual Hint: Checklist halaman ON/OFF dalam plugin SEO)
  4. Kirim sitemap ke Google Search Console.
    • Login → Indexing → Sitemaps → Add New Sitemap → masukkan URL.
    • (Visual Hint: Input field “Add a new sitemap”)

⚡ Tips Penting:
Selalu pastikan sitemap Anda bersih dari URL 404, redirect, atau noindex.
Sitemap kotor = indeksasi lambat & ranking buruk.

2. Atur Robots.txt untuk Mengontrol Crawling

Instruksi Detail

  1. Cek file robots.txt aktif.
    • Akses: domainanda.com/robots.txt
    • (Visual Hint: File teks dengan aturan User-agent dan Disallow)
  2. Buat atau edit robots.txt.
    • Jika tidak ada, buat file robots.txt di root folder.
    • Contoh file sehat: User-agent: * Allow: / Sitemap: https://domainanda.com/sitemap.xml
  3. Blokir halaman yang tidak perlu dirayapi.
    • Contoh: Disallow: /wp-admin/ Disallow: /cart/ Disallow: /search/
    • (Visual Hint: Editor teks dengan highlight pada baris “Disallow”)
  4. Uji robots.txt menggunakan GSC.
    • GSC → Robots Testing Tool (Legacy).
    • (Visual Hint: Kotak input URL + status “Allowed/Blocked”)

⚠️ Peringatan:
Jangan pernah memblokir / seluruh situs atau folder penting seperti /product/.
Kesalahan robots.txt dapat membuat seluruh situs hilang dari Google.

3. Implementasikan Tag Canonical untuk Hindari Duplikasi Konten

Instruksi Detail

  1. Identifikasi halaman yang berpotensi duplikat.
    • URL dengan parameter (?ref=, ?sort=).
    • Versi HTTP vs HTTPS.
    • Versi dengan/ tanpa trailing slash.
    • (Visual Hint: Tabel daftar URL ganda)
  2. Tambahkan tag canonical ke halaman utama.
    • Tambahkan pada <head>: <link rel="canonical" href="https://domainanda.com/halaman-utama/" />
    • (Visual Hint: Highlight tag canonical di kode HTML)
  3. Gunakan plugin SEO untuk otomatisasi.
    • RankMath → Advanced → Canonical URL.
    • (Visual Hint: Kolom input “Canonical URL”)
  4. Uji canonical di Google Inspect URL.
    • GSC → Inspect URL → Page indexing → Canonical.
    • (Visual Hint: Kotak status “Google-selected canonical”)

💡 Tips:
Setiap halaman hanya boleh punya satu canonical, dan harus menunjuk 1 URL final.

4. Konfigurasikan Hreflang untuk Target Bahasa & Negara

Instruksi Detail

  1. Identifikasi semua versi bahasa atau negara situs.
    • Contoh:
      • example.com/en-us/
      • example.com/en-gb/
      • example.com/id-id/
    • (Visual Hint: Daftar folder bahasa di CMS)
  2. Tambahkan tag hreflang di <head>.
    • Format: <link rel="alternate" href="https://domain.com/en-us/" hreflang="en-us" /> <link rel="alternate" href="https://domain.com/id-id/" hreflang="id-id" /> <link rel="alternate" href="https://domain.com/" hreflang="x-default" />
    • (Visual Hint: Deretan tag hreflang dalam HTML)
  3. Pastikan semua halaman saling “cross-reference”.
    • Halaman A versi EN harus menyebut halaman A versi ID.
    • (Visual Hint: Diagram panah saling terhubung antar versi bahasa)
  4. Gunakan tool validasi hreflang.
    • Aleyda’s Hreflang Checker.
    • Merkle Hreflang Tags Testing Tool.
    • (Visual Hint: Form input URL + hasil validasi)

⚠️ Peringatan Kritis:
Kesalahan hreflang adalah penyebab utama halaman bahasa tampil di negara yang salah.
Selalu pastikan kode bahasa dan kode negara benar (id-id, bukan id-en).

Ringkasan Kunci

  1. Sitemap membantu Google memahami struktur situs & halaman prioritas.
  2. Robots.txt mengontrol akses crawler—kesalahan sedikit dapat fatal.
  3. Canonical & Hreflang memastikan Google menampilkan versi halaman yang benar.

Tugas Praktis (Latihan)

  1. Periksa sitemap situs Anda dan bersihkan minimal 5 URL yang tidak perlu.
  2. Edit robots.txt untuk menambahkan Sitemap: dan menghapus baris yang berpotensi memblokir halaman penting.
  3. Pasang canonical URL pada 3 halaman yang berpotensi duplikat.
  4. Jika situs Anda multilingual, konfigurasikan hreflang untuk minimal 2 versi bahasa.

Previous Lesson
Back to Course
Next Lesson