Optimasi Anggaran Perayapan

Pendahuluan

Pada modul ini Anda akan mempelajari cara mengoptimalkan anggaran perayapan (crawl budget) agar Googlebot fokus merayapi halaman yang benar-benar penting bagi ranking situs Anda.

Semakin besar situs Anda, semakin krusial kemampuan mengelola crawl budget agar halaman prioritas cepat ditemukan, diindeks, dan diperbarui.

Dengan panduan ini Anda akan belajar cara:

  • Menghapus crawl waste (penyia-nyiaan perayapan).
  • Mengoptimalkan internal linking untuk memprioritaskan halaman bernilai tinggi.
  • Mengkonfigurasi robots.txt, sitemap, dan parameter.
  • Menurunkan server load agar Googlebot mau merayapi lebih banyak halaman.

Prasyarat / Alat yang Dibutuhkan

  • Google Search Console (Wajib).
  • Screaming Frog / Ahrefs / Sitebulb (opsional namun sangat direkomendasikan).
  • Akses ke CMS & file robots.txt.
  • Pengetahuan dasar internal linking.

Langkah-langkah Utama

1. Identifikasi Pemborosan Crawl Budget (Crawl Waste)

Instruksi Detail

  1. Cek halaman yang di-crawl tetapi tidak diindeks.
    • Masuk ke GSC → Indexing → Pages → Crawled – currently not indexed.
      (Visual Hint: Grafik daftar halaman “Crawled Not Indexed”)
  2. Kelompokkan penyebab umum crawl waste:
    • Parameter URL (?sort=, ?color=, ?ref=)
    • Halaman duplikat
    • Variasi filter produk
    • Tag WordPress berlebihan
    • Halaman pagination tidak penting
  3. Tandai halaman yang tidak perlu dirayapi.
    • Buat daftar “Noindex/Disallow Target List”.

💡 Tips:
Semakin banyak halaman tidak penting, semakin sedikit Google merayapi halaman penting.

2. Blokir Halaman Tidak Penting Menggunakan Robots.txt & Meta Robots

Instruksi Detail

  1. Blokir halaman yang tidak perlu perayapan melalui robots.txt.
    • Contoh: Disallow: /tag/ Disallow: /filter/ Disallow: /*?sort=
    • (Visual Hint: Tampilan editor robots.txt)
  2. Gunakan meta robots noindex,follow untuk halaman yang harus bisa dirayapi tapi tidak diindeks.
    • Contoh:
      • /checkout/
      • /thank-you/
      • /cart/
  3. Jangan blokir halaman via robots.txt jika sudah menggunakan noindex.
    • Google harus bisa merayapi halaman untuk membaca tag noindex.

⚠️ Peringatan Penting:
Jangan pernah memblokir halaman produk/kategori utama tanpa sengaja. Kesalahan ini bisa menghancurkan peringkat.

3. Optimalkan Kualitas Internal Linking untuk Prioritas Perayapan

Instruksi Detail

  1. Tingkatkan internal link menuju halaman paling penting (money pages).
    • Hubungkan dari:
      • Sidebar
      • Homepage
      • Artikel blog populer
  2. Pastikan halaman deep-level memiliki minimal 3 internal link masuk.
  3. Hilangkan internal link menuju halaman low-value.
    • Contoh:
      • Tag pages
      • Parameter
      • Arsip tanggal (WordPress)
  4. Gunakan anchor text yang jelas dan kontekstual.

(Visual Hint: Ilustrasi panah internal link menuju halaman prioritas)

💡 Tips:
Halaman dengan internal link kuat akan lebih sering dirayapi dan diindeks.

4. Kurangi Parameter, Filter, dan Duplikasi URL

Instruksi Detail

  1. Crawling menggunakan Screaming Frog → cari URL duplikat.
    • (Visual Hint: Kolom “Duplicate” pada Screaming Frog)
  2. Gunakan canonical untuk halaman filter produk.
    • Contoh:
      • Canonical → halaman kategori utama.
  3. Jika parameter tidak penting → blokir via robots.txt.
  4. Jika parameter penting → gunakan canonical + URL Parameters (GSC legacy).

⚡ Tips:
Duplikasi URL adalah penyebab paling umum crawl waste pada e-commerce.

5. Optimalkan Sitemap Agar Google Hanya Merayapi Halaman Bernilai

Instruksi Detail

  1. Pastikan sitemap hanya berisi halaman:
    • Sudah 200 OK
    • Tidak noindex
    • Tidak canonical ke halaman lain
  2. Bagi sitemap menjadi beberapa grup (opsional):
    • /sitemap-products.xml
    • /sitemap-articles.xml
    • /sitemap-categories.xml
  3. Hapus URL non-prioritas dari sitemap.
  4. Submit sitemap di Google Search Console.

(Visual Hint: Halaman “Sitemaps” di GSC dengan beberapa file sitemap)

💡 Tips:
Semakin bersih sitemap Anda, semakin cerdas Google merayapi situs Anda.

6. Tingkatkan Kecepatan Server & Waktu Respons

Crawl budget sangat dipengaruhi oleh server health.

Instruksi Detail

  1. Pastikan server menghasilkan Time to First Byte (TTFB) < 300 ms.
  2. Gunakan CDN (Cloudflare, Fastly, Akamai).
  3. Aktifkan caching:
    • Page caching
    • Object caching
    • Browser caching
  4. Upgrade hosting bila sering terjadi 5xx errors.
    • Google mengurangi perayapan jika server sering error.

(Visual Hint: Grafik TTFB di PageSpeed Insights)

⚠️ Peringatan:
Jika server lambat, Googlebot akan memperlambat crawl rate. Ini berbahaya untuk situs besar.

7. Gunakan Log File Analysis untuk Memantau Perilaku Googlebot

Instruksi Detail

  1. Akses server log (format: access.log).
  2. Filter user-agent: Googlebot.
  3. Identifikasi:
    • Halaman mana yang sering dirayapi.
    • Halaman mana yang jarang dirayapi.
  4. Perbaiki halaman penting yang jarang dirayapi:
    • Tambahkan internal link
    • Naikkan prioritas sitemap
    • Perbaiki kecepatan halaman

(Visual Hint: Tabel log file dengan user-agent Googlebot)

💡 Tips:
Log file adalah “kacamata asli” untuk melihat apa yang Googlebot lakukan di situs Anda.

Ringkasan Kunci

  1. Crawl budget bisa dioptimalkan dengan menghilangkan halaman tidak penting dan duplikat.
  2. Internal linking dan sitemap menentukan halaman yang menjadi prioritas perayapan Googlebot.
  3. Server cepat = crawl rate meningkat = indeksasi lebih cepat.

Tugas Praktis (Latihan)

  1. Audit crawl waste di situs Anda menggunakan GSC + Screaming Frog.
  2. Tandai minimal 20 halaman yang tidak seharusnya diindeks, kemudian tentukan apakah harus:
    • Noindex
    • Canonical
    • Disallow
  3. Buat “Crawl Budget Optimization Plan” berisi 10 tindakan untuk 30 hari ke depan.
  4. Buat template laporan crawl budget versi Google-friendly untuk tim atau klien Anda.
Previous Lesson
Back to Course
Next Lesson