Apa itu Robots.txt Dan Cara Settingnya

Robots.txt merupakan salah satu komponen penting untuk mengatur isi konten halaman situs dan menc...
Penulis
Admin
Kategori
Website
Estimasi
3 menit baca
Dilihat
573
Posting
23 Jul 2022
Apa itu Robots.txt Dan Cara Settingnya Robots.txt merupakan salah satu komponen penting untuk mengatur isi konten halaman situs dan mencegah URL yang bersifat private terindeks kedalam mesin pencari. Selain itu banyak manfaat dengan menggunakan Robots.txt pada website salah satunya optimasi pada SEO. Apa itu Robots.txt Dan Cara Settingnya
2022-11-25

Apa sudah ada yang tau dengan robots.txt? mungkin bagi yang belum mengenal dengan file yang satu ini, kali ini kita akan membahas pengertian dari robot txt itu sendiri dan bagaimana cara mengkonfigurasikan dengan website kalian.

Pengertian Robots.txt penting digunakan untuk website, file ini berfungsi untuk melarang dan memperbolehkan bot crawler untuk merayapi isi dari website kita. Alasan kenapa kita mengatakan robot txt optional karena untuk menentukan akses dari bot crawler itu sendiri bisa menggunakan meta tag pada halaman website, contoh:

<meta name="robots" content="index, follow"/>

 

Untuk kalian yang memiliki website untuk keperluan blog maupun e-commerce pribadi, kita sarankan untuk menggunakan robots.txt dalam konfigurasi isi halaman website kalian. File ini digunakan dalam mengoptimasi SEO, pengindeksan Google, optimasi website dan masih banyak lagi.

 

Pengertian Dan Cara Setting Robots.txt

 

 

1. Apa itu Robots.txt

Robots txt sendiri merupakan file text yang berisi informasi mengenai struktur kode untuk memberitahu mesin pencari dalam melakukan crawler pada halaman website. Kita sebagai pemilik website akan menggunakan robots txt dalam menentukan halaman mana saja yang tidak ingin kita lakukan indexing pada Google. Misalnya, halaman admin atau halaman penting lainnya.

Jika kita tidak melakukan pencegahan terhadap isi dari konten website kita, akan sangat berbahaya jika link yang seharusnya tersembunyi malah ikut terindex oleh google.

Oleh karena itu peran Robots txt disini sangat penting untuk mencegah hal tersebut terjadi. Menurut saran dari Google, file ini diharuskan berada didalam root directory pada website untuk mempermudah bot dalam membaca file tersebut, misalnya: https://www.example.com/robots.txt

 

2. Mengenal struktur dalam Robots.txt

Untuk mengenal lebih jauh, kita juga harus tahu apa isi dari kode robots txt tersebut, contoh isi kode dari file tersebut kira-kira seperti ini:

User-agent: *
Allow: /
Disallow: /admin

Sitemap: https://www.contoh.com/sitemap.xml

Seperti yang kita lihat terdapat 4 elemen yang digunakan yaitu User-agent, Allow, Disallow dan Sitemap.

1. User-agent

User-agent merupakan nama dari bot mesin pencari yang diperbolehkan untuk merayapi website kalian, tanda wildcard menandakan semua bot dapat merayapi halaman web. Namun kalian juga bisa menggunakan ini dengan spesifik, contoh:

User-agent: Googlebot

2. Allow

Lalu selanjutnya adalah Allow, Allow sendiri adalah perintah kepada bot pencari dalam melihat isi halaman situs dalam url tertentu. Tanda slash sendiri adalah memberitahu bahwa semua halaman web boleh diindex kedalam mesin pencari. 

3. Disallow

Disallow merupakan kebalikan dari Allow, yang berarti pelarangan dalam perayapan bot pencari untuk melakukan indexing. Disallow biasa digunakan untuk menentukan halaman mana saja yang tidak ingin kita lakukan indexing oleh Mesin pencari, misalnya halaman admin, category, tags, search dll. Contoh penggunaannya:

Disallow: /admin
Disallow: /kategori

4. Sitemap

Sitemap merupakan kode perintah untuk menentukan alamat dari dokumen xml sitemap kalian. Google sendiri mengatakan penggunakan ini optional, kalian bisa menggunakannya atau tidak. Contoh penggunaannya:

Sitemap: https://example.com/sitemap.xml

Ada satu elemen lainnya yang terdapat pada file ini, yaitu crawl delay.

5. Crawl Delay

Crawl delay sendiri adalah kita sebagai pemilik situs mengatur kecepatan kepada bot mesin pencari ketika melakukan crawling. Dan Crawl delay bersifat optional, tidak digunakan pun tidak masalah.

 

Pengertian Dan Cara Setting Robots.txt

Source: wpbeginner.com

 

3. Manfaat menggunakan Robots.txt

Penggunaan robots.txt ini sangat penting untuk blog, situs maupun e-commerce yang memiliki halaman yang banyak. Untuk situs yang tidak memiliki halaman yang begitu banyak, sebenarnya tidak menggunakan ini tidak masalah, namun kita sarankan untuk menggunakannya, kenapa?

Setidaknya terdapat beberapa manfaat yang bisa dirasakan, diantaranya 

  • Hal ini dapat mencegah server mengalami overload
  • Mencegah konten duplikat pada halaman situs
  • Mencegah halaman situs yang strict atau private tidak terindex dalam SERP.

 

4. Lalu apa perbedaan Robots.txt dan Meta tag robots

Robots.txt dan meta tag robots adalah dua hal berbeda, robots.txt menjangkau keseluruhan situs dalam memanage halaman situs dan lebih spesifik dalam konfigurasi pengindexan, sementara meta tag robots hanya digunakan dalam satu halaman saja dan hanya menggunakan index, follow atau noindex, nofollow (disesuaikan dengan kebutuhan).

Itu berarti meta tag robot harus mengatur satu persatu halaman pada situs yang akan diindex atau tidak. Namun secara fungsionalitas, keduanya sama-sama memiliki peranan penting dalam berkomunikasi dengan bot mesin pencari dan SEO.

 

Penutup

Penggunaan robots.txt dapat mempengaruhi beberapa aspek seperti pengindexan, pencegahan konten yang duplikat, SEO dan lainnya. File ini juga akan memberikan arahan kepada bot agar tidak salah ambil konten dalam situs. Jika situs kalian menggunakan Wordpress, mungkin kalian tidak akan mengalami kesulitan dalam menggunakannya karena sudah ada plugin khusus untuk menanganinya. 

Share