Pernah mendengar yang namanya Robot.txt dan penasaran cara menggunakan ke website kamu? Kebanyakan website memiliki file robot.txt begitu juga WordPress yang memiliki file Robots WordPress. Pada post kali ini, saya akan coba membahas mengenai file Robots WordPress.
Apa Itu File Robots WordPress?
Sebelum kita berbicara mengenai file Robots WordPress, penting untuk mengenal istilah ‘robots’ yang ada di dalam website. Robots merupakan salah satu tipe bots yang mengunjungi semua website yang ada di intersnet, salah satu contohnya adalah crawler search engine seperti miliki Google. Bots ini akan mengunjungi semua website dan membantu search engine seperti Google Search mengindeks website kita di engine milik mereka dan memberikan ranking.
Secara umum bots merupakan hal yang baik bagi website kita, atau bisa dibilang dibutuhkan. Tetapi mungkin tidak semua halaman website kamu ingin dikunjungi bots agar tidak diindeks seperti halaman login misalnya. File robot.txt ini memiliki fungsi untuk mengontrol bagaimana bots berinteraksi dengan website kita. Kita bisa memblokir bots secara keseluruhan, atau membatasi akses ke beberapa halaman website tertentu.
Kenapa Setiap Website Harus Mempertimbangkan Memiliki File Robot.txt?
File robot.txt yang disusun dengan sangat baik memiliki dua keuntungan utama:
- Mengoptimalkan proses crawl search engine, dengan memberitahu mereka untuk tidak menghabiskan waktu pada halaman web yang memang kita tidak ingin indeks. Hal ini akan membantu search engine fokus pada halaman yang paling diandalkan oleh kita.
- Mengoptimalkan penggunaan server, dengan memblokir bots yang akan membuang sia-sia resource server yang kita gunakan.
Cara Membuat File Robots WordPress
Yang paling mudah untuk membuatnya adalah dengan menggunakan plugin yang bernama Yoast SEO. Download dan instal plugin ini, yang memiliki fitur utama adalah untuk meningkatkan SEO dari website WordPress kita.
Setelah selesai instal Yoast SEO, segera aktifkan. Lalu sekarang di halaman dashboard WordPress ada pilihan baru SEO. Klik menu tersebut dan pilih menu Dashboard di bawahnya. Kemudian di layar sebelah kanan klik Features, selanjutnya aktifkan “Advanced settings pages.”
Sekarang menu di bawah SEO menjadi lebih banyak, sekarang pilih Tools, selanjutnya di layar sebelah kanan klik File editor. Jika belum memiliki file robots.txt, Yoast akan memberikan pilihan untuk membuatkannya.
Setelah mengklik tombol “Create robots.txt file,” kamu bisa mengedit konten dari file Robots.tct. Disallow untuk memblokir halaman tertentu, allow untuk mengijinkan. Seperti contoh dibawah.
Bagi kamu yang sedang mencari hosting, Jakartawebhosting.com menyediakan WordPress Hosting, dengan kecepatan dan stabilitas pusat data dan server yang baik, up time server 99,9%, team support yang siap membantu 24 jam dan biaya langganan yang menarik.