Cara Mengunakan Robot.txt

Menggunakan robots.txt dengan efektif

Selamat Datang Di panduan Belajar Admob Di Artikel Tentang SEO.

Batasi perayapan jika tidak diperlukan dengan robots.txt

File "robots.txt" memberi tahu mesin telusur apakah dapat mengakses kemudian merayapi bagian situs Anda (1). File ini, yang harus dinamai "robots.txt", ditempatkan di direktori akar situs Anda (2).

Anda mungkin tidak ingin laman tertentu dari situs Anda dirayapi karena laman tersebut mungkin tidak berguna bagi pengguna jika ditemukan sebagai bagian dari hasil mesin telusur.  Jika Anda ingin mencegah mesin telusur merayapi laman Anda, Alat Webmaster Google memiliki pembuat robots.txt untuk membantu Anda membuat file ini. Perhatikan bahwa jika situs Anda menggunakan subdomain dan Anda ingin laman tertentu tidak dirayapi pada subdomain tertentu, Anda harus membuat file robots.txt terpisah untuk subdomain tersebut. Untuk informasi selengkapnya tentang robots. txt, sebaiknya Anda membaca panduan Pusat Bantuan Webmaster tentang menggunakan file robots.txt ini.

(1) Semua bot mesin telusur yang patuh (ditandai dengan simbol pengganti *) seharusnya tidak mengakses dan merayapi konten dengan /images/ atau URL apa pun yang jalurnya dimulai dengan /search.

Terdapat beberapa cara lain untuk mencegah konten muncul di hasil penelusuran, seperti menambah "NONINDEX" ke tag meta robots Anda, menggunakan .htaccess pada direktori yang dilindungi kata sandi, dan menggunakan Alat Webmaster Google untuk menghapus konten yang telah dirayapi. Insinyur Google Matt Cutts menjelaskan satu per satu hal-hal yang perlu diperhatikan pada setiap metode pemblokiranURL  dalam sebuah video yang membantu.

 

(2) Alamat file robots.txt kita.

Baca Juga Artikel : 
Dasar Belajar SEO

Cara Meningkatkan Stuktur Website
Cara Memudahkan Navigasi
Cara Membuat Konten Berkualitas

Cara Membuat Tautan Yang Lebih Baik
Cara Mengoptimalkan Penggunaan Gambar
Cara Menggnakan Tag Heading

Gunakan metode yang lebih aman untuk konten yang sensitive

Jangan merasa aman begitu saja saat menggunakan robots.txt untuk mencekal materi yang sensitif atau rahasia. Salah satu alasan adalah mesin pencari masih dapat memberi referensi URL yang Anda blokir (hanya menunjukkan URL, tidak ada judul atau snippet) jika ternyata ada tautan ke URL itu di Internet (seperti catatanperujuk). Tidak hanya itu, mesin telusur yang tidak patuh atau sembarangan yang tidak mengakui Robots Exclusion Standard dapat mengabaikan instruksi dari robots.txt Anda. Terakhir, pengguna yang ingin tahu dapat memeriksa direktori atau subdirektori pada robots.txt Anda dan menebak URL dari konten yang Anda tidak ingin perlihatkan. Mengenksipsi konten atau melindunginya dengan kata sandi dengan .htaccess merupakan alternatif yang lebih aman.

Hindari :

memungkinkan laman mirip hasil penelusuran untuk dirayapi   -  pengguna tidak suka meninggalkan satu laman hasil penelusuran dan membuka laman hasil penelusuran lain yang tidak menambahkan nilai yang signifikan bagi mereka membiarkan terbentuknya URL sebagai hasil dari layanan proxy untuk dirayapi.

Catatan :

Standar Pengecualian Robot (Robots Exclusion Standard) Sebuah konvensi untuk mencegah perayap/spider web yang bekerja sama, misalnya Googlebot, mengakses semua atau sebagian situs web yang dapat dilihat oleh publik.

Layanan proxy Sebuah komputer yang mengganti sambungan jika ada jaringan internal dan jaringan eksternal yang tersambung, atau perangkat lunak yang memiliki fungsi untuk tujuan ini.

Baca Juga Artikel :

Apa Itu Admob ?

Cara Daftar Admob

Iklan Admob

Google Develover