noindex efektif, halaman atau resource tidak boleh diblokir oleh file robots.txt, dan harus dapat diakses oleh crawler. Jika halaman diblokir oleh file robots.txt atau crawler tidak dapat mengakses halaman, crawler tidak akan dapat melihat aturan noindex dan halaman tetap dapat muncul di hasil penelusuran, misalnya jika halaman lain tertaut ke halaman tersebut.Menggunakan Menerapkan noindexAda dua cara untuk menerapkan Anda juga dapat menggabungkan aturan <meta name="googlebot" content="noindex">5 dengan aturan noindex : <meta name="googlebot" content="noindex">7. Tag <meta>Agar semua mesin telusur yang mendukung aturan HTTP/1.1 200 OK (...) X-Robots-Tag: noindex (...)1 dari halaman Anda: <meta name="robots" content="noindex"> Agar web crawler Google saja yang tidak mengindeks halaman: <meta name="googlebot" content="noindex"> Perlu diketahui bahwa beberapa mesin telusur mungkin menafsirkan aturan . Jika menggunakan CMS, seperti Wix, WordPress, atau Blogger, Anda mungkin tidak dapat mengedit HTML secara langsung, atau memilih untuk tidak melakukannya. Sebagai gantinya, CMS Anda mungkin memiliki halaman setelan mesin telusur atau mekanisme tertentu lainnya untuk memberi tahu mesin telusur tentang tag meta. Jika ingin menambahkan tag meta ke situs Anda, telusuri petunjuk tentang mengubah HTTP/1.1 200 OK (...) X-Robots-Tag: noindex (...)1 halaman di CMS (misalnya, telusuri "menambahkan tag meta wix"). Header respons HTTPDaripada tag HTTP/1.1 200 OK (...) X-Robots-Tag: noindex (...)7 dengan nilai noindex atau HTTP/1.1 200 OK (...) X-Robots-Tag: noindex (...)9 dalam respons. Header respons dapat digunakan untuk resource non-HTML, seperti PDF, file video, dan file gambar. Berikut contoh respons HTTP dengan header HTTP/1.1 200 OK (...) X-Robots-Tag: noindex (...)7 yang memerintahkan mesin telusur untuk tidak mengindeks halaman: HTTP/1.1 200 OK (...) X-Robots-Tag: noindex (...) . Mendebug masalah noindexKami harus meng-crawl halaman Anda untuk melihat tag Jika Anda ingin menghapus halaman situs dengan cepat dari hasil penelusuran Google, lihat dokumentasi kami terkait penghapusan. Alasan lainnya adalah karena file robots.txt mungkin memblokir URL dari web crawler Google, sehingga tag tidak dapat dilihat. Untuk membatalkan pemblokiran halaman dari Google, Anda harus mengedit file robots.txt. Anda dapat mengedit dan menguji robots.txt menggunakan alat Penguji robots.txt. Terakhir, pastikan aturan |