πŸ€– Robots.txt Generator

Buat file robots.txt untuk mengatur akses crawler search engine ke website Anda.

Aturan #1

Tidak ada path allow

Tidak ada path disallow

πŸ—ΊοΈ Sitemap

Belum ada sitemap ditambahkan.

πŸ“„ Output

User-agent: *

πŸ’‘ Tips

  • β€’ Gunakan * untuk semua bot
  • β€’ Disallow: / menutup seluruh situs
  • β€’ Allow berguna untuk memberi akses ke subfolder di dalam folder blocked