robots.txt 生成与检测
按 RFC 9309 判定能否抓取，并生成 robots.txt。
使用说明
- 「生成」页：默认组（通常就是
*）写通用规则，也能单独给 Googlebot / Bingbot 分组。每行一条规则，!开头表示 Allow；Crawl-delay 只写进默认组；Sitemap 每行一个绝对地址。可直接复制或下载 robots.txt。 - 「抓取检测」页：给一个 URL 和一个 UA，判定能不能抓。规则按 RFC 9309 执行 —— 每条 Disallow / Allow 当成前缀匹配，
*匹配任意串、结尾$锁定末尾；多条命中取最长的那条，长度相同时 Allow 胜出，一条都没命中则默认允许。 - 内置两套常用写法：WordPress（额外放行
admin-ajax.php）和彻底禁止抓取。
Disallow 和 noindex 有什么区别？
robots.txt 只阻止抓取，不阻止收录。页面已被抓过、或有外链时仍可能出现在结果里（只是没有摘要）。要去掉收录得靠 <meta name="robots" content="noindex"> 或 X-Robots-Tag，且必须在能被抓到的页面上才生效。
Allow 和 Disallow 冲突时听谁的？
比较路径长度，最长的那条生效；长度相同则 Allow 优先。所以 Disallow: /admin/ 配 Allow: /admin/public/ 能放行后者。
支持正则吗？
不支持。只有 *（任意字符序列）和结尾的 $（路径结尾）两个通配符，例如 Disallow: /*.pdf$ 只挡 .pdf 结尾的地址。