發布時間：2021-04-12 20:48 作者：獨孤劍 閱讀：2232
robots.txt 文件可以告訴搜索引擎哪些頁面是允許抓取，哪些頁面（目錄）是不允許抓取的，有的時候我們需要搜索引擎只允許抓取我們網站的首頁，其他頁面并不想讓搜索引擎抓取，可以這樣制定規則：
在網站根目錄下創建"robots.txt"
User-Agent: *
Disallow: /*Allow: /index.html
微信打賞, 微信掃一掃
支付寶打賞, 支付寶掃一掃
如果文章對您有幫助，歡迎給作者打賞
