迅睿開(kāi)源框架是一款PHP8高性能·簡(jiǎn)單易用的PHP開(kāi)源開(kāi)發(fā)框架， 基于MIT開(kāi)源許可協(xié)議發(fā)布，不限制商業(yè)使用，以多端互聯(lián)為設(shè)計(jì)理念， 支持的微信公眾號(hào)、小程序、APP客戶端、移動(dòng)端網(wǎng)站、PC網(wǎng)站等多終端式管理系統(tǒng)。
業(yè)務(wù)經(jīng)理
微信掃描以上二維碼
028-61286886
技術(shù)咨詢
用迅睿做的一般企業(yè)站，網(wǎng)址已經(jīng)做偽靜態(tài)了，robots.txt 哪些目錄是不能限制抓取的？我可以把所有目錄都限制抓取嗎？
這個(gè)沒(méi)有強(qiáng)制的規(guī)定，按具體站點(diǎn)來(lái)定，建議使用chinaz工具來(lái)生成一個(gè)
開(kāi)源是一種精神，但不是義務(wù)，幫忙是情分，不幫也不要抱怨，建議大家多研究代碼、多閱讀代碼、多翻閱社區(qū)歷史問(wèn)題！
這東西就是一個(gè)君子協(xié)議，一般只有大的搜索引擎會(huì)遵守，比如百度（但是也是會(huì)有抓取的情況）對(duì)于第三方來(lái)說(shuō)，卵用沒(méi)的
回復(fù)@知憶
明白人，現(xiàn)在百度都不遵守robotstxt協(xié)議了
我好幾個(gè)客戶用我的站群插件，本身主站禁止了robots，百度偏要去爬主站
robots.txt 不需要設(shè)置了，沒(méi)有作用的，不像以前的seo了
回復(fù)@小波工作室--標(biāo)簽和API大師 你說(shuō)能通過(guò)修改火車(chē)頭的發(fā)布文件來(lái)實(shí)現(xiàn)一個(gè)后臺(tái)發(fā)布多站點(diǎn)數(shù)據(jù)不
回復(fù)@知憶 當(dāng)然可以，需要修改發(fā)布入庫(kù)腳本，需要安裝我開(kāi)發(fā)的多站同步數(shù)據(jù)的插件
回復(fù)@小波工作室--標(biāo)簽和API大師 數(shù)據(jù)肯定不能同步的，對(duì)優(yōu)化不好我指的是將數(shù)據(jù)不重復(fù)的發(fā)布到各站點(diǎn)
這年頭根本不需要這個(gè)文件了，很多搜索引擎是不講武德的
這個(gè)沒(méi)有強(qiáng)制的規(guī)定，按具體站點(diǎn)來(lái)定，建議使用chinaz工具來(lái)生成一個(gè)
開(kāi)源是一種精神，但不是義務(wù)，幫忙是情分，不幫也不要抱怨，建議大家多研究代碼、多閱讀代碼、多翻閱社區(qū)歷史問(wèn)題！
這東西就是一個(gè)君子協(xié)議，一般只有大的搜索引擎會(huì)遵守，比如百度（但是也是會(huì)有抓取的情況）對(duì)于第三方來(lái)說(shuō)，卵用沒(méi)的
回復(fù)@知憶
明白人，現(xiàn)在百度都不遵守robotstxt協(xié)議了
我好幾個(gè)客戶用我的站群插件，本身主站禁止了robots，百度偏要去爬主站
robots.txt 不需要設(shè)置了，沒(méi)有作用的，不像以前的seo了
回復(fù)@小波工作室--標(biāo)簽和API大師 你說(shuō)能通過(guò)修改火車(chē)頭的發(fā)布文件來(lái)實(shí)現(xiàn)一個(gè)后臺(tái)發(fā)布多站點(diǎn)數(shù)據(jù)不
回復(fù)@知憶 當(dāng)然可以，需要修改發(fā)布入庫(kù)腳本，需要安裝我開(kāi)發(fā)的多站同步數(shù)據(jù)的插件
回復(fù)@小波工作室--標(biāo)簽和API大師 數(shù)據(jù)肯定不能同步的，對(duì)優(yōu)化不好我指的是將數(shù)據(jù)不重復(fù)的發(fā)布到各站點(diǎn)
這年頭根本不需要這個(gè)文件了，很多搜索引擎是不講武德的