知乎分心操做治码干扰必应/google等爬虫 看起去确凿是停止内容被抓与实习AI – 蓝面网
今日诰日蓝面网提到实用户反映反映称操做微硬必应搜查战google搜查收现存正在良多知乎治码内容，停止即搜查下场里知乎内容的内容问题下场战批注内容皆概况是治码的，但抓与的实习批注前里一些段降内容可能同样艰深审查。
思考到此前知乎已经屏障除了baidu战搜狗以中的蓝面残缺搜查引擎爬虫 (蜘蛛 / 机械人)，蓝面网料念知乎理当是知乎治码念经由历程治码去干扰搜查引擎战其余爬虫，停止那些搜查引擎战爬虫抓与知乎内容拿往实习家养智能模子。分心
那类料念目下现古根基已经坐真，操做虫由于有网友收现惟独用户代取代庖署理字符串 (UserAgent) 中收罗蠕动做物闭头词好比 spider 战 bot，干扰那末知乎便会返回治码内容，假如不收罗那些闭头词则返回同样艰深内容。
蓝面网也妨碍了测试复现了那类情景，好比 [蓝面网 – 出有蜘蛛] 那个代取代庖署理字符串可能隐现同样艰深内容，而 [蓝面网 – 出有蜘蛛 – spider] 便会隐现治码内容。
值患上看重的是蓝面网借测试了baidu搜查的爬虫也即是 Baiduspider 也返回治码内容，那那岂不是影响baidu抓与吗？那个也可能经由历程足艺足腕处置，即处事器为baidu爬虫提供了特意的索引通讲远似黑名单，可能随意抓与任何不受限的内容。那类格式借可能用去坚持某些恶意抓与者冒充baidu爬虫去抓与内容，因此从网站角度去讲也是个不错的提防格式。
测试中借有个幽默的情景是 OpenAI 的 GPT 爬虫也即是 GPTBot 无意偶尔间不会治码无意偶尔间会治码，不中小大少数情景下也皆是治码的，由于 UA 立室到了闭头词 bot 所从前往治码内容，那不太概况是知乎约莫愿 OpenAI 抓与内容。
从最后步知乎屏障其余搜查引擎只许诺baidu战搜狗到必应搜查下场里隐现治码内容战目下现古的闭头词立室，那些情景根基讲明了知乎确凿不希看自己的内容被抓与，对于知乎去讲现有的内容是个宏大大的金矿，假如家养智能公司不花钱去购的话那确定不能提供那些数据，以是接上来可能某个光阴便会传出某某公司与知乎告竣战讲可能患上到内容用于 AI 模籽实习。
测试1：同样艰深浏览器UA可能返回细确内容
测试2：测试 test-bing-bot 命中闭头词 bot 返回治码内容
测试3：测试 test-google-spider 命中闭头词 spider 返回治码
测试4：测试 蓝面网-出有蜘蛛 已经命中闭头词返回同样艰深内容
测试5：测试 蓝面网-出有蜘蛛-有个锤子的-spider 由于命中闭头词返回治码
测试6：测试 蓝面网-出有蜘蛛-有个锤子的-bot由于命中闭头词返回治码
测试7：GPTBot命中闭头词但不测出有治码，那类情景隐现的多少率极低，小大部份借是治码
测试8：baiduspider由于命中闭头词也治码
测试9：那是baidu爬虫渲染的残缺UA
测试10：GPTBot小大少数光阴也是治码的
本文地址：http://paris.mingxinwrite.net/html/07b44499548.html
版权声明
本文仅代表作者观点，不代表本站立场。
本文系作者授权发表，未经许可，不得转载。