robotstxt(CI框架怎么去掉隐藏入口文件indexphp)

robotstxt，CI框架怎么去掉隐藏入口文件indexphp？

1.

LoadModule rewrite_module modules/mod_rewrite.so，把该行前的#去掉。

搜索 AllowOverride None（配置文件中有多处），看注释信息，将相关.htaccess的该行信息改为AllowOverride All。

2.在CI的根目录下，即在index.php，system的同级目录下，建立.htaccess，直接建立该文件名的不会成功，可以先建立记事本文件，另存为该名的文件即可。内容如下（CI手册上也有介绍）：

RewriteEngine on

RewriteCond $1 !^(index\.php|images|robots\.txt)

RewriteRule ^(.*)$ /index.php/$1 [L]

如果文件不是在www的根目录下，例如我的是：http://localhost/CI/index.php/,第三行需要改写为RewriteRule ^(.*)$ /CI/index.php/$1 [L]。

另外，我的index.php的同级目录下还有js文件夹和css文件夹，这些需要过滤除去，第二行需要改写为：RewriteCond $1 !^(index\.php|images|js|css|robots\.txt)。

3.将CI中配置文件（system/application/config/config.php）中$config['index_page'] = ”index.php”;将$config['index_page'] = ”"; 。

这样就可以了，不过千万记得从启apache。

如上的重定向规则在linux下也可以写成一个.htacess文件。放到网站的根目录。

如果一个网站没有robotstxt文件会怎么样？

搜索引擎通过一种程序“蜘蛛”（又称spider），自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被蜘蛛访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎访问和收录了，或者可以通过robots.txt指定使搜索引擎只收录指定的内容。搜索引擎爬行网站第一个访问的文件就是robots.txt。

文件呢？

其实robots是为有特别情况的站长准备的，因为有些网站，有一些页面是站长不想被任何搜索引擎收录的，所以才有了这个robots文件。

SEO站内优化都包括哪些内容呢？

一、站内优化技巧

站内优化，顾名思义就是指网站内部优化，即网站本身内部的优化，SEO站内优化包括代码和标签优化、内容优化、URL优化。

1、代码优化

为网站减肥可以进行代码优化，代码优化最直接的表现就是用户兼容。现在手机用户飞速增长，即便你的网站页面设置再漂亮，排名再好，若点击之后是错位，那么用户的流失率也会很大，影响后期的转化。除了兼容性，还要考虑些至的、空白符等，这也会影响搜索引擎蜘蛛的体验，

2、提高网站访问速度

网站访问速度也会影响网站优化，你可以通过第三方站长工具来查询网站访问速度，建议大家选择国内数一数二的空间商，虽然贵些， 但安全性、 稳定性还有速度都会有保障，当然也利于搜索引擎优化。

3、网站导航、次导航的优化

有的站长会在网站导航处放上产品展现、 在线留言等内容，我认为这是不要的，在这里插入目标关键词，既便优化，又能为用户提供方便。

4、首页放最新新闻/资讯，更有利于优化

在网站首页放最新新闻或资讯，井定期去更新、当蜘蛛发现最新资讯进场更新，就会更好地去优化。

5、URL优化

静态的URL,不仅用户看得舒服，也很受蜘蛛的青睐， 那么如何判断网页是否是静态的呢?从网址上就可以区分，静态的网址一般是: www.xxx. com/sdds/134.html,而动态的一股会出现“?”，如果网站不是静态的，我们可以做成伪静态。

6、优化层不宜超过四层

一般来说，URL每一个“/”就代表一层，权重越低，层次越深，搜索引擎抓取越困难，排名也会越差。

7、图片优化

图片优化应站在用户视觉、适合蜘蛛抓取等角度来考虑，图片太大或太小都不好。建议图片宽度在500~600像素之间，高300~ 400像素之间，像素1M以内，居中展现。

8、alt尾性优化

上传图片时，会有alt提示，它提示我们可根据文章、目标关键词进行设置，图片也方便蜘蛛识别，在有效增加关键词密度的同时，可使排名更好地展现，还有利于图片优化。

9、文章关键词密度需合理

文章关键词的密度应为2%~8%，插入合理，内容图文并茂。如要了解文章关键词的密度，我们可以借助第三方工具，网上有很多查询网页关键词密度的检测、可以借助图片的"alt" 适当地插入，如密度过大就会被搜索引擎认定为作弊，从而影响排名。

10、高质量的文章，持续的更新

文章的质量要高，最好原创，做不到原创，对文章的修改程度也要大于60%，且做到文章有层次感，段落分明。

文章的更新切勿三天打鱼两天晒网，要持久地坚持下去，若没有那么大的精力，可以找代理公司或制定相关程序。

11、用户体验优化

登录网站后，要给人以舒适之感，即提高用户的体验度，这包括网站的设计、客服以及联系方式的设置，尤其是客户栏目，可多做几个客服、QQ微信，方便用户选择。

12、PV优化、提高用户粘度

PV，即网页浏览量，根据PV可以分析出用户的停留时间，这是衡量用户体验度的重要指标，PV高则说明用户粘度高，PV数据可通过第三方统计工具获取。那么，如何提升PV呢?

除了文章相关的引导性的链接，用户有需要就会点击，或在网站底部加一个扩展阅读。

13、网站友情链接优化

网站的友情链接应控制在50个以内，友情链接可以通过平台、友链群去交换，或者是购买，友情链接最大的作用就是方便蜘蛛抓取，有效的提高排名。

14、网站地图优化

网站地图优化可通过开源程序的插件来实现，网站地图是为蜘蛛而设置的，方便它对我们的数据进行抓取。

15、学会使用404工具

有时我们在优化时会把内链加错或内容删除，这时我们就需要使用404工具进行补救，以挽回用户的流失率。

mcp016是什么东西？

是mcp016的博客，由于该网站的robots.txt文件存在限制指令。

爬虫政府网站的公开数据违法吗？

不违法

对于爬虫这一行为，目前还没有专门的法律对其进行限制。

但目前已经形成了一个行业习惯，网站会在根目录下放一个robot.txt文件，说明哪些允许爬，哪些不允许。但这个文件目前还没有法律约束力。

很多政府网站是不允许爬虫的，主要原因是爬虫会大量耗费服务器资源，这会影响其他正常用户的使用。比如《中国裁判文书网》，目前法律无法约束，为了反爬，网站有一套很全面的反爬机制。