Parsero包装说明

Parsero是一个免费的脚本，用Python编写的读取Web服务器的robots.txt文件，着眼于不允许的条目。在不允许条目告诉什么托管在Web服务器上的目录或文件不能被索引的搜索引擎。例如，“不允许：/门/登录”意味着，在www.example.com/portal/login~~V它的内容是不允许被像谷歌，必应爬虫索引，雅虎......这就是这样，管理员必须不共享敏感或私人信息的搜索引擎。 但有时这些路径输入了不允许项是由用户不使用的搜索引擎，只需访问URL和路径，有时候他们不向任何人可以访问直接访问......因为真的是常见的管理员写大量不允许的，其中一些是可用的，其中有些是没有，你可以使用Parsero以检查每个不允许进入的HTTP状态代码，以便自动检查这些目录都可用。 而且，事实上，管理员写一个robots.txt，它并不意味着键入的Dissallow条目的文件或目录不会被冰，谷歌，雅虎...被索引出于这个原因，Parsero能够在冰搜索到的找到没有网络管理员授权收录的内容。 Parsero将检查的HTTP状态代码以相同的方式为每个秉结果。 资料来源：https://github.com/behindthefirewalls/Parsero

Parsero首页 | 卡利parsero回购

• 作者：哈维尔·涅托

• 许可：GPL第二版

  0x01 包含在parsero包工具

  parsero - robots.txt的审计工具 ```bash

  :~# parsero -h

| \ __ | |) / _` | '/ |/ _ \ '/ \ | __/ (| | | _ \ __/ | | () | || __,|| |__/_|| \/ usage: parsero [-h] [-u URL] [-o] [-sb] optional arguments: -h, --help show this help message and exit -u URL Type the URL which will be analyzed -o Show only the "HTTP 200" status code -sb Search in Bing indexed Disallows

## 0x02  parsero用法示例
搜索结果从一个网站 *（-u www.bing.com）* 
使用必应收录不允许 *（-sb）：* 

```bash

 :~# parsero -u www.bing.com -sb
____
| _ \ __ _ _ __ ___ ___ _ __ ___
| |_) / _` | '__/ __|/ _ \ '__/ _ \
| __/ (_| | | \__ \ __/ | | (_) |
|_| \__,_|_| |___/\___|_| \___/
Starting Parsero v0.75 (https://github.com/behindthefirewalls/Parsero) at 06/09/14 12:48:25
Parsero scan report for www.bing.com
http://www.bing.com/travel/secure 301 Moved Permanently
http://www.bing.com/travel/flight/flightSearchAction 301 Moved Permanently
http://www.bing.com/travel/css 301 Moved Permanently
http://www.bing.com/results 404 Not Found
http://www.bing.com/spbasic 404 Not Found
http://www.bing.com/entities/search 302 Found
http://www.bing.com/translator/? 200 OK
http://www.bing.com/Proxy.ashx 404 Not Found
http://www.bing.com/images/search? 200 OK
http://www.bing.com/travel/hotel/hotelSearch 301 Moved Permanently
http://www.bing.com/static/ 404 Not Found
http://www.bing.com/offers/proxy/dealsserver/api/log 405 Method Not Allowed
http://www.bing.com/shenghuo 301 Moved Permanently
http://www.bing.com/widget/render 200 OK

原文来自:https://www.hackfun.org/kali-tools/parsero_zh.html。转载请注明原出处，商用请联系原作者授权。