VIPnytt bot

一个易于使用、可扩展的 robots.txt 解析器库，完全支持互联网上的所有指令和规范。

用例:

• 权限检查
• 抓取爬虫规则
• 发现网站地图
• 主机偏好
• 动态URL参数发现
• robots.txt 渲染

优势

(与大多数其他 robots.txt 库相比)

• 自动下载robots.txt 。(可选)
• 集成缓存系统。(可选)
• 抓取延迟处理程序。
• 可用的文档。
• 支持字面上的每一个指令，来自每一个规范。
• HTTP状态代码处理程序，根据谷歌的规范。
• 专用的用User-Agent分析器和组确定器库，以获得最大的准确性。
• 提供额外的数据，如首选主机、动态URL参数、网站地图位置等。
• 支持的协议：HTTP, HTTPS, FTP, SFTP 和 FTP/S.

要求:

• PHP 7.3+ or 8.0+
• PHP extensions:
  • cURL
  • mbstring

安装

The recommended way to install the robots.txt parser is through Composer. Add this to your composer.json file:

安装 robots.txt 解析器的推荐方式是通过 Composer。在你的 composer.json文件中加入以下内容。

{
"require": {
"vipnytt/robotstxtparser": "^2.1"
}
}

然后运行: php composer update

开始使用

基本使用范例

<?php
$client = new vipnytt\RobotsTxtParser\UriClient('http://example.com');
if ($client->userAgent('MyBot')->isAllowed('http://example.com/somepage.html')) {
// Access is granted
}
if ($client->userAgent('MyBot')->isDisallowed('http://example.com/admin')) {
// Access is denied
}

基本方法的一个小节选

<?php
// Syntax: $baseUri, [$statusCode:int|null], [$robotsTxtContent:string], [$encoding:string], [$byteLimit:int|null]
$client = new vipnytt\RobotsTxtParser\TxtClient('http://example.com', 200, $robotsTxtContent);
// Permission checks
$allowed = $client->userAgent('MyBot')->isAllowed('http://example.com/somepage.html'); // bool
$denied = $client->userAgent('MyBot')->isDisallowed('http://example.com/admin'); // bool
// Crawl delay rules
$crawlDelay = $client->userAgent('MyBot')->crawlDelay()->getValue(); // float | int
// Dynamic URL parameters
$cleanParam = $client->cleanParam()->export(); // array
// Preferred host
$host = $client->host()->export(); // string | null
$host = $client->host()->getWithUriFallback(); // string
$host = $client->host()->isPreferred(); // bool
// XML Sitemap locations
$host = $client->sitemap()->export(); // array

以上只是一个基本的尝试，还有一大堆更高级和/或专门的方法，几乎可以用于任何目的。请访问小抄以了解技术细节。

请访问文档以了解更多信息。