Home > 備忘録 > Apache に関すること > ロボットの巡回拒否( 85 )

robots.txtの書き方

robots.txtの具体例

1. すべてのロボットの巡回拒否

[root@server]# vi /htmlのディレクトリ/robots.txt
User-agent: *	←すべてのロボット対象に
Disallow: /	←/を巡回拒否

2. 一部のディレクトリのみ巡回拒否

[root@server]# vi /***/***/html/robots.txt
User-agent: *	←すべてのロボット対象に
Disallow: /css	←/cssを巡回拒否

3. あるファイルのみ巡回拒否

[root@server]# vi /htmlのディレクトリ/robots.txt
User-agent: *			←すべてのロボット対象に
Disallow: /kyoto/hasisita.html	←/kyoto/hasisita.htmlを巡回拒否

4. 検索エンジン毎に巡回拒否

[root@server]# vi /htmlのディレクトリ/robots.txt
User-agent: Googlebot	←Googleロボットを対象に
Disallow: /		←/を巡回拒否




[root@server]# vi /htmlのディレクトリ/robots.txt
User-agent: Slurp	←Yahoo!検索エンジンのクローラーを対象に
Disallow: /		←/を巡回拒否

5. 複雑な巡回拒否

[root@server]# vi /htmlのディレクトリ/robots.txt
User-agent: Slurp	←Yahoo!検索エンジンのクローラーを対象に
Disallow: /tokyo	←/tokyoを巡回拒否
Disallow: /osaka	←/osakaを巡回拒否

User-agent: *		←すべてのロボット対象に
Disallow: /kyoto	←/kyotoを巡回拒否