[ChatGPT] robots.txt によるクローリングの制御方法

概要

ChatGPTによるWebサイトへのクローリングを制御したい場合、robots.txtを利用して制御できる。

方法

ChatGPTは、クローリングとユーザーブラウジングのために、2つの別々のユーザーエージェントを持っている。

• GPTBot
• ChatGPT-User

現在、オプトアウトシステムは両方のユーザーエージェントを同じように扱っているので、片方のエージェントに対するrobots.txtの不許可（Disallow）は両方に適用されるようである。

User-agent: GPTBot
Disallow: /

https://platform.openai.com/docs/gptbot

User-agent: ChatGPT-User
Disallow: /

https://platform.openai.com/docs/plugins/bot