日本のサイト248件中23件、robots.txtは許可でもAIクローラーには403

Trancoの日本のサイト300件を2026-10-07に確認。普通に読めた248件のうち23件で、robots.txtが許可しているAIクローラーのUser-Agentに403。内訳、形の違い、確かめ方、限界。