Googlebot의 UA 패턴 문제로 인해 사이트 인덱싱이 실패했다는 경험담.
저자는 geo-gate, 연령 확인, 국가별 벽을 가진 웹사이트의 Googlebot 접근 허용 규칙이 잘못될 수 있음을 경고합니다. 새로운 도메인 noctias.tv를 Search Console에서 검증하는 과정에서 모든 URL 검사가 실패했으며, 'noindex 태그로 인한 제외'라는 메시지만 나왔습니다. 이는 Google의 URL 검사 도구가 Googlebot UA가 아닌 Google-InspectionTool을 사용하기 때문입니다. 이를 통해 다른 사이트들도 같은 문제를 겪고 있을 수 있다는 점을 공유합니다.
An experience of site indexing failure due to a Googlebot UA pattern issue.
The author warns that rules allowing Googlebot through for sites with geo-gates, age verification, or country-specific walls may be incorrect. While verifying the new domain noctias.tv in Search Console, every URL inspection failed, showing a message about exclusion by a 'noindex' tag. This happens because Google's URL Inspection Tool uses Google-InspectionTool instead of the Googlebot UA. The author shares this experience in hopes of helping others who may be silently facing the same issue.