구글서치콘솔 robots.txt에 의해 차단됨 문제 해결 방법

 

 

 

구글서치콘솔 robots.txt에 의해 차단됨 문제 해결 방법

구글 서치 콘솔에서 "robots.txt에 의해 차단됨" 메시지가 나타나는 경우, 이는 robots.txt 파일이 특정 페이지나 사이트의 크롤링을 차단하고 있다는 의미입니다. 이 문제를 해결하기 위한 방법 알려드립니다.

구글서치콘솔 robots.txt에 의해 차단됨

 

 

1. 'robots.txt' 파일 확인

사이트의 robots.txt 파일을 직접 확인합니다. 웹 브라우저에서 https://yourdomain.com/robots.txt와 같이 사이트 주소 뒤에 /robots.txt를 붙여 파일 내용을 확인할 수 있습니다. 특정 페이지나 디렉토리가 차단되어 있는지 파악합니다.

 

 

2. 차단된 경로 식별

Disallow: 지시문을 찾아보세요. 이 지시문은 구글봇이 접근하지 못하도록 설정한 경로를 나타냅니다.

Disallow 확인

구글봇이 접근해야 하는 중요한 페이지가 Disallow:에 포함되어 있는지 확인합니다.

 

3. robots.txt 수정

구글봇이 크롤링해야 하는 페이지가 차단된 경우, 해당 경로의 Disallow: 지시문을 제거합니다.

Disallow 지시문 제거

구글봇이 중요한 페이지를 크롤링할 수 있도록 허용합니다.

 

 

4. 페이지별 설정 확인

robots.txt 파일이 특정 페이지만 차단하고 있는지, 또는 전체 사이트에 대한 크롤링을 차단하고 있는지 확인합니다.

아래와 같은 설정은 전체 사이트를 차단하므로, 필요에 따라 변경해야 합니다.

robots.txt 파일

이 설정을 제거하거나, 필요한 페이지에 대해 Allow: 지시문을 추가합니다.

 

5. robots.txt 테스트 도구 사용

구글 서치 콘솔에서 제공하는 robots.txt 테스트 도구를 사용하여 수정한 파일이 올바르게 작동하는지 확인합니다.

테스트 도구에 URL을 입력하고, 해당 URL이 차단되지 않도록 설정되었는지 확인하세요.

 

 

6. 사이트맵 업데이트

robots.txt 파일을 수정한 후, 사이트맵을 업데이트하여 구글봇이 사이트의 모든 중요 페이지를 크롤링할 수 있도록 합니다.

사이트맵은 구글에게 중요한 페이지를 알려주는 중요한 역할을 합니다. robots.txt에서 허용된 페이지들이 사이트맵에 포함되어 있는지 확인합니다.

 

 

7. 색인화 요청

수정된 robots.txt 파일을 적용한 후, 구글 서치 콘솔에서 색인화 요청을 다시 진행합니다.

구글이 업데이트된 robots.txt 파일을 반영하여 사이트를 재크롤링하고 색인화할 수 있도록 합니다.

 

8. 캐시 삭제 및 변경 사항 확인

서버에서 캐시를 삭제하여 robots.txt 파일의 변경 사항이 즉시 반영되도록 합니다.

브라우저 캐시를 지우고, robots.txt 파일을 다시 확인하여 최신 상태인지 확인합니다.

 

 

9. 결과 모니터링

구글 서치 콘솔에서 "URL 검사" 도구를 사용하여 수정된 페이지가 이제 크롤링되고 있는지 확인합니다.

구글봇이 차단 없이 사이트를 크롤링하고, 페이지가 정상적으로 색인화되는지 확인합니다.

 

위의 단계를 따라 robots.txt 파일에 의해 차단된 문제를 해결하면, 구글봇이 중요한 페이지를 정상적으로 크롤링하고 색인화할 수 있게 됩니다.

 

 

robots.txt에 의해 차단됨

 

[생활·정보] - 구글서치콘솔 현재 색인이 생성되지 않음 문제 해결 방법

구글서치콘솔 현재 색인이 생성되지 않음 문제 해결 방법

[생활·정보] - 구글서치콘솔 다른 4xx 문제로 인해 차단됨 문제 해결 방법

구글서치콘솔 다른 4xx 문제로 인해 차단됨 문제 해결 방법

[생활·정보] - 구글서치콘솔 리디렉션이 포함된 페이지 문제 해결 방법

구글서치콘솔 리디렉션이 포함된 페이지 문제 해결 방법

[생활·정보] - 구글서치콘솔 적절한 표준 태그가 포함된 대체 페이지 문제 해결 방법

구글서치콘솔 적절한 표준 태그가 포함된 대체 페이지 문제 해결 방법

[생활·정보] - 구글서치콘솔 찾을 수 없음(404) 문제 해결 방법

구글서치콘솔 찾을 수 없음(404) 문제 해결 방법