크롤러: 호스팅 서버에 연결할 수 없음 오류 해결 방법

 

구글 애드센스를 사용하다 보면 "크롤러: 호스팅 서버에 연결할 수 없음"이라는 문구를 애드센스 사이트에서 종종 볼 수 있습니다.

 

 

 

 

이 문제는 광고 크롤러가 웹사이트의 콘텐츠에 접근하지 못할 때 발생하며, 광고 게재가 제한되어 수익 손실로 이어질 수 있어 하루 빨리 해결하는 것 수익측면에서 유리합니다. 그래서 오늘은 오류의 원인과 해결 방법을 단계별로 알아보는 시간을 갖겠습니다.

 

 

먼저, 이 오류는 여러 가지 원인으로 발생할 수 있습니다.

서버가 다운되었거나 응답이 느려지는 경우, 네트워크 연결이 불안정한 경우, 웹사이트 구조에 문제가 있는 경우, 또는 robots.txt 파일이 크롤러의 접근을 차단하도록 잘못 설정된 경우가 대표적인 원인입니다.

 

이러한 문제를 확인하고 해결하면 크롤링 오류를 방지할 수 있습니다.

오류를 해결하기 위해 가장 먼저 해야 할 일은 구글 애드센스 크롤러의 액세스 설정을 확인하는 것입니다.

 

구글 애드센스 계정에 로그인한 후, '계정 > 액세스 및 승인 > 크롤러 액세스' 메뉴로 이동하여 '로그인 정보 추가'를 클릭합니다.

여기서 문제가 발생한 페이지의 URL과 로그인 URL을 입력하고, 로그인 방식을 POST로 설정한 뒤 사용자 이름과 비밀번호를 입력합니다.

 

 

 

여기에서 로그인 매개변수는  계정아이디/계정아이디,  계정비번/계정비번 넣어 신청합니다.

 

이를 통해 크롤러가 웹사이트에 접근할 수 있도록 설정할 수 있습니다.

또한, 구글 서치 콘솔을 활용해 문제가 있는 URL을 검사하는 것도 중요한 단계입니다. 서치 콘솔의 'URL 검사 도구'를 사용하여 특정 URL이 색인되지 않았는지 확인하고, 필요한 경우 색인 생성을 요청하면 크롤러가 해당 페이지를 제대로 탐색할 수 있습니다.

 

웹사이트의 설정을 점검하는 것도 필요합니다. robots.txt 파일이 크롤러를 차단하지 않도록 아래와 같은 설정을 확인합니다.

User-agent: *
Allow: /

이와 함께 웹사이트가 정상적으로 작동하는지 확인하고, 잘못된 리디렉션이 없는지 점검해야 합니다.

마지막으로 서버와 네트워크 상태를 점검해야 합니다.

 

서버가 안정적으로 작동하는지 확인하고, 방화벽이나 네트워크 차단 설정이 크롤러의 접근을 방해하지 않는지 살펴봅니다. 문제를 해결한 후에는 보통 1~2일 내에 크롤링이 정상화됩니다.

 

정상화되면 애드센스 대시보드에서 "크롤링됨" 상태로 변경된 것을 확인할 수 있습니다.

이러한 과정을 통해 광고 크롤러가 웹사이트에 정상적으로 접근하도록 하고, 광고 수익 손실을 예방할 수 있습니다.