크롤러 오류 해결방법 [티스토리 구글 애드센스]

광고 크롤러 오류 해결방법 [티스토리 구글 애드센스] 

 

 

근래들어 구글 애드센스에서 오류들이 자주 발생하는 것 같습니다.

최근 ads.txt에 관한 오류가 나와 수정을 했는데, 그 내용은 아래 링크를 확인해 주시기 바랍니다.

 

(티스토리 블로그) ads.txt를 사용하여 수입을 보호하세요 [구글애드센스]

 

구글 에드센스에서 가장 빈번하게 나오는 오류는 광고 크롤러 오류라는 것인데요.

저도 인터넷 검색과 구글 도움말을 참고하여 해결방법을 찾아봤습니다.

 

어떤 분들은 크게 개의치 않고 방치해도 무방하다는 분들도 계시고, 어떤 분들은 오류라는 것이 뜨는 것에 관한 거부감과 수익과 관계된다는 말에 걱정을 하는 듯합니다.

여기에 소개한 방법은 아직까지 정답이라고 할 수는 없지만, 인터넷 상에서 비슷한 오류로 인해 글을 적은걸 보니 유사하게 진행하면 어느 정도 해결이 될 듯합니다.

 

구글 애드센스 알림으로 나타난 광고 크롤러 오류 내용입니다.

"광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다."

 

 

크롤러는 스파이더 또는 로봇이라고도 하며 웹페이지 콘텐츠를 확인한 후 색인하는 Google의 소프트웨어인데요. 

게시자의 사이트와 관련성이 높은 광고를 게재하기 위해 애드센스 크롤러가 해당 사이트를 방문하여 콘텐츠를 확인하는 작업을 말합니다.

 

알림에서 [작업]을 클릭하면 위 화면처럼 나타납니다.

일부만 영향받은 사이트와 문제가 있는 사이트가 각각 1개씩 표시되네요.

 

문제가 있는 사이트엔 '크롤러 페이지를 찾을 수 없음'으로 표시되어 있고, 제 블로그 사이트가 나와 있습니다.

우측 하단의 [>]를 클릭합니다.

 

그러면 해당 블로그의 어떤 페이지가 오류가 있는지 표시가 됩니다.

 

포스트는 2일 전에 발행했던 전곡리선사유적지 글인데요.

(http://invitetour.tistory.com/1146)

 

URL 링크나 오해 살만 한 문구(선정적인, 폭력적인)도 없습니다.

 

구글 웹마스터도구에 들어가 로그인을 합니다.

해당 사이트를 찾을 수 있는지, 어떤 오류가 있는지 확인해 보기 위해서입니다.

 

검색어에 해당 사이트를 입력하고 엔터키를 칩니다.

 

"속성에 URL이 없음.

현재 선택된 속성에서 URL을 검사하거나 속성을 전환하세요"

 

해당 글에서 URL을 아무리 찾아봐도 오류 있는 부분은 없습니다.

그럼, 속성은 어디서 전환하지?

 

속 터져~~~

 

구글 애드센스 도움말을 참고했습니다.

크롤러가 페이지에 대한 색인을 생성할 수 없도록 하면 구글광고를 해당 페이지에 게재할 수 없다고 합니다.

크롤러에 페이지에 대한 엑세스 권한을 부여하도록 하려면 robots.txt에서 2개의 줄을 삭제하라고 합니다.

 

robots.txt는 티스토리 블로그를 생성하면 자동으로 루트 디렉터리에 만들어 주고, 네이버 웹마스터도구에서 자동으로 수집해 간다고 합니다.

 

 

결국은 robots.txt를 수정해서 티스토리 루트 디렉토리에 올려줘야 한다는 결론이네요.

티스토리에서 robots.txt를 수정할 수는 없습니다.

 

그래서 네이버 웹마스터도구로 들어갔습니다.

 

네이버웹마스터도구에 들어가서 등록된 사이트를 클릭해서 들어갑니다.

[검증] - [robots.txt]를 클릭합니다.

그럼 robots.txt 내용들을 확인해 볼 수가 있습니다.

 

티스토리에 있는 robots.txt인데 티스토리에서는 컨트롤할 수 없고, 네이버 웹마스터도구에서 컨틀롤 할 수 있다는 건 좀 아이러니하네요.ㅎㅎ

 

네이버 웹마스터도구 robots.txt 하단으로 내려오면 robots.txt을 간단히 생성할 수 있습니다.

1) 웹페이지 정보를 '네이버 검색로봇을'을 '모든 검색로봇이'로 변경하니 User-agent가 '*'로 변경됩니다.

[다운로드]를 클릭하여 robots.txt를 다운로드합니다.

 

다운받은 robots.txt를 열어보니 네이버 웹마스터도구에 적힌 내용과 동일하게 기록되어 있음을 확인할 수 있습니다.

 

이제 이 robots.txt 파일을 티스토리 블로그 루트 디렉토리에 올리는 작업을 해야 합니다.

파일 올리는 작업은 한두 번씩은 해 보셨으리라 생각합니다.

 

티스토리 관리자 페이지에서 [꾸미기] - [스킨 편집]으로 들어가서 [HTML 편집]을 클릭합니다.

그러면 위와 같은 화면이 나와요.

여기에서 하단의 [+추가]를 클릭해서 robots.txt 파일을 업로드해 주고, 위의 [적용]을 클릭하면 마무리됩니다.

 

네이버 웹마스터도구에 돌아와서 [수집요청]을 클릭합니다.

그러면 조금 전에 올린 robots.txt 파일을 다시 수집하게 되어 크롤러 오류를 해결할 것으로 기대합니다.

 

그리고 설정된 로봇룰에 따른 사이트 내 웹페이지 수집가능 여부를 확인해보니, 구글 애드센스에서 오류 났던 페이지의 수집은 가능하다고 나와 있습니다.

최종 반영까지는 어느 정도 소요된다고 하는데 이렇게 해결이 되었으면 좋겠습니다.

 

나중에 확실한 해법이 나오면 다시 소개해 드리도록 하겠습니다.

감사합니다.