크롤러, 호스팅 서버 과부하 문제 진행 관찰기 - 티스토리

며칠 전부터 티스토리 블로그 내의 수십 개의 페이지에서 동시 다발적으로 '크롤러 오류 : 호스팅 서버 과부하'라는 오류가 발생하고 '해당 페이지에서는 광고가 게재되지 않습니다.'라는 유형의 문제가 발생했습니다.

문제의 확인은 애드센스 관리 페이지에 로그인하면 우측 상단의 메시지 보기 기능에서 확인해 볼 수 있습니다.

 

 

작업을 클릭하면 정책 센터 카테고리 페이지로 이동하게 되는 데, 이곳에서 호스팅 서버 크롤러 오류가 발생중인 페이지 목록을 볼 수 있습니다. 숫자가 미미하다면 무시해 버리면 그만이지만 수십 페이지를 넘어가게 되면 광고 미게재로 인한 수익의 하락이 당연히 따라오게 되기 때문에 여간 신경 쓰이는 게 아니네요.

 

구글에서는 이 문제에 관하여 다음과 같이 설명하고 있습니다.

 

크롤러 : 호스팅 서버 과부하

서버에서 콘텐츠를 가져올 수 없습니다. 서버에 과부하가 발생했거나 너무 많은 URL로 인해 광고 크롤러에 과부하가 발생했기 때문입니다.

 

 

 

제 경우에 정책센터에서 살펴 보니 최근 2~3일 이내에 집중적으로 발생하고 있었습니다.

 

 

제가 조치할 수 있는 것이 없어 보이는 이유는 아래에 설명하는 이 오류에 대한 애드센스 측의 정의 때문입니다.

 

1. 원인

사이트의 서버에 문제가 있습니다. 

광고 크롤러가 사이트 콘텐츠에 액세스하려고 할 때 사이트의 서버가 제때에 응답하지 못하는 경우가 있습니다. 이러한 문제는 서버가 다운되거나, 느려지거나, 많은 요청에 의해 과부하가 걸릴 때 발생할 수 있습니다.

 

2. 확인 사항

블로그가 호스팅중인 사이트의 서버가 정상적으로 운영 중인가요?

 

3. 해결 방법

사이트가 신뢰할 수 있는 서버 또는 서비스 제공업체에서 호스팅 되도록 하는 것이 좋습니다.

 

위의 내용을 종합하면 먼저 티스토리 서버에 문제가 발생한 내용이 있는 지 먼저 체크해 보고, 문제가 발생했다면 조속한 해결을 요구하는 것이 먼저일 것 같습니다. 하지만 문제가 해결될 기미가 없거나 너무 잦은 장애가 발생한 다면 티스토리에서 다른 호스팅 업체로 옮겨야 하지만 이 또한 쉬운 문제는 아니라고 생각됩니다.

저 같은 일반 유저는 사실상 할 수 있는 것이 거의 없어 보입니다.

 

일단, 오늘까지는 연휴라서 내일 평일 이후 며칠간은 더 기다려 봐야 할 것 같습니다. 이후 오류의 변화에 관하여 간단히 내용을 추가하도록 하겠습니다.

 

약 3일 후에 약간의 변화가 보이는데, 약 30개에 달하던 서버 과부하 크롤링 오류로 인한 광고 게재 제한 페이지가 10개 정도로 줄어든 모습이 보입니다. 아무것도 손댄것은 없습니다.

 

 

이 추세라면 조만간 크롤링 오류가 모두 사라질 것으로 보입니다. 이후의 관찰 사항 역시 내용을 추가하도록 하겠습니다.

 

이후 문제가 된 리스트중 두세개의 주소를 직접 들어가서 불필요한 코드를 삭제하는 등 수정을 해 보았습니다. 우연인지는 몰라도 하루가 지나자 해당 페이지들이 리스트에서 사라지고 7개 정도가 남게 되었습니다.

 

 

 

크롤러 오류에 대한 구글 문서중 일부는 애드센스 크롤러 오류가 구글 봇 크롤러 오류와는 다르며 이는 대략 1주일에 한번 정도의 업데이트가 있고, 이는 사용자가 수정할 수 없다는 언급은 오류 발생 이후 수정까지 최소한 일주일이 소요되지 않을까 하는 생각을 가지게 만듭니다.

 

크롤러는 스파이더 또는 봇이라고도 하며 웹페이지 콘텐츠를 처리하고 색인하기 위해 Google에서 사용하는 소프트웨어입니다. 사이트의 콘텐츠와 관련성이 높은 광고를 게재하기 위해 애드센스 크롤러가 사이트를 방문하여 콘텐츠를 확인합니다.

다음은 애드센스 크롤러에 대해 알아야 할 중요한 정보입니다.

크롤러 보고서는 주 1회 업데이트됩니다.
크롤링은 자동으로 실행되며 크롤링 빈도를 늘려달라는 요청이 있어도 수용할 수 없습니다.

애드센스 크롤러는 Google 크롤러와 다릅니다.
두 크롤러는 따로 작동하지만 캐시를 공유합니다. 그래야만 두 크롤러에서 동일한 페이지를 요청하여 게시자의 대역폭이 중복 소비되는 상황을 방지할 수 있기 때문입니다. 이와 마찬가지로 Search Console 크롤러도 따로 작동합니다.

어쨋든, 우연의 일치일지는 몰라도 두세개 오류 목록에 약간의 수정을 거친후 목록에서 사라져서 현재는 7개의 오류만 남은 상태여서 실험을 위해 다시 한번 한두개의 목록에 수정을 가해 보았습니다. 이후 경과를 내용 업데이트를 통해 보충하도록 하겠습니다.

 

하루가 더 지난 시점에서 오후 시간인 현재는 5개가 남아 있습니다.

어제는 남은 7개의 주소 모두를 구글 서치콘솔에서 색인요청해 보았습니다. 이후 하루가 지난 시점에서 모두 사라진 것은 아니고 두개만 사라졌습니다.

 

참고로 마우스로 주소를 복사해서 그대로 색인 요청할 경우 주소가 http로 입력되면 오류가 나는 경우가 있으므로, 이럴 경우에는 http 대신 https로 변경하여 요청하면 오류가 사라집니다. 더불어 서치콘솔 페이지의 좌측 상단 속성 선택창이 색인요청하려는 페이지가 속해있는 블로그 주소로 맞게 선택되어 있는지도 잘 살펴 보아야 합니다.

 

 

 

 

저녁 8시경에 다시 살펴보니 두개 정도만 남아 있네요.

남은 두개 역시 모두 색인 요청을 한뒤 살펴 보려고 합니다.

 

 

 

 

하루 정도 지난 시점에서 다시 확인해 보니 오히려 두개가 더 늘어나 4개로 되어 있는 것이 발견되었습니다.

그런데 서버 과부하 문제는 서버인 티스토리 측의 문제이거나 해당 페이지로의 접속 증가 등이 원인이 되므로 사실상 해당 페이지에 문제가 있는지 검토하고 색인 요청을 재시도하는 방법외에는 딱히 조치할 수 있는 것이 없다는 것이 대세인 것 같습니다.

따라서, 저의 경우에도 아래의 마지막 주소들을 검토 및 색인 요청한 후 여기서 관찰을 종료하는 것이 맞는 것 같습니다.

애초에 문제를 인지했을 때의 갯수가 30개였으니 많이 줄긴 한 것 같네요.

 

그런데 뇌피셜이긴 하지만 문제가 발생하는 페이지들을 직접 들어가 보면 느낌일 지는 모르지만 삽입한 이미지와 텍스트 사이의 간격이 너무 좁아 보이기는 했습니다. 빽빽해 보이는 행마다 엔터키로 한줄씩 여백을 더 넣어주는 조치를 취해준 다음 서치콘솔에서 색인요청하는 방법을 사용했는 데, 그래도 이 방법이 그나마 좀 먹히는 듯한 느낌은 있었습니다.

 

하지만, 원칙적으로 대부분의 분들이 말씀하시는 대로 서버 과부하 부분은 유저 입장에서 기다리는 것 이외에는 할 일이 없는 것이 맞는 것 같기는 합니다. 티스토리 측에서 하루 속히 서버 과부하 문제를 해결해 주길 바랄 뿐이죠.

 

 

 

 

 

이제 대충 블로거의 입장에서 할 수 있는 조치들은 다 한 것 같습니다. 이래도 지속적으로 문제가 발생한다면 티스토리를 사용하는 숙명으로 받아들일까 합니다.

 

 

- 후기

애드센스 관리 페이지의 정책센터에서 서버 과부하 광고 크롤러 오류는 결국 한달반간의 혼돈상황을 마무리하고 스스로 해결되긴 했지만, 최근에는 더이상 이 문제의 해결을 위해 제가 시도한 것이 없었는데 오류 스스로 사라졌기에 허탈함이 남습니다. 완전히 모두 사라진 시점은 11월 23일 입니다.