• 블로그
  • 54%의 SEO는 기술적 SEO의 기초를 모릅니다

54%의 SEO는 기술적 SEO의 기초를 모릅니다

By Aquif Shaikh

May 20, 2022

자신이 SEO 전문가라는 말을 얼마나 자주 듣습니까?

꽤 자주?

그러나 이러한 기술적 SEO가 SEO에 대해 정말로 알고 있습니까?

나는 항상 대부분의 SEO가 기술 SEO에 대한 기본 지식이 부족하다고 믿었습니다. 따라서 나는 모든 SEO가 알아야 한다고 생각하는 SEO에 대한 매우 기본적인 질문을 하는 설문조사를 실시하기로 결정했습니다.

아래는 질문이었습니다

Q. 페이지가 인덱싱되는 것을 원하지 않습니다. 당신이 할 수 있는 최선의 선택은 무엇입니까?

그리고 아래는 투표 옵션

  1. Robots.txt로 차단
  2. 인덱스 없는 태그 추가
  3. 위의 둘 다 안전한 면에 있어야 합니다.

꽤 직선적이고 간단하죠?

하지만 그거 알아?

54%의 SEO가 이 답변을 잘못 이해했습니다. 그리고 표본의 크기도 작지 않았다. 총 573명의 참가자가 이 투표에 투표했습니다.

기술 투표 결과

보시다시피 22%의 SEO는 Robots.txt가 페이지의 색인이 생성되지 않도록 하는 최선의 옵션이라고 생각하고 32%의 SEO는 robots.txt를 통한 차단과 색인 없는 태그 사용의 조합을 사용하는 것이 좋은 아이디어라고 생각합니다.

그러나 검색엔진 최적화(SEO) 중 46%만이 인덱스가 없는 태그만 사용해야 한다고 답했습니다.

대부분의 사용자가 잘못된 답변을 얻은 이유는 무엇입니까?

해당 SEO가 이러한 답변을 선택하게 만든 원인과 Google에서 페이지 색인 생성을 중지하는 것이 잘못된 방법인 이유를 분석해 보겠습니다.

모두 아시다시피 Robots.txt는 검색 엔진 봇을 포함한 모든 봇에 대한 지시문 역할을 하는 파일이며 웹사이트를 크롤링해야 하는 방법, 크롤링해야 하는 페이지 및 크롤링하지 말아야 하는 페이지를 알려줍니다.

Googlebot을 포함한 대부분의 검색 엔진 봇은 robots.txt 파일의 규칙을 엄격하게 따르고 robots.txt에 의해 차단된 페이지를 확인하는 즉시 웹사이트 크롤링을 중지합니다.

명백한 논리는 Googlebot이 웹사이트를 크롤링하지 않기 때문에 색인을 생성하지 않는다는 것입니다.

이것이 일부 사람들이 설문조사에서 robots.txt 옵션을 선택한 이유입니다.

캐치

그러나 함정이 있습니다. Google에 따르면 robots.txt 파일의 지침을 준수하므로 페이지의 색인을 생성하지 않습니다. 그러나 페이지가 인터넷의 다른 곳에 표시되는 경우 Google은 여전히 ​​페이지의 색인을 생성합니다.

아래는 Google의 특정 지침입니다.

Google 색인 없음 가이드라인

가이드라인은 아래 링크에서 확인하실 수 있습니다

https://developers.google.com/search/docs/advanced/robots/

아래 굵게 표시된 단어에 주의하세요.

Google은 크롤링하거나 색인을 생성하지 않지만 content robots.txt 파일에 의해 차단된 경우 웹의 다른 위치에서 연결된 경우 허용되지 않는 URL을 찾아 색인을 생성할 수 있습니다.. 결과적으로 URL 주소 및 잠재적으로 페이지 링크의 앵커 텍스트와 같이 공개적으로 사용 가능한 기타 정보가 Google 검색 결과에 계속 나타날 수 있습니다. 귀하의 URL이 Google 검색 결과에 나타나지 않도록 하려면 귀하의 파일에 있는 파일을 비밀번호로 보호하십시오. server, noindex 메타 태그 또는 응답 헤더를 사용하거나 페이지를 완전히 제거하세요.

따라서 robots.txt를 사용하여 웹 페이지를 차단하는 것은 좋은 생각이 아닙니다.

중요 참고

2019년 2019월 이전에는 robots.txt 자체에 색인 없음 명령을 추가할 수 있었습니다. 그러나 이 옵션은 XNUMX년 XNUMX월 Google에서 중단되었습니다.

하지만 둘의 조합을 사용하지 않는 이유는 무엇입니까?

이제 다음 질문이 발생합니다. 색인이 없는 태그를 사용하는 것과 별개로 robots.txt를 통한 차단과 같은 세 번째 옵션이 오답인 이유는 무엇입니까?

여기에 대한 답은 간단합니다. 페이지가 인터넷의 다른 곳에 나타나면 Google은 페이지 크롤링을 시도합니다. 그러나 Google이 가장 먼저 할 일은 Robots.txt 파일을 찾는 것입니다.

이제 페이지가 Robots.txt에 의해 차단되는 것을 확인하는 즉시 크롤링을 중지하므로 인덱스가 없는 태그가 표시되지 않습니다. 따라서 색인이 없는 태그가 없는 경우와 마찬가지로 페이지 색인을 생성하게 됩니다.

이것이 왜 중요한가?

기술 SEO의 이러한 측면은 웹사이트 색인 생성 방식에 영향을 줄 수 있으므로 모든 SEO가 알아야 하는 매우 중요합니다. 그러나 대부분의 SEO가 이를 잘못 이해하는 것은 이상합니다.

따라서 다음에 인터뷰나 다른 방법으로 누군가가 이 질문을 하면 인덱스가 없는 태그를 사용해야 한다고 자신 있게 대답하십시오.

페이지가 인덱싱되지 않았는지 확인하는 다른 방법

페이지가 인덱싱되지 않았는지 확인하는 다른 방법은 페이지를 비밀번호로 보호하거나 404(Content 찾을 수 없음) 또는 410(Content 삭제됨) 오류입니다.

실수로 페이지 색인을 생성했다면?

실수로 페이지의 색인을 생성한 경우 404 또는 410 또는 색인 없음으로 표시한 다음 Google이 URL을 크롤링할 때까지 기다리거나 Google URL 제거 도구를 사용하여 URL을 신속하게 삭제할 수 있습니다.

이번 여론조사에 대한 당신의 견해는? 의견에서 우리와 공유

소개 Aquif Shaikh

Aquif Shaikh 블로거이며 Web Hosting 뭄바이에서 온 전문가. 그는 글을 쓰고, 여행하고, 자신의 지식과 아이디어를 세상과 공유하는 것을 좋아합니다. ~에 Blogging Ocean, 그는 블로깅 팁에 대해 씁니다. web hosting 팁, content 마케팅, 온라인 비즈니스 및 SEO.

댓글을 남겨주세요.

귀하의 이메일 주소는 공개되지 않습니다. *표시항목은 꼭 기재해 주세요.

{ "email": "Email address invalid", "url": "Website address invalid", "required": "필수 필드 누락"}
성공 메시지!
경고 메시지!
에러 메시지!