[Tistory] robots.txt 파일 수정 & 검색 엔진 & 메타 태그

목표: robots.txt 파일 수정해서 검색 엔진에서 수집되게 만들기

요약

1. robots.txt에 Sitemap 등록하기 - 티스토리 해당 없음
2. robots.txt 수정 불가 시 메타 태그 등록하기 - 티스토리 해당

 

 

 

안녕하세요 냥장판 입니다 

이번 게시글에서는 robots.txt 파일을 생성하고, 

티스토리에 robots.txt 등록 및 수정하는 방법을 알려드릴게요

 

기본적으로 robots.txt는 검색엔진이 데이터를 수집(크롤링, Crawling)할 때

설정된 규칙에 따라 사이트 내 웹 페이지 수집 가능한지 여부를 확인해요

Source: direct submit

 

여기서 규칙이라고 하는 것은

google 검색 엔진에서는 수집 가능하고, yahoo 검색 엔진에서는 수집 불가능 하게 설정할 수 있다는 거죠!

 

이제 실제로 robots.txt 파일을 작성하는 것 부터 시작해볼게요

 

1. robots.txt 만들기 수정하기 - 티스토리는 해당 없음 (티스토리 분들은 2번으로 가세요)

 

 

사이트 최적화 내용에 보면 robots.txt가 존재하지 않거나, 

robots.txt 수정해야할 때는 구글 search console 로 들어갑니다.

 

robots.txt 파일 만들기 클릭

 

 

또 클릭합니다.

 

 

robots.txt 테스터 열기 클릭

 

 

여기서 robots.txt 를 수정해 주는데요.

 

 

 

구글이나 네이버에서 robots.txt에 추가하길 권고하는 것은 Sitemap 주소에요

Sitemap 추가하시는게 좋아요.

 

 

 

Sitemap 추가하는 법 아래글 꼭 참고하세요!

2020/01/07 - [기타] - [Tistory] Sitemap, 사이트맵 만들기 & tistory 링크복사 하는법

2020/01/08 - [기타] - [Tistory] Sitemap, 사이트맵 등록 (Google - search console)

2020/01/08 - [기타] - [Tistory] Sitemap, 사이트맵 등록 (NAVER - Webmastertool)

 

 

그리고 아래 Submit 버튼을 클릭해요

다운로드 하셔서 이 파일을 블로그/robots.txt 로 추가 혹은 덮어쓰기 하시면 되요. (티스토리 분들은 2번으로 이동)

 

 

 

 

2. robots.txt 수정이 안될 때, 메타 태그 등록 - 티스토리

 

 

블로그로 티스토리를 사용하는 분들은 robots.txt 파일이 수정이 불가능하고요.

아래처럼 URL을 입력하면 (블로그주소/robots.txt) 기본적으로 제공되는 robots.txt가 있어요.

 

대신 메타 태그가 플러그인으로 제공됩니다!

 

블로그 관리자 화면에서 플러그인을 클릭합니다

 

메타 태그 등록을 클릭합니다

메타 태그란 스킨을 변경해도 절대 지워지지 않는 태그를 말해요!

메타 태그를 추가합니다

<meta name = "Robots" content="index,follow">

 

위와 같이 추가해야합니다

name 위치에 User-agent 추가해서 넣으시면 되요

content에 index, follow 추가하시면 되요

 

구글: Googlebot

구글 이미지: Googlebot-image

네이버: Yeti

다음: Daumoa

야후: Slurp

 

 

저장하고, 확인을 위해 블로그에 들어갑니다

F12 를 누르면

헤더<header> 안에

이렇게 추가되어 있는 것을 확인하면 끝나요!

 

 

 

 

---

 

 

robots.txt 해석

 

 

속성	내용
User-agent	검색 엔진(사이트 봇, bot)을 말함 모든 로봇 허용: * 구글: Googlebot 구글 이미지: googlebot-image 네이버: Yeti 다음: Daumoa 야후: Slurp 등등등
Allow / Disallow	수집 허용 / 수집 허용 안함

예를 들어

이렇게 작성 되어 있으면

모든 봇(네이버, 구글 등등)을 agent 로 지정

관리자 계정으로 대표되는 (블로그 주소/owner, manage, admin, oldadmin ~ like)는 Disallow(수집 하지마) - 수집하면 큰일나죠!

이 외에 모든 URL과 특정 페이지들은 Allow(수집 해) 라는 robots.txt 입니다.

---

 

 

그럼 이만!

---