각 사이트 및 웹페이지에는 대부분 robots.txt라는 텍스트 파일이 존재합니다. robot.txt는 네이버, 구글과 같은 검색엔진 크롤러 로봇이 해당 사이트의 접근을 제어하기 위한 규약으로서, 설정에 따라서 해당 페이지의 정보를 수집 또는 제한할 수 있습니다. 이 글에서는 워드프레스에서의 robots.txt에 대한 정의 및 편집 방법에 대해 살펴보도록 하겠습니다.
robots.txt의 정의
robots.txt는 검색 로봇에게 해당 사이트, 웹페이지의 정보를 수집할 수 있도록 허용 또는 제한하는 국제 권고안으로서, 쉽게 말해 네이버와 같은 검색엔진 사이트의 로봇이 해당 사이트의 정보를 수집해 갈 때, robots.txt에 내용을 토대로 수집해갑니다.
만약 robots.txt에 A라는 폴더는 정보 수집을 하지 않도록 설정해 놓았다면, 검색엔진 사이트의 로봇은 A폴더에는 정보 수집 (크롤링)을 하지 않는 것이 원칙입니다. 만약 A폴더는 개인 폴더로서 정보 검색자들에게 노출이 필요 없는 정보들이라면, robots.txt를 이용해 접근을 제한함으로서, 불필요한 크롤링을 방지하게 되며, 전반적인 웹사이트의 로드 속도 또한 향상 시킬 수 있습니다.
이해하기 쉽게 예시를 들자면 제품에 대한 설명서, 안내 사항과 같은 것이라고도 볼 수 있겠습니다. 제품을 이용할 때 해도 되는 것과 하면 안되는 것을 확인 함으로서, 사용자는 제품을 올바른 방법으로 사용할 수 있습니다. 크롤링을 진행하는 봇 또한 robots.txt의 내용을 확인함으로서 접근 해야 하는 디렉토리와 접근이 금지된 디렉토리를 구분 함으로서, 올바른 크롤링을 진행하게 됩니다.
워드프레스 robots.txt
워드프레스의 robots.txt 확인 방법은 웹브라우저 주소 창에 워드프레스주소/robots.txt를 입력합니다. (예시 : https://oooo.com/robots.txt) 그러면 아래와 같이 코드가 나타나는 것을 확인할 수 있습니다.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://oooo.com/wp-sitemap.xml기본적으로 워드프레스는 모든 웹사이트에서 robots.txt파일을 가상으로 생성해버립니다. 그래서 웹브라우저상에서는 위와 같은 코드가 보일지 몰라도, 실제로 워드프레스서버 디렉토리에는 robots.txt라는 파일이 존재하지 않습니다. 그래서 robots.txt의 파일을 수정하기 위해서는 사용자가 robots.txt를 생성 후 수정 해줘야 합니다. robots.txt의 생성 방법에 대해서는 다음 단계에서 설명하겠습니다.
아래는 robots.txt 각 코드에 대한 설명입니다.
User-agent : 크롤링을 진행하는 크롤러를 뜻합니다. *를 입력하여 모든 크롤러를 대상으로 설정할 수도 있고, 크롤러의 개별 지정도 가능합니다. (※ 구글 : Googlebot, 네이버 : Yeti, 다음 : Daum, 빙(Bing) : Bingbot)
Disallow : 크롤링을 제한하는 디렉토리 경로를 뜻합니다. 위 코드에서는 wp-admin 을 제한하고 있습니다. admin은 관리자 페이지를 뜻합니다.
Allow : 크롤링을 허용하는 디렉토리 경로를 뜻합니다. 위 코드에서 /wp-admin/admin-ajax.php를 허용하고 있습니다. ajax는 댓글 및 카테고리, 블로그의 게시물과 같은 목록에서 항목을 추가하거나 편집, 삭제할 때, 그리고 여러 테마와 플러그인 등의 즉각적인 업데이트에 사용된다고 합니다. ajax를 사용하여 크롤러봇과의 연결을 설정하며, 워드프레스에는 아무런 영향이 없기 때문에 허용 해야 합니다.
Sitemap : 웹사이트의 정보를 모아 정리하기 위해 작성하는 양식으로서, 모든 웹사이트에는 사이트맵이 존재합니다.
워드프레스 robots.txt 작성 및 업로드
워드프레스의 robots.txt 편집 방법은 SFTP방식의 파일 전송 프로그램을 사용하여 이루어집니다. 대표적으로 파일질라(FileZilla)라는 무료 소프트웨어가 있는데, 해당 소프트웨어의 사용 방법에 대해서는 따로 글을 작성했습니다. 아래 링크를 참고하시기 바랍니다.
먼저 나의 PC에 robots.txt의 메모장 파일을 생성해보겠습니다. 바탕 화면의 아무것도 없는 공란에 마우스 커서를 위치하고, 마우스 오른쪽 버튼을 클릭하여, 텍스트 문서를 새로 만들어줍니다. 그리고 생성된 텍스트 문서 아이콘을 마우스 오른쪽 버튼 클릭하여 이름을 robots 로 변경해줍니다.
robots 로 변경된 이름의 텍스트 문서를 열면 내용에는 아무것도 입력되어 있지 않을 것입니다. 빈 칸에 아래의 코드를 붙여 넣어줍니다. 위에서 언급한 워드프레스 robots.txt와 동일한 코드입니다. 물론 oooo은 워드프레스의 주소가 입력되어야 할 것입니다. (예시 : https://naver.com/wp-sitemap.xml)
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://oooo.com/wp-sitemap.xml해당 코드를 입력 후 저장을 해줍니다. 파일질라를 접속하여, 전송하고자 하는 워드프레스 서버를 접속합니다. 그리고 좀 전에 생성한 PC 바탕 화면에 있는 robots 텍스트 문서를 워드프레스 서버 public_html 폴더에 붙여 넣습니다. robots.txt는 루트 디렉토리라는 곳에 붙여 넣어야 하는데, 워드프레스의 루트 디렉토리는 public_html이라는 디렉토리입니다.
워드프레스 서버에 robots.txt가 생성되었습니다. 이제 robots.txt의 내용을 편집하기 위해서는 해당 파일을 선택하여 수정하면 됩니다. 많은 도움이 되었길 바라면서 글을 마치겠습니다. 감사합니다.