Robots.txt
-
Robots.txt vs Meta Robots Tag :: 마이구미웹 관련 2021. 11. 6. 15:40
이 글은 Robots.txt 와 Meta Robots Tag 를 비교한다. 넓은 범위에서 보면 같은 목적으로 생각할 수도 있다. 하지만 정확히 둘 사이의 차이를 알지 못한다면, 예상한 결과를 얻지 못할 수도 있다. Robots.txt - https://developers.google.com/search/docs/advanced/robots/intro?hl=ko Meta Robots Tag - https://developers.google.com/search/docs/advanced/crawling/block-indexing?hl=ko 우선 Robots.txt 를 다시 한번 간단하게 설명한다. (옛날옛적에 작성한 짧은 글) Robots.txt 파일은 검색 엔진 크롤러의 접근을 막기 위해 사용한다. 검색 사..
-
robots.txt 파일에 대해 자세히 보기 :: 마이구미웹 관련 2016. 7. 17. 21:54
자아아 이번 글은 robots.txt 파일에 대해 알아보자! 뭔지 모르는 사람도 많을 거라 생각한다. 혹시 검색에 대해 궁금증을 가져본 적이 있는가? "어떤 원리를 통해 우리가 원하는 검색이 나올까?" 생각해본 적이 있는가? 이것에 대해 쪼끔 다뤄볼 예정이다. 구글이나 네이버 등 이러한 검색사이트들은 자체적으로 검색 로봇들을 가지고 있다. 검색 로봇이 크롤러라고 생각하면 된다. 검색 로봇은 사용자처럼 웹 페이지들을 수집하여 색인을 생성하게 된다. 이러한 색인들을 통해 빠른 검색이 이루어지게 된다. 자신이 지금 사이트를 운영하거나 블로그를 운영하는 경우, 사용자 분석을 해봤을 것이다. 그 때 해외에서도 들어왔다면 좋아하지말고 로봇일 가능성이 크다. 그렇다면 도대체 이 글의 주제인 robots.txt 요놈은..