크롤러
-
robots.txt 파일에 대해 자세히 보기 :: 마이구미웹 관련 2016. 7. 17. 21:54
자아아 이번 글은 robots.txt 파일에 대해 알아보자! 뭔지 모르는 사람도 많을 거라 생각한다. 혹시 검색에 대해 궁금증을 가져본 적이 있는가? "어떤 원리를 통해 우리가 원하는 검색이 나올까?" 생각해본 적이 있는가? 이것에 대해 쪼끔 다뤄볼 예정이다. 구글이나 네이버 등 이러한 검색사이트들은 자체적으로 검색 로봇들을 가지고 있다. 검색 로봇이 크롤러라고 생각하면 된다. 검색 로봇은 사용자처럼 웹 페이지들을 수집하여 색인을 생성하게 된다. 이러한 색인들을 통해 빠른 검색이 이루어지게 된다. 자신이 지금 사이트를 운영하거나 블로그를 운영하는 경우, 사용자 분석을 해봤을 것이다. 그 때 해외에서도 들어왔다면 좋아하지말고 로봇일 가능성이 크다. 그렇다면 도대체 이 글의 주제인 robots.txt 요놈은..
-
meta og 태그에 대한 오픈그래프 알기 : 마이구미오픈 API 2016. 7. 10. 16:45
이번 글에서는 og 태그에 대해 알아볼 것이다.이 글을 쓰게 된 동기는 어느 날 네이버 지식인에 이런 질문이 올라왔다. 네이버 지식인 질문 일단 meta 태그란 무엇인가? HTML 문서가 어떤 내용을 담고 있고, 문서의 키워드는 무엇이며, 누가 만들었는지 등의 문서 자체의 특성을 담고 있습니다 또한 브라우저나 검색 로봇에게 해당 페이지의 정보를 알려주는 기능이 있다. 그리하여 아예 직접적으로 meta 태그를 이용하여 표기해준다.큰 이유는 기술이 발전해도 웹 문서와 같은 비정형적인 정보를 100% 인식하기가 어렵단다. 이 표기방법 중 페이스북의 오픈그래프 프로토콜을 사용하는 것이 og 태그이다. 오픈그래프는 어떤 HTML 문서의 메타정보를 쉽게 표시하기 위해서 메타정보에 해당하는 제목, 설명, 문서의 타입..