그냥 개발자 블로그

일반적으로 robots.txt 파일을 이용하여 검색로봇을 제어하기 마련인데 파일을 업로드할수 없는 환경이라면 무용지물이었어요.그러나 아래에 방법으로 html 문서내에서 검색로봇을 제어할수 있게 되었어요. Meta Tag 문서 수집 링크수집 OO 이 문서 수집 O링크된 문서 수집 O 이 문서 수집 X 링크된 문서 수집 O 이 문서 수집 O링크된 문서 수집 X 이 문서 수집 X링크된 문서 수집 X

robots.txt 저장 방법 안내 1. 홈페이지 전체가 모든 검색엔진에 노출되는 것을 원하지 않을 때 코드: User-agent: * Disallow: /2. 홈페이지 전체가 모든 검색엔진에 노출되기를 원할 때 코드: User-agent: * Disallow: (Ex1과 비교했을 때 “/”가 빠져 있습니다. robots.txt를 작성하지 않으면 모두 검색허용으로 간주됩니다.) 3. 홈페이지 디렉토리의 일부만 검색엔진에 노출하고 싶을 때 코드: User-agent: * Disallow: /my_photo/ Disallow: /my_diary/ (이렇게 작성하면 로봇은 my_photo, my_diary라는 폴더에 속한 웹문서에 접근할 수 없습니다.) 4. 홈페이지 전체가 검색되길 원하지만 특정 검색엔진을 ..