용어 사전 · 디지털 · 데이터 · 플랫폼
robots.txt
검색 엔진 로봇에게 수집해도 되는 곳과 안 되는 곳을 알려 주는 파일
사이트 맨 위 경로('도메인/robots.txt')에 두는 텍스트 파일입니다. 검색 엔진이나 AI 서비스의 수집 로봇이 사이트에 들어오면 먼저 이 파일을 읽고, 어떤 경로를 수집해도 되는지 확인합니다.
관리자 페이지처럼 검색에 나올 필요 없는 곳을 막을 때 씁니다. 실수로 사이트 전체를 막아 두면 검색에서 사라질 수 있으니, 사이트를 새로 열거나 옮긴 뒤에는 꼭 내용을 확인하세요. robots.txt 는 '부탁'일 뿐 보안 장치가 아니므로, 숨겨야 할 정보는 로그인이나 접근 제한으로 막아야 합니다.