← 용어 사전

용어 사전 · 디지털 · 데이터 · 플랫폼

robots.txt

검색 엔진 로봇에게 수집해도 되는 곳과 안 되는 곳을 알려 주는 파일

사이트 맨 위 경로('도메인/robots.txt')에 두는 텍스트 파일입니다. 검색 엔진이나 AI 서비스의 수집 로봇이 사이트에 들어오면 먼저 이 파일을 읽고, 어떤 경로를 수집해도 되는지 확인합니다.

관리자 페이지처럼 검색에 나올 필요 없는 곳을 막을 때 씁니다. 실수로 사이트 전체를 막아 두면 검색에서 사라질 수 있으니, 사이트를 새로 열거나 옮긴 뒤에는 꼭 내용을 확인하세요. robots.txt 는 '부탁'일 뿐 보안 장치가 아니므로, 숨겨야 할 정보는 로그인이나 접근 제한으로 막아야 합니다.

관련 용어

우리 브랜드 마케팅, 무엇부터 할까요?

브랜드와 가맹점 수, 고민을 알려 주시면 먼저 할 일부터 정리해 드립니다.