Sitemap: https://www.falconshop.co.kr/sitemap.xml

# 구글봇이 하도 못읽어서 7.9 부터 아래처럼 변경함.
User-agent: *
Allow: /shop/data/goods/
Allow: /shop/data/editor/
Allow: /shop/data/review/
Allow: /shop/data/review_naver/
Allow: /shop/goods/goods_view.php
Allow: /shop/goods/goods_list.php
Allow: /m2/goods/view.php
Allow: /m2/goods/list.php
Disallow: /shop/admin/
Disallow: /shop/goods/indb_err_img.php
Disallow: /shop/goods/goods_review_list.php
Disallow: /shop/goods/goods_review_list_mini.php
Disallow: /shop/goods/goods_view_xml.php
Disallow: /shop/goods/goods_view_diffrent_xml.php
Disallow: /shop/goods/goods_list_xml.php
Disallow: /shop/goods/proxy_changer.php
Disallow: /shop/goods/proxy_changer2.php
# 2026-08-14 : meta-externalagent 가 5일간 160만 건을 긁었고 그중 71만 건이
#   /m2/proc/mAjaxAction.php (팝업 후 장바구니 수량 갱신용 내부 AJAX) 였음.
#   콘텐츠가 아니라 크롤러가 얻을 것이 없으므로 proc 경로를 전체 봇 대상으로 차단.
#   상품/목록 페이지는 그대로 열려 있어 AI 노출 손실은 없음.
Disallow: /m2/proc/
Disallow: /shop/proc/
# 2026-08-11 : Googlebot 은 UA 에 AppleWebKit 이 있어 모바일로 오판되고,
#   /shop/goods/goods_view.php -> 301 -> /m2/mgate.php -> 301 -> /m2/goods/view.php
#   경로로 리다이렉트됨. 중간의 mgate 가 막혀 있어 구글이 상품페이지를 크롤하지 못했음.
#   아래 두 줄(최장일치로 Disallow 를 이김)로 상품/목록 경로만 열고 나머지는 계속 차단.
Allow: /m2/mgate.php?refer=/shop/goods/goods_view.php
Allow: /m2/mgate.php?refer=/shop/goods/goods_list.php
# 2026-08-28 : 같은 오판이 GPTBot·ClaudeBot 에도 걸린다. 두 봇의 공식 UA 가
#   'Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ...)' 형태라
#   sitelink.class.php 의 모바일 판정(AppleWebKit=모바일)에 걸려 mgate 로 튕긴다.
#   위 두 줄 덕에 상품·목록만 무사했고 홈·게시판·QnA 는 막혀 있었음.
#   사이트맵에 올린 URL 유형을 기준으로 아래를 추가. ('$' 는 URL 끝 고정)
Allow: /m2/mgate.php?refer=/$
Allow: /m2/mgate.php?refer=/shop/main/index.php
Allow: /m2/mgate.php?refer=/shop/board/
Allow: /m2/mgate.php?refer=/shop/goods/goods_qna_view_one.php
# 2026-09-05 : 파인더 5종도 같은 이유로 막혀 있었다.
#   /shop/goods/finder_battery.php 를 Googlebot UA 로 부르면
#   301 -> /m2/mgate.php?refer=/shop/goods/finder_battery.php 로 튕기는데,
#   위 Allow 목록에 파인더가 없어 아래 Disallow 에 걸려 크롤되지 못했다.
#   카운터(mini_jboy_counter) 기록상 모바일 파인더 사용이 2023-01~2025-03 에는
#   일평균 70~114 로 안정적이었는데, m2/mgate.php 도입(2025-03-29) 뒤인
#   2025-06 부터 일평균 14~46 으로 떨어져 15개월째 회복되지 않았다.
#   파인더는 배터리 177,399 / 모터 123,895 회로 10년째 1·2위 기능이다.
Allow: /m2/mgate.php?refer=/shop/goods/finder_
Disallow: /m2/mgate.php
Disallow: /shop/data/
Disallow: /shop/lib/js/
Disallow: /shop/data/skin_mobileV2/
# 2026-08-29 : 렌더링용 CSS·JS 개방. 구글은 페이지를 '렌더링해서' 레이아웃과
#   동영상 위치·크기·주요콘텐츠 여부를 판단하는데, 스킨 CSS·JS 가 막혀 있어
#   PC(style_v2.css)·모바일 양쪽을 무스타일로 렌더링하고 있었다.
#   상품 페이지 렌더링 리소스 47개 중 24개 차단 상태였음. (GSC 동영상 색인 0)
#   확장자로 한정해 열고, 디렉터리 자체(스킨 소스·htm·php)는 계속 차단 유지.
Allow: /shop/data/skin/*.css
Allow: /shop/data/skin/*.js
Allow: /shop/data/skin_mobileV2/*.css
Allow: /shop/data/skin_mobileV2/*.js
Allow: /shop/lib/js/*.js
Disallow: /shop/data/skin/
Disallow: /*register.php*
Disallow: /*add_*.php*
# 2026-09-06 : 게시판 글쓰기·삭제 링크 차단. 거의 전부 GPTBot 이다.
#   실측(9/6 03:00~15:15, 12시간) write.php 1,543건 중 1,539건이 GPTBot,
#   delete.php 371건. 하루 약 3,800건이다.
#   둘 다 비로그인 응답이라 크롤러가 얻을 것이 없다 —
#   write.php 는 210바이트 경고창, delete.php 는 그런데도 20~30KB 짜리
#   전체 레이아웃을 그려서 돌려준다(하루 약 11MB).
#   GPTBot 은 위 /m2/proc/ 차단을 지키고 있으므로(같은 날 0건) 이 줄도 듣는다.
#   단, robots.txt 를 매일 읽지는 않으므로(오늘 0건) 반영까지 하루 이상 걸린다.
Disallow: /shop/board/write.php
Disallow: /shop/board/delete.php
Disallow: /m2/board/write.php
Disallow: /m2/board/delete.php

# 2026-08-29 : Amazonbot 차단.
#   측정(bot-stats.tsv 2026-08-27): Amazonbot 101,046 건 = 전체 요청의 4.9%.
#   봇 중 압도적 1위이고 2위 bingbot(47,445)의 두 배가 넘는다.
#   그런데 아마존에서 파는 것이 없고, 유입 통계에도 아마존 referer 가 잡히지 않는다.
#   즉 부하만 있고 돌아오는 것이 없어 사용자 판단으로 차단한다.
#
#   참고로 Bytespider 는 1,107 건(0.1%)뿐이라 차단해도 부하가 안 줄어 그대로 둔다.
#
#   ⚠ 이름 있는 User-agent 그룹을 만들면 그 봇은 위 '*' 그룹을 통째로 무시한다.
#     여기서는 전부 막는 것이 목적이라 그게 맞다. 반대로 AI 봇처럼 "일부만 열고
#     나머지는 '*' 규칙을 따르게" 하고 싶을 때는 절대 별도 그룹을 만들면 안 된다.
#
#   되돌리기: 이 블록을 지운다. robots.txt 는 구글 기준 최대 24시간 캐시된다.
User-agent: Amazonbot
Disallow: /