공개된 페이지는 크롤링해도 되나 — 국내 판례가 갈린 지점과 수집기 기본값

"공개된 페이지니까 괜찮다"는 판단은 국내 판례로 보면 절반만 맞습니다. 결론을 가른 축이 공개 여부가 아니었기 때문입니다.

무죄 사건과 침해 인정 사건이 함께 있다

한쪽에는 정보통신망 침해·컴퓨터등장애업무방해·저작권법 위반 3개 혐의가 모두 무죄로 확정된 사건이 있습니다(대법원 2022. 5. 12. 선고 2021도1533). 판시가 든 사정은 ①비회원도 접근할 수 있었고 별도 접근 보호조치가 없었다 ②복제된 정보가 데이터베이스의 상당한 부분이 아니었다 ③시스템 장애가 발생하지 않았다는 점입니다. 다만 1심 유죄가 항소심에서 뒤집힌 사건이라, 착수 전에 미리 보장받을 수 있는 결론은 아닙니다.

다른 쪽에는 데이터베이스제작자의 권리 침해가 인정돼 간접강제금 2억 원과 손해배상 2억 5천만 원이 확정된 사건이 있습니다(서울고등법원 2017. 4. 6. 선고 2016나2019365, 상고심 심리불속행 기각).

갈린 축은 저작권법 제93조 제2항 단서입니다. 상당한 부분에 이르지 못하는 부분이라도 반복적이거나 특정한 목적을 위해 체계적으로 복제해 그 데이터베이스의 일반적 이용과 충돌하면 상당한 부분을 복제한 것으로 봅니다. "1시간마다 자동 수집"은 정의상 반복적·체계적입니다.

수집기 기본값은 실행 경로마다 다르다

Scrapy 기준으로 startproject가 만들어 주는 settings.py는 ROBOTSTXT_OBEY=True, DOWNLOAD_DELAY=1, CONCURRENT_REQUESTS_PER_DOMAIN=1입니다. 반면 그 파일을 거치지 않는 라이브러리 기본값은 ROBOTSTXT_OBEY=False, DOWNLOAD_DELAY=0, 도메인당 동시 요청 8입니다. AutoThrottle도 기본이 꺼짐이고, 켜야 시작 지연 5.0초·최대 지연 60.0초·목표 동시성 1.0으로 움직입니다. 같은 코드가 실행 경로에 따라 정반대로 동작합니다.

남는 증거는 로그와 노출 형태다

저희가 자체 제작해 배포한 수집 컴플라이언스 데모에서는 robots.txt 취득·파싱 결과, 요청 간격, 429 응답 뒤 백오프를 시계열로 기록합니다. 노출은 본문 전재 대신 제목과 앞부분에 원문 링크를 붙이는 아웃링크 구조로 뒀습니다. 링크도 종류마다 판단이 갈립니다 — 저작권 보호 공공기관의 예방 가이드북은 단순 링크와 직접 링크는 침해로 보지 않고, 프레임 링크·임베디드 링크는 다르게 다룹니다.

(사실 정리와 설계 관점이며 법률 자문이 아닙니다.)