Thinkbot

Tencent 소유의 크롤링 봇 으로 추정됨.

문제가 있으면 IP 레벨에서 차단하세요

• 문제가 있으면 IP 레벨에서 차단하세요 | GeekNews
  • [원문] “Bro, ban me at the IP level if you don't like me!” - The Boston Diaries - Captain Napalm

최근 웹 트래픽 분석중에 Thinkbot이라는 웹봇이 가장 많은 트래픽을 발생시킨 것을 발견함

• 해당 봇은 robots.txt를 무시하며, 자기소개 문구도 단순히 “문제 있으면 IP 차단해라”라는 식으로 매우 불성실함
• 한 달 동안 74개의 서로 다른 IP를 사용했고, 이는 41개 네트워크 블록에 걸쳐 분산되어 있었음
• 조사 결과 이 모든 네트워크 블록은 Tencent 소유였으며, 이게 Great Firewall 비용 전가 가능성과 연결되는건지 의심이 생김
• 결국 약 47만 개 이상의 IP를 포함하는 방대한 차단 규칙을 추가했음

See also

• robots.txt
• Tencent