wget을 쓰면, 웬만한 사이트는 다 긁어진다고 볼 수 있는데,


robots.txt에 Disallow해둔 사이트는 안긁어진다.


그야, 도의적인 차원에서 기본값으로는 안긁어지게 해놓은거지, 못긁어가는건 아님.


wget -erobots=off http://your.site.here


요렇게 하면, 로봇이라고 선언하지 않으므로, robots.txt랑은 아무 상관 없음.

신고

+ Recent posts