[Crawler] Robots.txt 설명

https://korea.googleblog.com/2008/04/robotstxt.html 참조

요약하자면 Robots.txt 를 통해 Crawler 가 Cralwing 할 때 Allow, DisAllow 에 대해 알려줌.

해당 사이트의 Root 위치에 Robots.txt 가 있어야 함.