El robot.txt sirve para que la diversa fauna(crawlers,spiders, bots…) que no deja de leer el código de la red, sepa tus preferencias de indexación.
Cómo configurarlo, es un mundo para cada web, pero, una vez escrito, viene muy bien pasarlo por un syntax checker como este.
imagen via wallsarena.com