# robots.txt for http://www.ferienunterkunft-berlin.de/ # Zugriff auf bestimmte Verzeichnisse verhindern User-agent: * Disallow: /css/ Disallow: /js/ Disallow: /templates/ Disallow: /homepage/ Disallow: /hausprospekt/ User-agent: Gaisbot Disallow: / User-agent: IRLbot Disallow: / User-agent: dotbot Disallow: / User-agent: Baiduspider Disallow: / User-agent: spbot Disallow: / User-agent: BotOnParade Disallow: / User-agent: TurnitinBot Disallow: /