<html>
  <head>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
  </head>
  <body text="#000000" bgcolor="#FFFFFF">
    <p><br>
    </p>
    <br>
    <div class="moz-cite-prefix">On 8/31/17 3:41 PM, Cantor, Scott
      wrote:<br>
    </div>
    <blockquote type="cite"
      cite="mid:B2A45E51-954A-4172-A43D-905AC93CE8E4@osu.edu">
      <blockquote type="cite">
        <pre wrap="">Now that I know where it is coming from and why, are there any constraints I can put in place at the IdP to reject these requests,
or should I make those restrictions at the web server?
</pre>
      </blockquote>
      <pre wrap="">
Web server.</pre>
    </blockquote>
    <br>
    Probably the simplest thing to do first is see if their crawler
    respects a web server's robots.txt.  You can google for plenty of
    references of how to set that up, if you don't know already.  You
    can block server paths and many other things with that. <br>
    <br>
    Actually looks like they do.  From following the URL in the
    User-Agent string:<br>
    <br>
    "Facebot is Facebook's web crawling robot that helps improve
    advertising performance. Facebot is designed to be polite. It
    attempts to access each web server no more than once every few
    seconds, in line with industry standards, and will respect your
    robots.txt settings."<br>
      <br>
    <br>
  </body>
</html>