<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Wed, Sep 14, 2016 at 2:05 PM, Chris Reeves <span dir="ltr"><<a href="mailto:chris.reeves@york.ac.uk" target="_blank">chris.reeves@york.ac.uk</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">The first sign that we saw of issues with LDAP authentication were the<br>
following messages suggesting that the IdP was reconnecting:<br>
--------<br>
2016-09-13T08:37:30.401+01:00 - WARN [org.ldaptive.AbstractOperatio<wbr>n$ReopenOperationExceptionHand<wbr>ler:277] - Operation exception encountered, reopening connection<br>
2016-09-13T08:37:30.402+01:00 - WARN [org.ldaptive.AbstractOperatio<wbr>n$ReopenOperationExceptionHand<wbr>ler:277] - Operation exception encountered, reopening connection<br>
2016-09-13T08:37:30.402+01:00 - WARN [org.ldaptive.AbstractOperatio<wbr>n$ReopenOperationExceptionHand<wbr>ler:277] - Operation exception encountered, reopening connection<br>
--------<br></blockquote><div><br></div><div>Were you able to confirm that the reopen was successful?</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
Following these initial messages we only saw two authentication attempts<br>
complete:<br>
--------<br>
2016-09-13T08:37:48.076+01:00 - INFO [net.shibboleth.idp.authn.impl<wbr>.ValidateUsernamePasswordAgain<wbr>stLDAP:152] - Profile Action ValidateUsernamePasswordAgains<wbr>tLDAP: Login by 'user1' failed<br>
2016-09-13T08:39:05.566+01:00 - INFO [net.shibboleth.idp.authn.impl<wbr>.ValidateUsernamePasswordAgain<wbr>stLDAP:152] - Profile Action ValidateUsernamePasswordAgains<wbr>tLDAP: Login by 'user2' failed<br>
--------<br></blockquote><div><br></div><div>These were probably the only two that the pool returned before the pool was emptied by the validator.</div><div>And they likely were not in a working state either.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>Any ideas why the LDAP connection pool got locked up? It seems to have been<br>
detecting broken connections to a certain extent, as we see connections being<br>
reopened in the logs (although there are only 20 log entries to this effect,<br>
spread between 08:37:30 and 08:52:37). I would have thought it should be able<br>
to recover from a blip in connectivity to its LDAP authentication source - the<br>
blip would have been less than a second, but even if it had been as long as 10<br>
seconds that should have been recoverable, surely?<br>
<br></blockquote><div><br></div><div>I'm guessing that the pool couldn't create new connections.</div><div>Do you have any ldaptive logs that show what was happening to the pool?</div><div>I'd be interested in the thread dump if you can share it off list.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
Are there any config options that we should be looking at tweaking, such as<br>
timeouts, retry counts, validation, etc. that could improve the situation if<br>
this were to happen again?<br></blockquote><div><br></div><div>Setting connectTimeout and responseTimeout on the connectionConfig may allow the connection pool to recover quicker.</div><div><br></div><div>--Daniel Fisher</div><div><br></div></div></div></div>