<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, May 15, 2019 at 10:59 AM Daniel Fisher <<a href="mailto:dfisher@vt.edu">dfisher@vt.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr">On Tue, May 14, 2019 at 7:56 PM Mike Osterman <<a href="mailto:ostermmg@whitman.edu" target="_blank">ostermmg@whitman.edu</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div>Hello,</div><div><br></div><div>We've had an issue where our IdP (v3.3.1 - I know, we need to update) will intermittently become unresponsive, and that event always coincides with these messages in idp-warn.log:</div><div dir="ltr"><br></div><div dir="ltr">WARN [org.ldaptive.pool.BlockingConnectionPool:882] - org.ldaptive.pool.AbstractConnectionPool$DefaultPooledConnectionProxy@5b65c083 failed validation<br></div></div></div></div></blockquote><div><br></div><div>Do you notice anything else about the host when this happens? High disk I/O, pegged CPU? Has the JVM ever produced a core dump file?<br></div></div></div></blockquote><div><br></div><div>Thanks, Daniel. You nailed it. CPU pegs right before and stays pegged until we kill the process:</div><div><div>(Link to monitoring system graphic: <a href="https://www.evernote.com/l/AAHThhdHvYdPXbyj1u2Q56-ZbWlmNgzltu0" target="_blank">https://www.evernote.com/l/AAHThhdHvYdPXbyj1u2Q56-ZbWlmNgzltu0</a>) <br></div></div><div><br></div><div>The only log event prior to the BlockingConnectionPool error is 50 minutes prior:</div><div><i>2019-05-14 12:03:54,300 - INFO [org.opensaml.saml.metadata.resolver.impl.AbstractReloadingMetadataResolver:306] - Metadata Resolver FileBackedHTTPMetadataResolver ICMD: Next refresh cycle for metadata provider '<a href="http://md.incommon.org/InCommon/InCommon-metadata.xml" target="_blank">http://md.incommon.org/InCommon/InCommon-metadata.xml</a>' will occur on...</i><br></div><div><br></div><div>I don't believe we have any JVM core dumps. I'm assuming we'd need to generate it when in the midst of the pegged CPU condition? If so, is that the "kill -3" technique or something else?</div><div><br></div><div>Thank you! </div><div>Mike</div></div></div>