<div dir="ltr">Hi,<div><br></div><div>just a follow-up in case there's anyone interested. Finally we got to know what the problem was, it was caused by the JVM Garbage Collector. We changed the default algorith to UseConcMarkSweepGC and everything's working fine since then.</div><div><br></div><div>Thanks and regards.<br><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><br><hr><span style="font-family:Verdana,Tahoma;font-size:11px;color:rgb(46,58,105)"><span style="font-weight:bold">Manolo García</span> <br>Arquitectura i Sistemes<br><span style="font-weight:bold">Universitat Oberta de Catalunya</span> <br></span> <br><span style="font-family:Verdana,Tahoma;font-size:11px;color:rgb(77,77,77)">93 326 (3451) | </span><font color="#4d4d4d" face="Verdana, Tahoma"><span style="font-size:11px">689 88 30 93 </span></font><span style="color:rgb(77,77,77);font-family:Verdana,Tahoma;font-size:11px">| </span><a href="mailto:mgarciaal@uoc.edu" style="font-family:Verdana,Tahoma;font-size:11px" target="_blank">mgarciaal@uoc.edu</a><span style="color:rgb(77,77,77);font-family:Verdana,Tahoma;font-size:11px"> </span></div><div dir="ltr"><span style="font-family:Verdana,Tahoma;font-size:11px;color:rgb(77,77,77)"><div dir="ltr"><div dir="ltr">Parc Mediterrani de la Tecnologia (edifici B3)</div><div dir="ltr">Av. Carl Friedrich Gauss, 5.</div><div dir="ltr">08860 Castelldefels</div></div></span><img alt="Universitat Oberta de Catalunya" src="http://cv.uoc.edu/WebMail/resources/img/UOC_e_mail.gif" style="border:medium none"> <br><span style="font-family:Verdana,Tahoma;font-size:10px;color:rgb(150,151,152)">Aquest missatge s'adreça exclusivament a qui va destinat i pot contenir informació privilegiada o confidencial i dades de caràcter personal, la difusió de les quals és regulada per la Llei orgànica de protecció de dades i la Llei de serveis de la societat de la informació. Si no sou la persona destinatària indicada (o la responsable de lliurar-lo a qui va destinat), no heu de copiar aquest missatge ni lliurar-lo a tercers per cap concepte. Si heu rebut aquest missatge per error o l'heu aconseguit per altres mitjans, us demanem que ens ho comuniqueu immediatament per aquesta mateixa via i l'elimineu irreversiblement.</span>  <br> <br><span style="font-family:Verdana,Tahoma;font-size:10px;color:rgb(150,151,152)">Abans d'imprimir aquest missatge electrònic penseu en el medi ambient.</span><br></div></div></div></div></div></div></div></div></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">El lun., 11 mar. 2019 a las 8:36, Manolo Garcia Alvarez (<<a href="mailto:mgarciaal@uoc.edu">mgarciaal@uoc.edu</a>>) escribió:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div>Hi,</div><div><br></div><div>we are dealing with CPU problems in one of our three Shibboleth servers. All of the three servers that are part of our IdP service have exactly the same configuration and same versions of Linux (2.6.32), Apache (2.2.15), Tomcat (7.0.68), Shibboleth (3.1.2) and JVM (Oracle 1.7.0_51-b13). Randomly and without any known reason, the Java process of one of the three servers starts to consume more CPU and soon it gets to nearly 100%, and the only solution is to restart Shibboleth. We haven't been able to identify the reason of this behavior, it takes place apparently at any hour, with fewer or more users requests. This is causing us huge problems and many complaints, because the user requests get stuck and it causes service outages.</div><div><br></div><div>We have reviewed the logs and the only thing that seems to be an error when the CPU is 100% is an error in the Tomcat logs:</div><div><br></div><div><font face="monospace, monospace">Feb 18, 2019 12:27:06 PM org.apache.catalina.core.StandardWrapperValve invoke</font></div><div><font face="monospace, monospace">SEVERE: Servlet.service() for servlet [idp] in context with path [/idp] threw exception [Request processing failed; nested exception </font></div><div><font face="monospace, monospace">is java.lang.IllegalStateException: getOutputStream() has already been called for this response] with root cause</font></div><div><font face="monospace, monospace">java.lang.IllegalStateException: getOutputStream() has already been called for this response</font></div><div><font face="monospace, monospace">at org.apache.catalina.connector.Response.getWriter(Response.java:663)</font></div><div><font face="monospace, monospace">at org.apache.catalina.connector.ResponseFacade.getWriter(ResponseFacade.java:213)</font></div><div><font face="monospace, monospace">at javax.servlet.ServletResponseWrapper.getWriter(ServletResponseWrapper.java:104)</font></div><div><font face="monospace, monospace">at net.shibboleth.utilities.java.support.net.CookieBufferingFilter$CookieBufferingHttpServletResponseProxy.getWriter(CookieBu</font></div><div><font face="monospace, monospace">fferingFilter.java:116)</font></div><div><font face="monospace, monospace">at javax.servlet.ServletResponseWrapper.getWriter(ServletResponseWrapper.java:104)</font></div><div><font face="monospace, monospace">at org.opensaml.storage.impl.ServletRequestScopedStorageService$OutputInterceptingHttpServletResponseProxy.getWriter(ServletR</font></div><div><font face="monospace, monospace">equestScopedStorageService.java:564)</font></div><div><font face="monospace, monospace">at javax.servlet.ServletResponseWrapper.getWriter(ServletResponseWrapper.java:104)</font></div><div><font face="monospace, monospace">at org.opensaml.storage.impl.ServletRequestScopedStorageService$OutputInterceptingHttpServletResponseProxy.getWriter(ServletR</font></div><div><font face="monospace, monospace">equestScopedStorageService.java:564)</font></div><div><font face="monospace, monospace">at org.springframework.web.servlet.view.velocity.VelocityView.mergeTemplate(VelocityView.java:517)</font></div><div><font face="monospace, monospace">at org.springframework.web.servlet.view.velocity.VelocityView.doRender(VelocityView.java:462)</font></div><div><font face="monospace, monospace">at org.springframework.web.servlet.view.velocity.VelocityView.renderMergedTemplateModel(VelocityView.java:292)</font></div><div><font face="monospace, monospace">at org.springframework.web.servlet.view.AbstractTemplateView.renderMergedOutputModel(AbstractTemplateView.java:167)</font></div><div><font face="monospace, monospace">at org.springframework.web.servlet.view.AbstractView.render(AbstractView.java:303)</font></div><div><font face="monospace, monospace">at org.springframework.web.servlet.DispatcherServlet.render(DispatcherServlet.java:1228)</font></div><div><font face="monospace, monospace">at org.springframework.web.servlet.DispatcherServlet.processDispatchResult(DispatcherServlet.java:1011)</font></div><div><font face="monospace, monospace">at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:955)</font></div><div><font face="monospace, monospace">at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:877)</font></div><div><font face="monospace, monospace">at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:966)</font></div><div><font face="monospace, monospace">at org.springframework.web.servlet.FrameworkServlet.doGet(FrameworkServlet.java:857)</font></div><div><font face="monospace, monospace">at javax.servlet.http.HttpServlet.service(HttpServlet.java:624)</font></div><div><font face="monospace, monospace">at org.springframework.web.servlet.FrameworkServlet.service(FrameworkServlet.java:842)</font></div><div><font face="monospace, monospace">at javax.servlet.http.HttpServlet.service(HttpServlet.java:731)</font></div><div><font face="monospace, monospace">at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:303)</font></div><div><font face="monospace, monospace">at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208)</font></div><div><font face="monospace, monospace">at org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)</font></div><div><font face="monospace, monospace">at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:241)</font></div><div><font face="monospace, monospace">at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208)</font></div><div><font face="monospace, monospace">at net.shibboleth.idp.log.SLF4JMDCServletFilter.doFilter(SLF4JMDCServletFilter.java:64)</font></div><div><font face="monospace, monospace">at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:241)</font></div><div><font face="monospace, monospace">at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208)</font></div><div><font face="monospace, monospace">at net.shibboleth.utilities.java.support.net.RequestResponseContextFilter.doFilter(RequestResponseContextFilter.java:60)</font></div><div><font face="monospace, monospace">at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:241)</font></div><div><font face="monospace, monospace">at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208)</font></div><div><font face="monospace, monospace">at org.springframework.web.filter.CharacterEncodingFilter.doFilterInternal(CharacterEncodingFilter.java:88)</font></div><div><font face="monospace, monospace">at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107)</font></div><div><font face="monospace, monospace">at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:241)</font></div><div><font face="monospace, monospace">at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208)</font></div><div><font face="monospace, monospace">at org.opensaml.storage.impl.ServletRequestScopedStorageService.doFilter(ServletRequestScopedStorageService.java:276)</font></div><div><font face="monospace, monospace">at org.springframework.web.filter.DelegatingFilterProxy.invokeDelegate(DelegatingFilterProxy.java:344)</font></div><div><font face="monospace, monospace">at org.springframework.web.filter.DelegatingFilterProxy.doFilter(DelegatingFilterProxy.java:261)</font></div><div><font face="monospace, monospace">at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:241)</font></div><div><font face="monospace, monospace">at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208)</font></div><div><font face="monospace, monospace">at org.opensaml.storage.impl.ServletRequestScopedStorageService.doFilter(ServletRequestScopedStorageService.java:276)</font></div><div><font face="monospace, monospace">at org.springframework.web.filter.DelegatingFilterProxy.invokeDelegate(DelegatingFilterProxy.java:344)</font></div><div><font face="monospace, monospace">at org.springframework.web.filter.DelegatingFilterProxy.doFilter(DelegatingFilterProxy.java:261)</font></div><div><font face="monospace, monospace">at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:241)</font></div><div><font face="monospace, monospace">at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208)</font></div><div><font face="monospace, monospace">at net.shibboleth.utilities.java.support.net.CookieBufferingFilter.doFilter(CookieBufferingFilter.java:67)</font></div><div><font face="monospace, monospace">at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:241)</font></div><div><font face="monospace, monospace">at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208)</font></div><div><font face="monospace, monospace">at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:203)</font></div><div><font face="monospace, monospace">at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:122)</font></div><div><font face="monospace, monospace">at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:505)</font></div><div><font face="monospace, monospace">at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:169)</font></div><div><font face="monospace, monospace">at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:103)</font></div><div><font face="monospace, monospace">at org.apache.catalina.valves.AccessLogValve.invoke(AccessLogValve.java:956)</font></div><div><font face="monospace, monospace">at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:116)</font></div><div><font face="monospace, monospace">at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:436)</font></div><div><font face="monospace, monospace">at org.apache.coyote.ajp.AjpProcessor.process(AjpProcessor.java:190)</font></div><div><font face="monospace, monospace">at org.apache.coyote.AbstractProtocol$AbstractConnectionHandler.process(AbstractProtocol.java:625)</font></div><div><font face="monospace, monospace">at org.apache.tomcat.util.net.JIoEndpoint$SocketProcessor.run(JIoEndpoint.java:316)</font></div><div><font face="monospace, monospace">at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)</font></div><div><font face="monospace, monospace">at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)</font></div><div><font face="monospace, monospace">at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)</font></div><div><font face="monospace, monospace">at java.lang.Thread.run(Thread.java:744)</font></div><div><br></div><div>Has anyone experienced the same issue? Any idea we could use to solve this?</div><div><br></div><div>Thanks a lot !</div><div><div dir="ltr" class="gmail-m_-2082878350440169684gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><br><hr><span style="font-family:Verdana,Tahoma;font-size:11px;color:rgb(46,58,105)"><span style="font-weight:bold">Manolo García</span> <br>Arquitectura i Sistemes<br><span style="font-weight:bold">Universitat Oberta de Catalunya</span> <br></span> <br><span style="font-family:Verdana,Tahoma;font-size:11px;color:rgb(77,77,77)">93 326 (3451) | </span><font color="#4d4d4d" face="Verdana, Tahoma"><span style="font-size:11px">689 88 30 93 </span></font><span style="color:rgb(77,77,77);font-family:Verdana,Tahoma;font-size:11px">| </span><a href="mailto:mgarciaal@uoc.edu" style="font-family:Verdana,Tahoma;font-size:11px" target="_blank">mgarciaal@uoc.edu</a><span style="color:rgb(77,77,77);font-family:Verdana,Tahoma;font-size:11px"> </span></div><div dir="ltr"><span style="font-family:Verdana,Tahoma;font-size:11px;color:rgb(77,77,77)"><div dir="ltr"><div dir="ltr">Parc Mediterrani de la Tecnologia (edifici B3)</div><div dir="ltr">Av. Carl Friedrich Gauss, 5.</div><div dir="ltr">08860 Castelldefels</div></div></span><img alt="Universitat Oberta de Catalunya" src="http://cv.uoc.edu/WebMail/resources/img/UOC_e_mail.gif" style="border: medium none;"> <br><span style="font-family:Verdana,Tahoma;font-size:10px;color:rgb(150,151,152)">Aquest missatge s'adreça exclusivament a qui va destinat i pot contenir informació privilegiada o confidencial i dades de caràcter personal, la difusió de les quals és regulada per la Llei orgànica de protecció de dades i la Llei de serveis de la societat de la informació. Si no sou la persona destinatària indicada (o la responsable de lliurar-lo a qui va destinat), no heu de copiar aquest missatge ni lliurar-lo a tercers per cap concepte. Si heu rebut aquest missatge per error o l'heu aconseguit per altres mitjans, us demanem que ens ho comuniqueu immediatament per aquesta mateixa via i l'elimineu irreversiblement.</span>  <br> <br><span style="font-family:Verdana,Tahoma;font-size:10px;color:rgb(150,151,152)">Abans d'imprimir aquest missatge electrònic penseu en el medi ambient.</span><br></div></div></div></div></div></div></div></div></div></div></div></div></div></div>
</blockquote></div>