<div dir="ltr">Hi Neil,<div>I am not sure exactly how I can help on this as you are describing lots of symptoms.</div><div><br></div><div>What goes to my mind right now is a problem with the message queue. In the multimaster tests I am doing, I figured out that a disconnection of the message queue is not recovered right now, which could explain why build do not start (the master will not check for new requests unless they receive a message)</div><div><br></div><div>However, when the mq fails, I can see evidence of it in the logs, but you don't mention any issue in the logs.</div><div><br></div><div>Database integrity errors looks bad also, what kind of errors is that? We already had some reports of those which were due to a failing disk. Could that be the case?</div><div><br></div><div>Regards</div><div>Pierre</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr">On Mon, Mar 6, 2017 at 10:36 PM Neil Gilmore <<a href="mailto:ngilmore@grammatech.com">ngilmore@grammatech.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi everyone,<br class="gmail_msg">
<br class="gmail_msg">
Well, things ran OK for a couple weeks. But we had some problems<br class="gmail_msg">
starting last weekend. At least some failure emails don't seem to be<br class="gmail_msg">
getting sent out. And a problem we'd been having a bit of got a lot worse.<br class="gmail_msg">
<br class="gmail_msg">
For whatever reason, queued builds don't seem to want to start.<br class="gmail_msg">
Sometimes for hours. Even forced builds. This doesn't seem to be a<br class="gmail_msg">
locking problem, though I'll be having a look at that side in a bit. But<br class="gmail_msg">
we'll have builds sitting for hours before they start. If they start.<br class="gmail_msg">
Some of our people get antsy and cancel the current queue then force a<br class="gmail_msg">
build. But sometimes those wait, too.<br class="gmail_msg">
<br class="gmail_msg">
And we're having trouble getting the masters to deal with new revisions<br class="gmail_msg">
fro svn. Everything else looks OK (postcommit hooks, etc.) I'm just not<br class="gmail_msg">
sure what's going on.<br class="gmail_msg">
<br class="gmail_msg">
Reconfig hasn't helped, nor has restarting one of the masters.<br class="gmail_msg">
<br class="gmail_msg">
We are getting integrity errors in our database, too.<br class="gmail_msg">
<br class="gmail_msg">
Except for the database problem, the rest looks like network connection<br class="gmail_msg">
stuff, perhaps, though we haven't had any problems there for a while.<br class="gmail_msg">
<br class="gmail_msg">
Neil Gilmore<br class="gmail_msg">
<a href="http://grammatech.com" rel="noreferrer" class="gmail_msg" target="_blank">grammatech.com</a><br class="gmail_msg">
_______________________________________________<br class="gmail_msg">
users mailing list<br class="gmail_msg">
<a href="mailto:users@buildbot.net" class="gmail_msg" target="_blank">users@buildbot.net</a><br class="gmail_msg">
<a href="https://lists.buildbot.net/mailman/listinfo/users" rel="noreferrer" class="gmail_msg" target="_blank">https://lists.buildbot.net/mailman/listinfo/users</a><br class="gmail_msg">
</blockquote></div>