<div dir="ltr">Glad this helps.<div><br><div>Since you are looking at that, I would be interested to get similar numbers for other CI systems, to see where we are.</div><div><br></div><div>Pierre</div><div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr">Le jeu. 23 mars 2017 à 22:21, Finn Herzfeld <<a href="mailto:fherzfeld@splunk.com">fherzfeld@splunk.com</a>> a écrit :<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">







<div bgcolor="white" lang="EN-US" link="blue" vlink="purple" class="gmail_msg">
<div class="m_-4683289810843346387WordSection1 gmail_msg">
<p class="MsoNormal gmail_msg"><span style="font-size:11.0pt;font-family:Calibri" class="gmail_msg">Thanks, this is exactly the sort of numbers I was looking for. Very much appriciated<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
<p class="MsoNormal gmail_msg"><span style="font-size:11.0pt;font-family:Calibri" class="gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></span></p>
<div style="border:none;border-top:solid #b5c4df 1.0pt;padding:3.0pt 0in 0in 0in" class="gmail_msg">
<p class="MsoNormal gmail_msg"><b class="gmail_msg"><span style="font-family:Calibri;color:black" class="gmail_msg">From: </span>
</b><span style="font-family:Calibri;color:black" class="gmail_msg">Pierre Tardy <<a href="mailto:tardyp@gmail.com" class="gmail_msg" target="_blank">tardyp@gmail.com</a>><br class="gmail_msg">
<b class="gmail_msg">Date: </b>Thursday, March 23, 2017 at 2:01 PM<br class="gmail_msg">
<b class="gmail_msg">To: </b>Finn Herzfeld <<a href="mailto:fherzfeld@splunk.com" class="gmail_msg" target="_blank">fherzfeld@splunk.com</a>>, "<a href="mailto:users@buildbot.net" class="gmail_msg" target="_blank">users@buildbot.net</a>" <<a href="mailto:users@buildbot.net" class="gmail_msg" target="_blank">users@buildbot.net</a>><br class="gmail_msg">
<b class="gmail_msg">Subject: </b>Re: [<a href="mailto:users@bb.net" class="gmail_msg" target="_blank">users@bb.net</a>] Buildbot scaling limits<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</div></div></div><div bgcolor="white" lang="EN-US" link="blue" vlink="purple" class="gmail_msg"><div class="m_-4683289810843346387WordSection1 gmail_msg">
<div class="gmail_msg">
<p class="MsoNormal gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">Hi Finn, <u class="gmail_msg"></u><u class="gmail_msg"></u></p>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">I did start a while ago a scalability study on Buildbot nine, which I did not have time to completely finish yet.<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">When looking at the profiles of Buildbot under load, we can see that the most important load contributor is the compression and storage of the logs in the sql db<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg"><a href="https://github.com/tardyp/buildbot_profiler" class="gmail_msg" target="_blank">https://github.com/tardyp/buildbot_profiler</a><u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">In order to assess how much the system can keep up with, I started up to 300 workers, and a variable number of masters.<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">The builders are configured to output 40000 lines of log as fast as possible.<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">I used an experimental marathon setup that we have at work, and I actually ran into stability issues of our nixy loadbalancing system, while running those tests.<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">But Buildbot did run flawlessly in this setup.<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">One the maximum load, I saw the postgresql running at max 80%cpu, while 4 masters were at full cpu load.<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">During that test, the whole system was able to eat 50000 lines of logs per seconds (20MB/s). As a log processing company, this might sound a bit few, but this is our current state.<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">I wasn't able to run with more masters and workers yet, as the marathon setup I used for this test wasn't big enough.<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">I really need to publish the numbers officially, though. But this will take a bit more time, as I want to also capture the cpu and network throughput stats during the test.<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">From the theorical point of view:<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">- buildbot is horizontally scalable, and you can create as much master as you want<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">- buildbot requires a sql database to store the data, this is for me the major brake in term of horizontal scalability. I did not manage yet to fully load postgresql though.<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">- there is also crossbar as a single point of failure, but given the number of messages that buildbot generates, and the perf numbers that crossbar publishes, I dont think it will be a proble,<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">  <u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">I know that there are some other people on that list that run multimaster on prod, and which can give more inputs.<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">From what I can tell of the feedbacks he has been given here, the multimaster process was not very much the issue he had. I can remember a lot of discussion with live reconfiguration of schedulers, which we finally fixed in 0.9.4.<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">We also have the usage statistics that we collect since 0.9.2.<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">Here is the number master running on buildbot, sorting by number of builders. (for people who publish their stats)<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<div class="gmail_msg">
<table class="m_-4683289810843346387MsoNormalTable gmail_msg" border="0" cellspacing="0" cellpadding="0" width="332" style="width:249.0pt;border-collapse:collapse;box-sizing:border-box;max-width:100%">
<thead class="gmail_msg">
<tr style="box-sizing:border-box" class="gmail_msg">
<td valign="bottom" style="border:none;border-bottom:solid #ecf0f1 1.5pt;padding:3.75pt 3.75pt 3.75pt 3.75pt" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span class="m_-4683289810843346387inbox-inbox-ng-binding gmail_msg"><b class="gmail_msg"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">plugins.buildbot/config/BuilderConfig: Descending</span></b></span><span class="m_-4683289810843346387inbox-inbox-apple-converted-space gmail_msg"><b class="gmail_msg"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">  </span></b></span><b class="gmail_msg"><span style="font-family:Helvetica;color:#444444" class="gmail_msg"><u class="gmail_msg"></u><u class="gmail_msg"></u></span></b></p>
</td>
<td valign="bottom" style="border:none;border-bottom:solid #ecf0f1 1.5pt;padding:3.75pt 3.75pt 3.75pt 3.75pt" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span class="m_-4683289810843346387inbox-inbox-ng-binding gmail_msg"><b class="gmail_msg"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">Unique count of installid.raw</span></b></span><b class="gmail_msg"><span style="font-family:Helvetica;color:#444444" class="gmail_msg"><u class="gmail_msg"></u><u class="gmail_msg"></u></span></b></p>
</td>
</tr>
</thead>
<tbody class="gmail_msg">
<tr style="box-sizing:border-box" class="gmail_msg">
<td valign="top" style="border:none;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">114<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
<td valign="top" style="border:none;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">3<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
</tr>
<tr style="box-sizing:border-box" class="gmail_msg">
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">102<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">2<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
</tr>
<tr style="box-sizing:border-box" class="gmail_msg">
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">98<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">1<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
</tr>
<tr style="box-sizing:border-box" class="gmail_msg">
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">94<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">13<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
</tr>
<tr style="box-sizing:border-box" class="gmail_msg">
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">93<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">1<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
</tr>
<tr style="box-sizing:border-box" class="gmail_msg">
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">90<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">1<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
</tr>
<tr style="box-sizing:border-box" class="gmail_msg">
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">84<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">9<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
</tr>
<tr style="box-sizing:border-box" class="gmail_msg">
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">82<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">21<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
</tr>
<tr style="box-sizing:border-box" class="gmail_msg">
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">81<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">1<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
</tr>
</tbody>
</table>
<p class="MsoNormal gmail_msg">And here the number of master installation sorted by number of worker attached, again this is for the people that publish. This is why you don't see my tests here.<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
<table class="m_-4683289810843346387MsoNormalTable gmail_msg" border="0" cellspacing="0" cellpadding="0" width="331" style="width:248.25pt;border-collapse:collapse;box-sizing:border-box;max-width:100%">
<thead class="gmail_msg">
<tr style="box-sizing:border-box" class="gmail_msg">
<td valign="bottom" style="border:none;border-bottom:solid #ecf0f1 1.5pt;padding:3.75pt 3.75pt 3.75pt 3.75pt" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span class="m_-4683289810843346387inbox-inbox-ng-binding gmail_msg"><b class="gmail_msg"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">plugins.buildbot/worker/base/Worker: Descending</span></b></span><span class="m_-4683289810843346387inbox-inbox-apple-converted-space gmail_msg"><b class="gmail_msg"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">  </span></b></span><b class="gmail_msg"><span style="font-family:Helvetica;color:#444444" class="gmail_msg"><u class="gmail_msg"></u><u class="gmail_msg"></u></span></b></p>
</td>
<td valign="bottom" style="border:none;border-bottom:solid #ecf0f1 1.5pt;padding:3.75pt 3.75pt 3.75pt 3.75pt" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span class="m_-4683289810843346387inbox-inbox-ng-binding gmail_msg"><b class="gmail_msg"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">Unique count of installid.raw</span></b></span><b class="gmail_msg"><span style="font-family:Helvetica;color:#444444" class="gmail_msg"><u class="gmail_msg"></u><u class="gmail_msg"></u></span></b></p>
</td>
</tr>
</thead>
<tbody class="gmail_msg">
<tr style="box-sizing:border-box" class="gmail_msg">
<td valign="top" style="border:none;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">52<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
<td valign="top" style="border:none;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">5<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
</tr>
<tr style="box-sizing:border-box" class="gmail_msg">
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">49<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">5<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
</tr>
<tr style="box-sizing:border-box" class="gmail_msg">
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">46<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">13<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
</tr>
<tr style="box-sizing:border-box" class="gmail_msg">
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">27<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">35<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
</tr>
<tr style="box-sizing:border-box" class="gmail_msg">
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">26<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">15<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
</tr>
<tr style="box-sizing:border-box" class="gmail_msg">
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">22<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">5<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
</tr>
<tr style="box-sizing:border-box" class="gmail_msg">
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">14<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">17<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
</tr>
<tr style="box-sizing:border-box" class="gmail_msg">
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">13<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">24<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
</tr>
<tr style="box-sizing:border-box" class="gmail_msg">
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">10<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
<td valign="top" style="border:none;border-top:solid #ecf0f1 1.0pt;padding:3.75pt 3.75pt 3.75pt 3.75pt;box-sizing:border-box" class="gmail_msg">
<p class="MsoNormal gmail_msg" style="margin-bottom:13.5pt"><span style="font-family:Helvetica;color:#444444" class="gmail_msg">6<u class="gmail_msg"></u><u class="gmail_msg"></u></span></p>
</td>
</tr>
</tbody>
</table>
<p class="MsoNormal gmail_msg">We don't upload data on multi-master, so I can't tell how many multimaster instance we have.<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">I would love to see more people using Buildbot at large scale, and help fixing the performance issues.<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">Regards,<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">Pierre<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
</div>
<p class="MsoNormal gmail_msg"><u class="gmail_msg"></u> <u class="gmail_msg"></u></p>
<div class="gmail_msg">
<div class="gmail_msg">
<p class="MsoNormal gmail_msg">Le jeu. 23 mars 2017 à 19:26, Finn Herzfeld <<a href="mailto:fherzfeld@splunk.com" class="gmail_msg" target="_blank">fherzfeld@splunk.com</a>> a écrit :<u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
<blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in" class="gmail_msg">
<div class="gmail_msg">
<div class="gmail_msg">
<p class="MsoNormal gmail_msg"><span class="m_-4683289810843346387gmailmsg gmail_msg"><span style="font-size:11.0pt" class="gmail_msg">Hey all,</span></span><u class="gmail_msg"></u><u class="gmail_msg"></u></p>
<p class="MsoNormal gmail_msg"><span class="m_-4683289810843346387gmailmsg gmail_msg"><span style="font-size:11.0pt" class="gmail_msg">We’re evaluating using Buildbot here at Splunk, we think it’s really cool and could potentially solve a lot of our problems.
 One of the questions that’s come up is how large it can scale in a multi-master environment. How large have others scaled it? What resources are going to be constrained when scaling it? What issues are people running into with the current state of multi-master?
 I see that it’s is considered experimental.</span></span><u class="gmail_msg"></u><u class="gmail_msg"></u></p>
<p class="MsoNormal gmail_msg"><span class="m_-4683289810843346387gmailmsg gmail_msg"><span style="font-size:11.0pt" class="gmail_msg"> </span></span><u class="gmail_msg"></u><u class="gmail_msg"></u></p>
<p class="MsoNormal gmail_msg"><span class="m_-4683289810843346387gmailmsg gmail_msg"><span style="font-size:11.0pt" class="gmail_msg">Thanks,</span></span><u class="gmail_msg"></u><u class="gmail_msg"></u></p>
<p class="MsoNormal gmail_msg"><span class="m_-4683289810843346387gmailmsg gmail_msg"><span style="font-size:11.0pt" class="gmail_msg">Finn Herzfeld</span></span><u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</div>
</div>
<p class="MsoNormal gmail_msg">_______________________________________________<br class="gmail_msg">
users mailing list<br class="gmail_msg">
<a href="mailto:users@buildbot.net" class="gmail_msg" target="_blank">users@buildbot.net</a><br class="gmail_msg">
<a href="https://lists.buildbot.net/mailman/listinfo/users" class="gmail_msg" target="_blank">https://lists.buildbot.net/mailman/listinfo/users</a><u class="gmail_msg"></u><u class="gmail_msg"></u></p>
</blockquote>
</div>
</div></div></blockquote></div>