<div dir="ltr">Hi Dan,<div>Buildbot eight manage a cache of unpickled builds, which is per builder<br></div><div><a href="http://docs.buildbot.net/0.8.12/manual/cfg-global.html#caches">http://docs.buildbot.net/0.8.12/manual/cfg-global.html#caches</a></div><div>The doc here suggest the default cache is 500 builds, which looks very big to me you can try to reduce that value<br>On my eight prod, I had to tweak that value a lot in order to compromise speed VS memory.</div><div>The 3GB usage is indeed a common number (and often much more)</div><div><br><div>The pickle problem and its scalability issues is the main reason why we started the nine project.</div><div><br></div>For the comparaison, I started a simple master.cfg with 2000 builders:</div><div><a href="https://paste.fedoraproject.org/460567/89908147/">https://paste.fedoraproject.org/460567/89908147/</a></div><div><br></div><div>It runs happily on my mac with 150MB of memory.</div><div><br></div><div>Pierre</div><div><br class="inbox-inbox-Apple-interchange-newline"><div class="gmail_quote"><div dir="ltr">Le lun. 24 oct. 2016 à 16:53, Dan Kegel <<a href="mailto:dank@kegel.com">dank@kegel.com</a>> a écrit :<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">15 days of uptime, about 1450 builders, and twisted is using 1.7GB of<br class="gmail_msg">
*physical* ram.<br class="gmail_msg">
<br class="gmail_msg">
  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND<br class="gmail_msg">
 1196 buildbot  20   0 3124m 1.7g 4456 S   10 14.8   1515:22 twistd<br class="gmail_msg">
<br class="gmail_msg">
Aw, what the heck, RAM is cheap these days... still, it's a bit surprising.<br class="gmail_msg">
<br class="gmail_msg">
<br class="gmail_msg">
On Mon, May 16, 2016 at 2:35 PM, Dan Kegel <<a href="mailto:dank@kegel.com" class="gmail_msg" target="_blank">dank@kegel.com</a>> wrote:<br class="gmail_msg">
> What's normal RAM consumption for twisted on buildbot master for 0.8.12?<br class="gmail_msg">
> With 1359 builders, I'm seeing 1.4GB.  If memory use is proportional<br class="gmail_msg">
> to builders, that's 100MB/builder.<br class="gmail_msg">
><br class="gmail_msg">
> Here's the output of top after two days of uptime.  This is steady<br class="gmail_msg">
> state; if someone clicks on the waterfall, CPU spikes to 277%, but ram<br class="gmail_msg">
> doesn't climb.<br class="gmail_msg">
><br class="gmail_msg">
>   PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND<br class="gmail_msg">
>  1223 buildbot  20   0  2681m 1.4g  4340 D   0 17.7 130:18.76 twistd<br class="gmail_msg">
_______________________________________________<br class="gmail_msg">
users mailing list<br class="gmail_msg">
<a href="mailto:users@buildbot.net" class="gmail_msg" target="_blank">users@buildbot.net</a><br class="gmail_msg">
<a href="https://lists.buildbot.net/mailman/listinfo/users" rel="noreferrer" class="gmail_msg" target="_blank">https://lists.buildbot.net/mailman/listinfo/users</a><br class="gmail_msg">
</blockquote></div></div></div>