<div dir="ltr">Hi Dominic,<div><br></div><div>It is quite hard for us to answer your question as you are telling us about very specific problems you are encountering, but without really explaining the background of your requirements.</div><div><br></div><div>I wasn't aware of slurm, and it looks it has a fair overlap with the buildbot functionality.</div><div>So I would advise you to decide if you need to focus on using mostly the functionalities of slurm, or the ones of buildbot.</div><div><br></div><div>Being buildbot expert, my intuition would be to map a slurm jobs to buildbot's builds.</div><div>Buildbot is indeed expecting all over the place that each step of a build is running in the same work environment.</div><div><br></div><div>You can do that by doing your own SlurmLatentBuildSlave, which would start a buildbot slave as a slurm job, then the slave will use the slurm's job compute resource to execute the whole build.</div><div><br></div><div>HTH,</div><div>Don't hesitate to tell us why you want to use slurm. Is it just to use the compute power that your IT is providing to you?</div><div><br></div><div>Pierre</div></div><br><div class="gmail_quote"><div dir="ltr">Le ven. 13 nov. 2015 à 14:45, Dominic Kempf <<a href="mailto:dominic.kempf@iwr.uni-heidelberg.de">dominic.kempf@iwr.uni-heidelberg.de</a>> a écrit :<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Dear Buildbot list,<br>
<br>
I am currently working on a buildbot setup that wants to run buildslaves<br>
integrated into a small cluster that is using a SLURM scheduling<br>
system. I have trouble mapping my requirements to buildbot concepts in<br>
a suitable way.<br>
<br>
Problems arise from:<br>
* At first, I thought I can have just one buildslave on the cluster<br>
frontend,<br>
   that passes all build requests to a queue. But it seems that I rather<br>
need<br>
   one such slave on the frontend per job in the queue (sounds like a<br>
job for<br>
   a latent slave). Correct?<br>
* I have no clue yet on how to handle separate build steps, because either<br>
   - the job as submitted to SLURM must contain all build steps at<br>
     once - which makes a separation of logs etc. a pain<br>
   - every build step must be submitted to SLURM separately, with the jobs<br>
     depending on each other correctly - which is also a pain, because I<br>
cannot<br>
     guarantee things running on the same node.<br>
<br>
To further complicate things, I also want to run my builds in docker<br>
containers<br>
that we use to model heterogeneous userlands. Note that in the above<br>
context, this<br>
is different than for example in a DockerLatentBuildSlave: With the<br>
latter, the<br>
slave runs and builds its commands inside a docker container. In my<br>
approach, a<br>
(potenitally also dockerized) buildslave submits a job to a queue,<br>
which, when executed<br>
on some node, spins up another docker container there and runs the job<br>
inside that<br>
one.<br>
<br>
I am open to any sort of input and discussion!<br>
Thanks in advance,<br>
<br>
Dominic Kempf<br>
_______________________________________________<br>
users mailing list<br>
<a href="mailto:users@buildbot.net" target="_blank">users@buildbot.net</a><br>
<a href="https://lists.buildbot.net/mailman/listinfo/users" rel="noreferrer" target="_blank">https://lists.buildbot.net/mailman/listinfo/users</a><br>
</blockquote></div>