Integratie wait en mpitests-mpich

- Gebruik gemaakt van wait als init zodat de processen opgeruimt worden
 - mpitests-mpich als mpi demo toegevoegd
 - In README: testen uitgebreid met mpi & logfiles sbatch beschreven

README.md

@@ -61,10 +61,43 @@ Wat je ziet is dat elke node 2 scripten start.
 
 De overige 4 blijven in de queue staan.
 
+Je kunt de output van de shell script bekijken in de logfiles
+slurm-<nr>.out
+
+### Mpich test programma's
+
+Via srun kunnen we programma's vanaf de submit node in de voorgrond draaien.
+De output komt dan gewoon naar het scherm.
+
+Start het mpi hello test programma met:
+```
+srun --mpi=pmi2 -n 4 /usr/lib64/mpich/bin/mpitests-osu_hello
+```
+
+We zien dat hij netjes meld dat hij met 4 nodes gedraait heeft.
+
+We kunnen ook een latency test draaien met 2 nodes:
+```
+srun --mpi=pmi2 -n 2 /usr/lib64/mpich/bin/mpitests-osu_acc_latency
+```
+
+In dit geval draaien beide programma's op de zelfde node.
+Laten we het zelfde doen maar dan een mpi programma per node:
+```
+srun --mpi=pmi2 -N 2 -n 2 /usr/lib64/mpich/bin/mpitests-osu_acc_latency
+```
+
+In dat geval zien we een hogere latency!
+
+Ten slotte een test waarbij mpi op alle beschikbare cpu's draait:
+
+```
+srun --mpi=pmi2 -n 4 /usr/lib64/mpich/bin/mpitests-osu_allgather
+```
+
 ## Todo
 ### Nu
 
- - Integratie mpi.
  - Integratie waqua/d-hydro.
  - Workshop schrijven.
 

cal/files/startup

@@ -1,4 +1,5 @@
 #!/bin/sh
 
 su -s /bin/sh munge -c /usr/sbin/munged
-exec /opt/slurm/sbin/slurmd -D /opt/slurm/etc/slurm.conf
+/opt/slurm/sbin/slurmd /opt/slurm/etc/slurm.conf
+exec /sbin/wait

slurm-base/Dockerfile

@@ -14,7 +14,9 @@ RUN "/usr/bin/yum" "-y" "install" \
 	https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
 
 RUN "/usr/bin/yum" "-y" "install" \
-	slurm
+	slurm \
+	mpich-3.0 \
+	mpitests-mpich
 
 RUN "/usr/sbin/groupadd" "-g" "1000" "marceln"
 RUN "/usr/sbin/useradd" \
@@ -38,3 +40,8 @@ RUN chmod 600 /etc/munge/munge.key
 RUN mkdir /opt/slurm/etc /var/log/slurm/
 ADD files/slurm.conf /opt/slurm/etc/slurm.conf
 ADD files/slurm.sh /etc/profile.d/slurm.sh
+
+#
+# Add wait
+#
+ADD files/wait /sbin/wait

slurm-base/files/startup

@@ -1,4 +0,0 @@
-#!/bin/sh
-
-su -s /bin/sh munge -c /usr/sbin/munged
-exec /opt/slurm/sbin/slurmctld -D /opt/slurm/etc/slurm.conf

submit/files/startup

@@ -1,4 +1,6 @@
 #!/bin/sh
 
 su -s /bin/sh munge -c /usr/sbin/munged
-exec /opt/slurm/sbin/slurmctld -D /opt/slurm/etc/slurm.conf
+/opt/slurm/sbin/slurmctld /opt/slurm/etc/slurm.conf
+exec /sbin/wait
+