feat: allow multiple pod instances to be ran

- docker initialization marker is the creation of a .initialized file
  instead of detecting if the database has been created or not
- make createDb file cleaning is error-proof and can be executed
  multiple times in parallel
- collectstatic logs are quieter
- the default documentation advise to rely on the POD_INSTANCE
  environment var to discriminate ES_INDEX, caches and redis session
  prefix
- docker pod entrypoints rely on the POD_INSTANCE en var to detect the
  right .initialized file
- docker pod entrypoints rely on the POD_PORT en var to run the app on
  dedicated port
- the 'Site' object is not statically initialized with
  initial_data.json, but dynamically in main/apps.py
- the celery queues use the POD_INSTANCE var as keyprefixes
- the default database is named after POD_INSTANCE if available

Author: azmeuk

.gitignore

@@ -50,6 +50,7 @@ pod/main/static/custom/img
 !pod/custom/settings_local.py.example
 settings_local.py
 transcription/*
+.*initialized
 
 # Unit test utilities #
 #######################

Makefile

@@ -40,11 +40,10 @@ upgrade:
 
 # Création des données initiales dans la BDD SQLite intégrée
 createDB:
-	find . -path "*/migrations/*.py" -not -name "__init__.py" -delete
-	find . -path "*/migrations/*.pyc" -delete
+	find . -path "*/migrations/*.py" -not -name "__init__.py" -exec rm --force "{}" +
+	find . -path "*/migrations/*.pyc" -exec rm --force "{}" +
 	make updatedb
 	make migrate
-	python3 manage.py loaddata initial_data
 
 # Mise à jour des fichiers de langue
 lang:
@@ -78,7 +77,7 @@ pystyle:
 statics:
 	cd pod; yarn install; yarn upgrade
 	# --clear Clear the existing files before trying to copy or link the original file.
-	python3 manage.py collectstatic --clear
+	python3 manage.py collectstatic --clear --verbosity 0
 
 # Generate configuration docs in .MD format
 createconfigs:
@@ -171,6 +170,6 @@ endif
 	sudo rm -rf ./pod/static
 	sudo rm -rf ./pod/node_modules
 	sudo rm -rf ./pod/db_migrations
-	sudo rm -rf ./pod/db.sqlite3
-	sudo rm -rf ./pod/db_remote.sqlite3
+	sudo rm -rf ./pod/*.sqlite3
+	sudo rm -rf ./pod/.*initialized
 	sudo rm -rf ./pod/media

docker-compose-dev-with-volumes.yml

@@ -31,6 +31,7 @@ services:
     ports:
       - 9200:9200
     environment:
+      - logger.level=WARN
       - discovery.type=single-node
       - bootstrap.memory_lock=true
       - "ES_JAVA_OPTS=-Xms2g -Xmx2g"

docker-compose-full-dev-with-volumes-test.yml

@@ -70,6 +70,7 @@ services:
     ports:
       - 9200:9200
     environment:
+      - logger.level=WARN
       - discovery.type=single-node
       - bootstrap.memory_lock=true
       - "ES_JAVA_OPTS=-Xms2g -Xmx2g"

docker-compose-full-dev-with-volumes.yml

@@ -70,6 +70,7 @@ services:
     ports:
       - 9200:9200
     environment:
+      - logger.level=WARN
       - discovery.type=single-node
       - bootstrap.memory_lock=true
       - "ES_JAVA_OPTS=-Xms2g -Xmx2g"

dockerfile-dev-with-volumes/README.adoc

@@ -61,6 +61,8 @@ DOCKER_ENV=light
 Renseignez le fichier pod/custom/settings_local.py comme ceci :
 [source,python]
 ----
+import os
+INSTANCE = os.getenv("POD_INSTANCE", "pod")
 
 USE_PODFILE = True
 EMAIL_ON_ENCODING_COMPLETION = False
@@ -69,6 +71,7 @@ DEBUG = True
 # on précise ici qu'on utilise ES version 8
 ES_VERSION = 8
 ES_URL = ['http://elasticsearch.localhost:9200/']
+ES_INDEX = INSTANCE
 
 
 CACHES = {
@@ -78,22 +81,23 @@ CACHES = {
         "OPTIONS": {
             "CLIENT_CLASS": "django_redis.client.DefaultClient",
         },
-        "KEY_PREFIX": "pod"
+        "KEY_PREFIX": INSTANCE
     },
     "select2": {
         "BACKEND": "django_redis.cache.RedisCache",
         "LOCATION": "redis://redis.localhost:6379/2",
         "OPTIONS": {
             "CLIENT_CLASS": "django_redis.client.DefaultClient",
         },
+        'KEY_PREFIX': INSTANCE
     },
 }
 SESSION_ENGINE = "redis_sessions.session"
 SESSION_REDIS = {
     "host": "redis.localhost",
     "port": 6379,
     "db": 4,
-    "prefix": "session",
+    "prefix": f"session-{INSTANCE}",
     "socket_timeout": 1,
     "retry_on_timeout": False,
 }
@@ -148,7 +152,7 @@ Vous devriez obtenir ce message une fois esup-pod lancé
 ----
 $ pod-dev-with-volumes        | Superuser created successfully.
 ----
-L'application esup-pod est dès lors disponible via cette URL : localhost:8000
+L'application esup-pod est dès lors disponible via cette URL : pod.localhost:8000
 
 === Arrêt de la stack
 $ CTRL+C dans la fenetre depuis laquelle l'application esup-pod a été lancée

dockerfile-dev-with-volumes/pod-back/my-entrypoint-back.sh

@@ -1,28 +1,31 @@
 #!/bin/sh
-echo "Launching commands into pod-dev"
+INSTANCE="${POD_INSTANCE:-pod}"
+PORT="${POD_PORT:-8000}"
+echo "Launching commands into ${INSTANCE}-dev"
 mkdir -p pod/node_modules
 mkdir -p pod/db_migrations && touch pod/db_migrations/__init__.py
 ln -fs /tmp/node_modules/* pod/node_modules
 # Mise en route
 # Base de données SQLite intégrée
-BDD_FILE=/usr/src/app/pod/db.sqlite3
-if test ! -f "$BDD_FILE"; then
-    echo "$BDD_FILE does not exist."
+INIT_FILE="/usr/src/app/pod/.${INSTANCE}.initialized"
+if test ! -f "$INIT_FILE"; then
+    echo "$INIT_FILE does not exist."
     python3 manage.py create_pod_index
-    curl -XGET "elasticsearch:9200/pod/_search"
+    curl -XGET "elasticsearch.localhost:9200/${INSTANCE}/_search"
     # Deployez les fichiers statiques
-    python3 manage.py collectstatic --no-input --clear
+    python3 manage.py collectstatic --no-input --clear --verbosity 0
     # Lancez le script présent à la racine afin de créer les fichiers de migration, puis de les lancer pour créer la base de données SQLite intégrée.
     make createDB
     # SuperUtilisateur
     # Il faut créer un premier utilisateur qui aura tous les pouvoirs sur votre instance.
     python3 manage.py createsuperuser --noinput
+    touch "$INIT_FILE"
 else
-    echo "$BDD_FILE exist."
+    echo "$INIT_FILE exist."
 fi
 # Serveur de développement
 # Le serveur de développement permet de tester vos futures modifications facilement.
 # N'hésitez pas à lancer le serveur de développement pour vérifier vos modifications au fur et à mesure.
 # À ce niveau, vous devriez avoir le site en français et en anglais et voir l'ensemble de la page d'accueil.
-python3 manage.py runserver 0.0.0.0:8000 --insecure
+python3 manage.py runserver "0.0.0.0:${PORT}" --insecure
 sleep infinity

dockerfile-dev-with-volumes/pod/my-entrypoint.sh

@@ -1,28 +1,31 @@
 #!/bin/sh
-echo "Launching commands into pod-dev"
+INSTANCE="${POD_INSTANCE:-pod}"
+PORT="${POD_PORT:-8000}"
+echo "Launching commands into ${INSTANCE}-dev"
 mkdir -p pod/node_modules
 mkdir -p pod/db_migrations && touch pod/db_migrations/__init__.py
 ln -fs /tmp/node_modules/* pod/node_modules
 # Mise en route
 # Base de données SQLite intégrée
-BDD_FILE=/usr/src/app/pod/db.sqlite3
-if test ! -f "$BDD_FILE"; then
-    echo "$BDD_FILE does not exist."
+INIT_FILE="/usr/src/app/pod/.${INSTANCE}.initialized"
+if test ! -f "$INIT_FILE"; then
+    echo "$INIT_FILE does not exist."
     python3 manage.py create_pod_index
-    curl -XGET "elasticsearch.localhost:9200/pod/_search"
+    curl -XGET "elasticsearch.localhost:9200/${INSTANCE}/_search"
     # Deployez les fichiers statiques
-    python3 manage.py collectstatic --no-input --clear
+    python3 manage.py collectstatic --no-input --clear --verbosity 0
     # Lancez le script présent à la racine afin de créer les fichiers de migration, puis de les lancer pour créer la base de données SQLite intégrée.
     make createDB
     # SuperUtilisateur
     # Il faut créer un premier utilisateur qui aura tous les pouvoirs sur votre instance.
     python3 manage.py createsuperuser --noinput
+    touch "$INIT_FILE"
 else
-    echo "$BDD_FILE exist."
+    echo "$INIT_FILE exist."
 fi
 # Serveur de développement
 # Le serveur de développement permet de tester vos futures modifications facilement.
 # N'hésitez pas à lancer le serveur de développement pour vérifier vos modifications au fur et à mesure.
 # À ce niveau, vous devriez avoir le site en français et en anglais et voir l'ensemble de la page d'accueil.
-python3 manage.py runserver 0.0.0.0:8000 --insecure
+python3 manage.py runserver "0.0.0.0:${PORT}" --insecure
 sleep infinity

pod/main/apps.py

@@ -1,12 +1,32 @@
 """Esup-pod Main applications."""
 
+import os
+
 from django.apps import AppConfig
 from django.db.models.signals import post_migrate
 from django.utils.translation import gettext_lazy as _
+from django.conf import settings
 from django.core.exceptions import ObjectDoesNotExist
+from django.core.management import call_command
 
 import json
 
+SITE_ID = getattr(settings, "SITE_ID", 1)
+INSTANCE = os.getenv("POD_INSTANCE", "pod")
+PORT = os.getenv("POD_PORT", 8000)
+
+
+def load_data(sender, **kwargs):
+    from django.contrib.sites.models import Site
+
+    call_command("loaddata", "initial_data.json")
+
+    domain = f"{INSTANCE}.localhost:{PORT}"
+    site, _ = Site.objects.update_or_create(id=settings.SITE_ID)
+    site.domain = domain
+    site.name = domain
+    site.save()
+
 
 def create_missing_pages(sender, **kwargs) -> None:
     """Create missing flat pages from json fixtures."""
@@ -72,6 +92,7 @@ def create_missing_conf(sender, **kwargs) -> None:
 
     print("---> Creating missing configurations...")
     json_data = []
+
     with open("./pod/main/fixtures/initial_data.json", encoding="utf-8") as data_file:
         json_data = json.loads(data_file.read())
 
@@ -157,3 +178,4 @@ def ready(self):
         post_migrate.connect(create_missing_conf, sender=self)
         post_migrate.connect(create_missing_pages, sender=self)
         post_migrate.connect(create_first_block, sender=self)
+        post_migrate.connect(load_data, sender=self)

pod/main/celery.py

@@ -6,6 +6,13 @@
 # set the default Django settings module for the 'celery' program.
 os.environ.setdefault("DJANGO_SETTINGS_MODULE", "pod.settings")
 
+try:
+    from pod.custom import settings_local
+except ImportError:
+    from pod import settings as settings_local
+
+INSTANCE = getattr(settings_local, "INSTANCE", None)
+
 app = Celery("pod_project")
 
 # Using a string here means the worker doesn't have to serialize
@@ -20,6 +27,8 @@
     "pod.main.tasks.*": {"queue": "celery"},
     "pod.main.celery.*": {"queue": "celery"},
 }
+if INSTANCE:
+    app.conf.broker_transport_options = {"global_keyprefix": INSTANCE}
 
 
 @app.task(bind=True)