Evolutions of the Martini Database Webservice @ LBMC
Guillaume Launay
2024-03-27
Porteur du projet
Guillaume Launay (Eq. DAMM, LBMC)
Personnes impliquées
Guillaume Launay, Stéphane Janczarski, Paulo Telles De Souza.
[Problématique biologique
Les membres de l’équipe DAMM souhaitent opérer le transfert du serveur web MAD, conçu l’année dernière, dans l’infrastructure informatique de l’ENS/LBMC. Ce webservice est une plateforme de partage de modèles moléculaires pour le champ de force,à gros grains (CG), Martini .
Le champ de force de Martini est un des principaux champs de force à gros grain disponibles. Il offre la possibilité de décrire les interactions moléculaires dans les systèmes contenant des lipides, des protéines, des hydrates de carbone,des acides nucléiques, des polymères, des nanoparticules. Il permet la modélisation d’organite entiers jusqu’à la cellule.
Le webservice MAD coordonne un écosystème d’outils et de données facilitant l’utilisation du champ de force Martini. MAD permet, entre autres, la conversion de structures atomistiques en structures CG, la préparation de systèmes complexes pour des simulations de dynamique moléculaire. MAD permet en outre, de soumettre ou d’explorer et choisir parmi les centaines de modèles moléculaires mis à disposition par les chercheurs du domaine.
Dans le cadre du transfert de MAD au sein de l’ENS, le webservice va être amélioré avec l’ajout d’un outil de fabrication de polymères.
Après discussion avec les équipes du PSMN, il est apparu que l’infrastructure de ce pôle ne permettait pas la mise à disposition de moyens de calcul adéquats pour soutenir les besoins d’un webservice. Les deux principales éléments de blocage étant:
l’isolation du PSMN, notamment son accession autorisée uniquement > via des connexions SSH non persistantes.
la configuration du système de queue du gestionnaire SLURM, > défavorables aux nombreuses soumissions de courte durée propres au > webservice.
Suite à ce constat, le porteur de projet a collaboré avec Stéphane Janczarski pour la mise en place de 3 VMs dans l’infrastructure du LBMC, qui hébergent actuellement la version de pré-production du webservice. Cette instance est accessible au sein du réseau ENS à cette adresse: http://madmax.biologie.ens-lyon.fr:8080.
Questions
Dans le cadre de l’évolution du service MAD et de sa publication associée, l’équipe DAMM souhaite collaborer avec le BioHub pour déployer le webservice MAD au sein de infrastructure du LBMC. Les différentes étapes envisagées sont:
- Maintien de la version de préproduction sur les trois machines virtuelles accessibles uniquement dans le domaine ENS.
- Déploiement d’une version de production de ce service sur trois autres machines virtuelles. Le serveur web serait alors accessible au public via un reverse proxy sécurisé.
- Substitution de la machine virtuelle dédiée aux calculs par un cluster SLURM assemblé à partir de machines reconditionnées.
- Mise en place d’un cluster SLURM sur des machines achetées par un ensemble d’équipes du LBMC souhaitant investir dans une infrastructure de calculs pour leurs services web.
Au titre du point 3, ce projet ferait office de dispositif démonstrateur quant à la capacité du LBMC à proposer des webservices de bio-informatique nécessitant calculs et stockage. Les savoir-faire technologiques accumulés lors de ce projet bénéficieront à toutes les équipes du LBMC cherchant à valoriser leurs recherches au travers de webservices.
Au titre du point 4, le projet pourra initier la mise en place d’investissements mutualisés entre les équipes du LBMC souhaitant fournir des moyens de calculs adaptés à leur webservice.
Données et logiciels
Les données consistent en une base de données NoSQL et des fichiers de structures stockés dans un dépôt dédié géré par l’équipe DAMM.
Les bases de codes nécessaires à l’exécution du services web sont disponibles ici :
- back-end: https://gitbio.ens-lyon.fr/damm/mad-back
- front-end: https://github.com/MMSB-MOBI/martinize-db-client/tree/all_socket
- orchestrateur et gestionnaire de workflow: https://github.com/MMSB-MOBI/ms-jobmanager
La recette de déploiement des containers docker utilisés en développement est consultable ici : https://gitbio.ens-lyon.fr/damm/mad-containers
Maturité et perspectives
Décrivez la maturité du projet à son commencement:
- Manuscrit en cours de rédaction
- Trois collaborations internationales sont en cours pour l’ajout de fonctionnalités au webservice MAD.
Dates
- date du début du projet: mars 2024
- date d’obtention des données: les données existent déjà
- date d’obtention de l’intégralité des données:
- date souhaitée de fin du projet: 2024 pour le déploiement des points 1,2, 3 ci-dessus
Attentes
Stéphane met à disposition de Guillaume les machines virtuelles de test puis de production (en DMZ) sur le cluster Proxmox du LBMC ; il configure les systèmes (Debian) de ces VMs pour en assurer la sauvegarde, la sécurité et la supervision. Il met en place un serveur virtuel reverse proxy frontal en amont de l’application pour la sécuriser sur Internet (qui pourra à l’avenir être utile pour d’autres projets applicatifs d’équipes du LBMC). Après la mise en production, Stéphane construira un prototype de cluster SLURM pour remplacer la machine virtuelle dédiée aux calculs, à partir de serveurs physiques recyclés. A terme, Stéphane gérera un petit cluster de calcul dédié à l’application, qui pourra être étendu par la suite en fonction des besoins de calculs éventuels pour des applications web d’autres équipes du laboratoire.