Une message queue (file de messages) est un mécanisme de communication asynchrone entre composants logiciels. Un producteur dépose un message décrivant une tâche ou un événement, un consommateur — le worker — le traite à son rythme. Ce découplage dans le temps permet de sortir les traitements longs de la requête HTTP, d'absorber les pics et de rejouer ce qui a échoué.
Traitement asynchrone
Envoi d'e-mails, génération de documents, synchronisation avec un ERP, export vers une marketplace : ces traitements n'ont pas à bloquer l'utilisateur. Il obtient une réponse immédiate, et le travail se fait en arrière-plan.
Fiabilité et retry
Si un traitement échoue, le message est rejoué avec un délai croissant, puis isolé dans une dead letter queue s'il reste irrécupérable. RabbitMQ, Redis, Amazon SQS ou une simple table en base peuvent servir de transport ; Symfony Messenger unifie leur usage en PHP.
Ce qu'une file de messages ne fait pas
Une file de messages ne rend aucun traitement moins coûteux : elle le déplace, hors de la requête, dans un worker, à un autre moment. Si un traitement consomme dix secondes de CPU, il les consommera aussi dans le worker, souvent sur la même machine. Avant d'ajouter une file, je mesure donc ce que coûtent les traitements concernés. Sur un audit de charge pour Qezako, la demande initiale était d'ajouter Redis et une file de messages ; la mesure a montré que la charge venait de défauts — un outil de rendu mal choisi, un appel lent dans la requête, un cron sans verrou — dont la correction suffisait. Messenger reste prévu pour le jour où un vrai cas asynchrone se présentera.
Quand une file de messages se justifie
- Un volume qui dépend de l'utilisateur : un export de N éléments qui ne tient plus dans une requête.
- Une dépendance externe lente ou instable : une API qui répond en erreur temporaire et demande des relances espacées, un dépôt de fichiers distant.
- Des flux d'intégration : synchronisation de stocks, import de commandes, réception de webhooks qu'il faut acquitter immédiatement puis traiter.
- Des traitements à prioriser ou à dédoublonner : une action interactive ne doit pas attendre derrière un export de nuit.
Comment je la mets en œuvre
Sur une plateforme SaaS PIM/DAM, les traitements lourds passent par Symfony Messenger avec trois files de priorité — haute, normale, basse — et un suivi de progression visible par l'utilisateur. Chaque export vers un canal de vente est dispatché comme un message et traité par un worker, ce qui permet de paralléliser les exports vers plusieurs canaux sans bloquer l'interface.
Les choix qui reviennent sur chaque projet :
- Le transport le plus simple qui suffit. Le transport Doctrine stocke les messages dans la base déjà sauvegardée et supervisée. Redis ou RabbitMQ ne se justifient que lorsque le débit fatigue la base ou que plusieurs serveurs doivent partager la file. En PME et ETI, un bus comme Kafka est rarement nécessaire.
- Des handlers idempotents : un message peut être livré plusieurs fois, et son traitement doit produire le même résultat.
- Une stratégie de retry explicite, avec un nombre de tentatives, un délai croissant et une file d'échec examinée régulièrement.
- Le dédoublonnement par famille quand un même objet est modifié en rafale : seul le dernier message d'une famille (par exemple la réindexation d'un produit donné) est réellement traité. Je décris le mécanisme dans Ne traiter que le dernier message avec Symfony Messenger.
- Des workers à durée de vie bornée, redémarrés régulièrement pour éviter les fuites de mémoire, et supervisés.
Les pièges à éviter
- Ajouter un broker par réflexe : c'est un démon de plus à installer, sécuriser, surveiller et mettre à jour, et un mode de panne de plus à prévoir.
- Perdre le contexte : un worker n'a pas la requête HTTP. Utilisateur, tenant ou langue doivent voyager dans le message.
- Des messages trop lourds : transporter un identifiant et relire l'état à jour vaut mieux que sérialiser un objet complet, vite périmé.
- Une file sans supervision : une file qui grossit ou une dead letter queue qui se remplit sans alerte, c'est une panne silencieuse.
Une file de messages déplace la charge, elle ne la supprime pas. Bien utilisée, elle transforme une architecture synchrone fragile en système résilient ; ajoutée par réflexe, elle complique l'exploitation sans rien résoudre.
Je conçois ces architectures asynchrones dans le cadre de mes missions d'architecture et performance applicative. Pour savoir quand une file est réellement nécessaire, voir Avant Redis et Messenger, corriger les défauts de charge.