Prêtre à Bordeaux en 1969, il fut appelé en 1975 dans les services diplomatiques du Saint-Siège. Il a ainsi servi dans les nonciatures apostoliques de la République dominicaine, puis du Liban, avant de représenter le Saint-Siège auprès de l’Organisation pour la sécurité et la coopération en Europe (OSCE). En 1988, il est nommé sous-secrétaire du Conseil pour les affaires publiques de l’Église. Polyglotte, il est nommé Secrétaire pour les relations du Saint-Siège avec les États à la Secrétairerie d’État et archevêque en 1991.
Créé cardinal par Jean-Paul II lors du consistoire du 21 octobre 2003, il est nommé cardinal archiviste et bibliothécaire. Le 1er septembre 2007, il devient président du Conseil pontifical pour le dialogue inter-religieux.
Le 13 mars 2013, à l’issue du conclave chargé d’élire un successeur au pape Benoît XVI, il prononce l'Habemus papam, annonçant au monde l’élection du cardinal Jorge Mario Bergoglio.
Le cardinal Jean-Louis Tauran souffrait de la maladie de Parkinson.
