GROUPES (mathématiques) Groupes de Lie

Représentations linéaires de dimension infinie

La description des représentations irréductibles d'un groupe semi-simple complexe donnée dans (21) et (22) est un exemple particulier de l'idée fondamentale de représentation linéaire induite, initialement introduite par Frobenius pour les groupes finis, appliquée aux groupes de Lie.

D'une façon générale, soit G un groupe de Lie, Γ un sous-groupe fermé de G, F un espace vectoriel complexe de dimension finie, et ξ ↦ L(ξ) une représentation linéaire de Γ dans F. Soit alors V un espace vectoriel (en général de dimension infinie) de fonctions définies dans G et vérifiant l'identité :

pour x ∈ G et ξ ∈ Γ. On fait alors opérer G dans V en posant :pour s, x dans G.

L'exemple des représentations de dimension finie donné dans (21) et (22) correspond au cas où L est une représentation de dimension 1 et où V est de dimension finie. Le cas le plus étudié en dehors de ce dernier est celui où L est une représentation unitaire (autrement dit, L(ξ) laisse invariant un produit scalaire euclidien dans F) ; si f vérifie (23), on a ∥f (xξ)∥ = ∥f (x)∥ pour la norme euclidienne dans F, et on peut considérer f comme définie dans G/Γ ; on définit alors V comme l'espace de Hilbert des fonctions f sur G/Γ telles que :

où μ est une mesure sur GΓ invariante pour l'action de G. Il s'agit de savoir si cette représentation est irréductible, ou de la décomposer en représentations irréductibles ; cela pose des problèmes difficiles qui sont encore loin d'être tous résolus. Leur intérêt réside dans le fait qu'ils rattachent à la théorie des groupes de Lie des questions d'analyse ou de physique d'allure toute différente.

En premier lieu, on rencontre ainsi de façon naturelle de nombreuses fonctions spéciales, dont on peut ainsi faire une théorie unifiée et « expliquer » maintes propriétés qui paraissaient fortuites.

Les exemples les plus simples s'obtiennent lorsqu'on prend G = U, groupe compact semi-simple, et Γ = K₀ (notations du chap. 7). Alors toutes les représentations de U dans un espace de Hilbert V se décomposent en représentations de dimension finie, le groupe U opérant pour ces représentations dans des sous-espaces de dimension finie V_j de V, dont la somme est directe et partout dense. É. Cartan s'est le premier aperçu que les fonctions constituant les V_j ont des propriétés remarquables. Pour U = SO(3, R), K = SO(2, R), par exemple, on obtient ainsi les fonctions sphériques classiques définies sur U/K = S₂ (sphère à 2 dimensions) comme restrictions des polynômes harmoniques homogènes dans R³.

On obtient d'autres fonctions spéciales, telles que les fonctions de Bessel ou les fonctions hypergéométriques, en prenant pour G certains groupes de dimension 4.

Si on prend pour G un groupe semi-simple et pour Γ un sous-groupe discret convenable, on obtient cette fois comme fonctions « spéciales » ce qu'on appelle des fonctions (ou formes) automorphes, qui constituent une vaste généralisation des « fonctions fuchsiennes » de H. Poincaré.

Les fonctions appartenant à V ne sont pas nécessairement continues dans G, mais on peut montrer qu'il y a toujours un sous-espace dense V₀ de V, stable pour la représentation de G et tel que, pour tout X ∈ g (algèbre de Lie de G), la dérivée pour t = 0 de l'application t ↦ exp(tX) . f existe pour tout f ∈ V₀. Si on note ρ(X) . f cette limite, ρ(X) devient un opérateur linéaire de l'algèbre de Lie g dans l'espace (de dimension infinie en général) V₀.

En physique quantique, V est un espace de « fonctions d'ondes », et G est soit le « groupe de Poincaré » (produit semi-direct du groupe de Lorentz SO(3, 1) et du groupe commutatif R⁴), soit (dans la théorie récente des « particules élémentaires[...]