4. L'avènement de la théorie des ensembles et de la topologie
La notion de limite est la base même du calcul infinitésimal ; mais, bien que certains d'entre eux, dont d'Alembert, aient approché d'une définition pour nous correcte, les mathématiciens du xviiie siècle étaient hors d'état de développer une théorie mathématique rigoureuse du « calcul », sur le modèle de la géométrie grecque, et devaient se contenter de justifications heuristiques de leurs découvertes.
C'est seulement avec Bolzano, Abel et Cauchy que les notions de limite et de continuité sont enfin définies sans ambiguïté et de façon utilisable dans les démonstrations. À cette occasion, Bolzano et Cauchy dégagent le critère fondamental (dit « critère de Cauchy ») d'existence de la limite d'une suite (un) de nombres réels : pour tout ε > 0, il existe un entier n0 tel que, si m et n sont tous deux au moins égaux à n0, on a |um − un| ≤ ε (autrement dit, à partir d'un certain rang, tous les termes de la suite sont « très voisins les uns des autres ») ; son grand intérêt est qu'il permet de prouver l'existence d'une limite sans connaître à l'avance sa valeur. Ce critère est d'ailleurs équivalent à l'existence de la borne supérieure d'un ensemble majoré de nombres réels, ou au « principe des intervalles emboîtés », suivant lequel une suite dénombrable d'intervalles fermés bornés dont chacun contient le suivant a nécessairement un point commun. Cauchy semble avoir considéré ce dernier principe comme évident ; de fait, il peut, avec les propriétés usuelles des nombres réels vis-à-vis des opérations algébriques et de la relation d'ordre, servir de caractérisation axiomatique à ces nombres.
Mais, vers le milieu du xixe siècle, avec l'élargissement de la notion de fonction, commencent à apparaître, en analyse, les « monstres », êtres mathématiques aux propriétés insolites, en opposition flagrante avec l'« intuition » que nous croyons avoir de l'espace : « courbes » sans tangente en aucun point, « courbes » remplissant tout un carré, etc. Les constructions conduisant à ces objets extraordinaires étaient en tout point rigoureuses […]
… pour nos abonnés, l'article se prolonge sur 12 pages…
