M. P. Appell suppléa, en 1881-1882, Briot à l'École Normale et, en 1882-1883, V. Puiseux à la Sorbonne. Il fut nommé le 23 novembre 1886 professeur de Mécanique rationnelle à la Faculté des Sciences de Paris, après avoir été chargé de ce cours pendant deux ans.
En 1888, une grande douleur assombrit la vie de M. Paul Appell. Son frère Charles, poussé à de généreuses imprudences par son ardent amour de la France et par son désir de hâter l'heure de la «justice immanente», fut arrêté à Strasbourg, sous l'inculpation de haute trahison envers l'Empire Allemand; après une détention préventive qui fut un long martyre, il fut traduit devant la Haute-Cour de Leipzig, où son frère Paul alla le soutenir de sa présence: il fut condamné à un an de prison et à neuf ans de forteresse. Le jugement rendait hommage à son ardent amour pour la France, «son ancienne patrie», et y trouvait des circonstances atténuantes. Le condamné subit la prison à Cottbus, puis la forteresse à Magdebourg, avec un courage et une dignité qui en imposèrent à tous ceux qui l'approchèrent; sa santé s'altérant gravement, sa peine fut interrompue en 1896, une année avant son terme régulier. Il revint alors en Alsace au Klingenthal, puis à Strasbourg; mais ni la liberté, ni l'air natal ne purent le rétablir: il passa de longs mois sans sortir, vivant de ses souvenirs, se distrayant à suivre de sa fenêtre la vie profonde de la vieille cathédrale qu'il avait vue, dans sa jeunesse, pavoisée aux couleurs françaises: il mourut en 1905[(1)].
Trois années auparavant, M. Paul Appell avait eu la douleur de perdre sa mère qui, depuis 1878, avait quitté l'Alsace pour venir vivre auprès de lui.
Les premiers travaux de M. Paul Appell, faits sous l'influence de Michel Chasles, se rapportent à la Géométrie projective. En généralisant la théorie de l'involution, M. P. Appell a composé sa thèse de doctorat, soutenue le 20 juin 1876, qui a pour objet l'étude des propriétés des cubiques gauches à l'aide d'une relation involutive entre trois éléments et leur application au mouvement hélicoïdal d'un corps solide. A la fin de 1876, il a publié, dans un ordre d'idées analogue, la théorie des courbes gauches unicursales du quatrième ordre. Mais, à partir de 1877, en suivant les conseils de Bouquet, il s'adonna de préférence aux recherches sur l'Analyse mathématique.
En octobre 1878, M. P. Appell donna le premier exemple de la détermination d'une singularité d'une fonction développée en série de MacLaurin, et il appliqua sa méthode au calcul d'une intégrale définie très générale relative aux séries hypergéométriques de Gauss. Il s'occupa ensuite, à des points de vue divers, des fonctions périodiques. En 1881 et en 1882, il publia une étude approfondie des fonctions périodiques générales, qui conservent la même valeur quand on fait sur la variable une opération fonctionnelle d'une certaine forme, ou qui se reproduisent, multipliées par une fonction donnée, quand on fait cette opération; il donna, comme applications, la théorie d'une classe de fonctions généralisant les fonctions eulériennes et une méthode d'intégration de certaines équations différentielles linéaires. A la fin de 1884, il exposa, pour le développement des fonctions elliptiques en séries trigonométriques, une méthode élémentaire qui a suggéré à M. H. Poincaré d'intéressantes remarques.
De 1882 à 1891, M. P. Appell s'est occupé tout particulièrement des fonctions elliptiques et des fonctions doublement périodiques de deuxième et de troisième espèce, avec ou sans points singuliers essentiels. En 1884, 1885 et 1886, il a créé une certaine fonction qui sert d'élément simple dans la décomposition des fonctions doublement périodiques de troisième espèce; les résultats des recherches qu'il fit alors ont été exposés en 1886 par M. G.-A. Halphen dans son Traité des Fonctions elliptiques[(2)], après avoir écrit cet éloge: «C'est M. Appell qui, en créant le nouvel élément simple, a conduit cette partie de la théorie au plus haut degré de perfection.» Au début de l'année 1890, il a publié une méthode a priori pour représenter une fonction elliptique par le quotient de deux séries, que l'on peut ensuite ramener aux fonctions Θ en appliquant un théorème démontré en 1887 par M. C. Guichard.
Dans la théorie générale des fonctions d'une variable, M. P. Appell a donné en 1882 et développé en 1883 un théorème, souvent appliqué, sur le développement en série d'une fonction holomorphe dans une aire limitée par des arcs de cercle. Il s'est occupé, en 1882, des fonctions uniformes d'un point sur une surface de Riemann et de leurs diverses expressions par l'intégrale de Cauchy, en faisant jouer à l'intégrale abélienne de seconde espèce le rôle que joue une certaine fonction dans la théorie relative à un seul feuillet; en 1884, il a étendu à ces fonctions uniformes des théorèmes dus à Weierstrass et à M. G. Mittag-Leffler. Aux recherches précédentes se rattache l'important Mémoire que M. P. Appell a envoyé au Concours ouvert par le roi de Suède et de Norvège Oscar II, à l'occasion du 60e anniversaire de sa naissance, et qui a obtenu une Médaille d'Or le 21 janvier 1889, à la suite d'un élogieux Rapport de Charles Hermite. Après avoir exposé la question principale que visait l'Auteur «en entreprenant ces belles et profondes recherches où il a montré le plus remarquable talent d'invention», Ch. Hermite conclut que «le travail est l'œuvre d'un géomètre de premier ordre et qu'il sera placé au nombre des plus importantes productions mathématiques». La recherche des coefficients des développements des fonctions abéliennes en séries trigonométriques par des formules semblables à celles de Jacobi pour les fonctions elliptiques a souvent tenté les géomètres: M. P. Appell, dans ce Mémoire, a donné, pour exprimer ces coefficients, des formules qui montrent bien la différence profonde entre les deux problèmes.
Une partie importante de l'œuvre analytique de M. P. Appell a pour objet l'extension, qui offre souvent de grandes difficultés, à des fonctions de deux variables, de propositions et théories relatives aux fonctions d'une variable. Il importe de citer, dans cet ordre d'idées, les deux extensions suivantes qui ont été faites en 1882 et en 1883: d'abord, aux fonctions abéliennes, d'un théorème de Liouville sur les fonctions elliptiques; ensuite à une classe particulière de fonctions de deux variables, du théorème que M. G. Mittag-Leffler a fait connaître en 1876 sur les fonctions d'une variable. Après avoir découvert en 1880 les fonctions hypergéométriques de deux variables, M. P. Appell fit l'étude analytique générale des équations simultanées aux dérivées partielles qui se rencontrent dans la théorie de ces fonctions: à l'aide de ces séries, il représenta les polynomes de Ch. Hermite et de nouveaux polynomes analogues à ceux de Jacobi; à ces séries, il a rattaché, en 1883, certaines formules de Hansen et de Tisserand; les polynomes correspondants lui ont permis d'étendre, en 1890, aux intégrales doubles la méthode de Gauss pour le calcul approché des intégrales simples. Pour les fonctions de deux variables quadruplement périodiques de troisième espèce, M. P. Appell démontra, en 1890, que la célèbre relation de Riemann entre les périodes subsiste même si la fonction admet des points singuliers essentiels. En généralisant sa méthode, exposée en 1890, de représentation des fonctions elliptiques, il est parvenu à établir la théorie des fonctions de deux variables ayant quatre paires de périodes et dépourvues de singularités essentielles: d'abord il a montré a priori que ces fonctions s'expriment par le quotient de deux fonctions Θ, puis il en a déduit l'existence d'une relation algébrique entre trois de ces fonctions. Ces méthodes peuvent être étendues d'elles-mêmes aux fonctions de n variables à 2n groupes de périodes. Enfin dans ce même domaine des fonctions Θ, il a étudié une série d'exponentielles dont l'exposant est un polynome du quatrième degré du rang n, et en a déduit des fonctions de trois variables admettant un groupe de substitutions linéaires entières. De ces profondes études il faut rapprocher des recherches relatives aux fonctions qui vérifient l'équation de Laplace. De 1883 à 1884, M. P. Appell a établi, pour les fonctions harmoniques de trois variables réelles, une théorie qui est analogue à celle de la partie réelle des fonctions d'une variable complexe; il définit les pôles, les points singuliers essentiels de ces fonctions, auxquelles il étend le théorème de M. G. Mittag-Leffler. Il fait en particulier une étude des fonctions harmoniques à trois groupes de périodes, analogues à la partie réelle d'une fonction elliptique, qu'il exprime à l'aide d'un élément analytique construit comme la fonction Z de Ch. Hermite et la fonction ζ de Weierstrass, élément dont il a de nouveau parlé en 1906. En 1884 et en 1886, il a donné des applications des fonctions harmoniques à divers problèmes de Physique mathématique.