El gobierno de Panamá pasó de la autoridad de Guatemala, a la dependencia del virreinato del Perú después de la victoria que D. Pedro de La Gasca consiguió sobre Pizarro en la batalla de Xaquixaguana (1548).
Restablecida la Audiencia de Panamá por Real Cédula de 1563, se dispuso la extinción de la de Guatemala. Panamá tuvo que sufrir rudos ataques de los corsarios ingleses; pero la desgracia mayor de la ciudad fué el terrible incendio del 21 de febrero de 1644 que destruyó 83 casas, el Seminario y la casa episcopal. Posteriormente el pirata Morgan tomó e incendió a Panamá (1671). Nombrado presidente y capitán general de Tierra Firme D. Antonio Fernández de Córdoba y Mendoza, llegó a últimos de 1671 con la comisión de trasladar la ciudad de Panamá a sitio mejor, verificándose (21 enero 1673) el acto de fundación en la pequeña península inmediata al cerro y puerto de Ancón. Poco después se hicieron importantes fortificaciones para defender la plaza. A pesar de todo, los piratas no dejaron tiempo adelante en paz a los gobernadores de la ciudad. Creyéndose que las cosas marcharían mejor, la Corona destituyó al gobernador Hurtado y suprimió la Audiencia, agregando el territorio de su jurisdicción a la autoridad del virrey y de la Audiencia del Perú (1718). Como fuesen mayores las dificultades para el buen gobierno, a causa de la distancia entre la colonia y las autoridades del Perú, por Real Cédula de 21 de julio de 1722 se restableció la Audiencia, cuyo presidente tenía además el cargo de comandante general de Tierra Firme.
El 2 de febrero de 1737 ocurrió formidable incendio—que se llamó el Fuego Grande—en la nueva ciudad de Panamá. Se quemaron dos terceras partes de la población, salvándose casi únicamente el arrabal de Santa Ana, y por ello se repitió el siguiente estribillo:
Día de la Candelaria
vísperas de San Blás,
a las muchachas de adentro
se les quemó la ciudad.
En el año 1739 se realizó cambio radical, pues con fecha 20 de agosto se expidió Real Cédula restableciendo el virreinato de Santa Fe, incluyendo en él los territorios de Nueva Granada, Venezuela, Quito y las provincias de Panamá y Veraguas. La provincia de Panamá, quedó, sin embargo, con su gobernador y Audiencia, aunque subordinados al virreinato.
Por Real Cédula del 3 de junio de 1749 se fundó la Universidad de San Javier, en Panamá, estableciéndose en el edificio de la Compañía de Jesús; y también por Real Cédula de 20 de junio de 1751 se suprimió definitivamente la Audiencia, acordándose que el gobierno de dicha ciudad dependiese del virrey de Nueva Granada, el obispado fuera sufragáneo del arzobispado de Lima y los tribunales de justicia estuvieran bajo la Audiencia de Santa Fe.
Establecida la Compañía de Jesús en Panamá, se dirigió, a mediados del siglo xvi, al Perú. El superior de los Padres se llamaba Baltasar de Piñas, y con aquel carácter marchó al Perú. Algunos de sus religiosos permanecieron en Panamá para establecer la comunidad en Tierra Firme. Allí edificaron sólido y magnífico edificio, terminado en 1751, en el que establecieron la Universidad de San Javier. Habiéndose dispuesto la expulsión de los jesuítas de todos los dominios españoles, lo fueron de Panamá en la madrugada del 2 de agosto de 1767, encargándose del edificio el gobernador Cabrejo. El 28 de agosto, con una fuerte escolta, fueron los hijos de San Ignacio conducidos a Portobelo, allí embarcados para Cartagena, de donde salieron para Europa en compañía de otros expulsados también de Nueva Granada.