Cette église est le plus ancien sanctuaire de Paris intra muros. Elle est bâtie sur l’emplacement d’une chapelle dediée à Saint Julien et antérieure au VIe siècle. Le plus ancien témoignage littéraire de son existence nous est donné par l’évêque Grégoire de Tours qui, lors de ses séjours à Paris, logeait dans les dépendances de la Basilique Saint Julien et y célébra même la messe de Noël en 580.
L’église était alors placée sous le patronage de Saint Julien de Brioude, martyrisé en 304 sous Dioclétien. Plus tard, elle fut dédiée également à Saint Julien I‘Hospitalier dit le Pauvre.
Après avoir souffert des sièges de Paris par les Normands (856-885), l’église devint propriété des seigneurs laïcs qui la cédèrent, vers 1120, aux moines clunisiens de Longpont. Ces derniers en firent un prieuré de leur ordre et entreprirent, en 1170, de la rebâtir en style gothique.
De cette époque (qui est egalement celle de la construction de Notre Dame) datent le choeur et les bas-côtés (celui du sud a été refait au XIXe siecle). Le plan basilical, sans transept, a été conservé.
Situé au coeur du quartier des écoles, le nouveau prieuré prospéra avec l’Université crée vers 1200 par Philippe Auguste. Le declin de l’Université au XVe siècle, entraina celui du prieuré. L’église entra alors dans un tel état de délabrement qu’il fallut, en 1651, l’amputer de son portail gothique (remplacé par l’actuelle façade) et de deux travées de la nef et du bas-côté. Sept ans plus tard, en 1658, le prieuré fut aboli et l’église devint chapelle de I‘Hôtel-Dieu dont une partie des bâtiments se trouvait alors sur la rive gauche, à l’emplacement de l’actuel Quai Montebello.
Fermée en 1793 pour devenir magasin à sel, rendue au culte en 1826, l’église fut de nouveau désaffectée en 1877, suite au transfert de l’Hôtel-Dieu dans l’Île de la Cité.
À la demande du P. Alexis Kateb, basilien chouérite, envoyé à Paris en août 1888 par sa Béatitude Grégoire Youssef, patriarche pour les grecs-melkites catholiques, l’administration de l’Assistance Publique, alors propriétaire, accepta de concéder l’église à l’exercice du culte de rite Byzantin. L ‘inauguration eut lieu le dimanche 5 mai 1889.
Le 22 décembre 1953, une ordonnance du cardinal Maurice Feltin, archevêque de Paris, érigeait Saint Julien Le Pauvre en paroisse diocésaine de plein exercice pour les catholiques, y rattachant également les fidèles du rite d ‘origine grecque et italo-albanaise. Comme il est de règle dans le rite byzantin, une cloison ornée d’icônes disposées dans un ordre déterminé, et appelée iconostase, sépare la nef du sanctuaire. À noter aussi qu’aucun instrument de musique n’est admis pendant les offices liturgiques.