Nur wenige Details über sein Leben sind bekannt, und fast gar nichts über seine prägenden Jahre. Zwischen 1693 und 1695 war er als Organist an der Abteikirche von Saint-Denis, in Paris (wo sein Bruder André de Grigny Unter-Prior war). Es war auch während dieser Zeit, daß de Grigny von Nicolas Lebègue unterrichtet wurde, der damals als einer der bedeutendsten französischen Komponisten für Tasteninstrumente war. Im Jahre 1695 heiratete de Grigny Marie-Magdeleine de France, Tochter eines Pariser Kaufmanns. Offenbar kehrte er bald danach in seine Heimatstadt zurück: die Geburtsurkunde seines ersten Sohnes zeigt an, dass de Grigny 1696 bereits in Reims war. Das Paar hatte sieben Kinder.

Gegen Ende des Jahres 1697 wurde de Grigny zum Titularorganisten von Notre-Dame de Reims (das genaue Datum des Termins ist nicht bekannt) ernannt, die berühmte Kathedrale der Stadt, in der die französischen Könige gekrönt wurden. Im Jahre 1699 veröffentlichte der Komponist sein Premier livre d'orgue [contenant une messe et les Hymnes des principalles Festes de l'année] in Paris. De Grigny starb viel zu früh im Jahre 1703, im Alter von nur 31 Jahren. Sein Livre d'orgue wurde im Jahre 1711 durch die Bemühungen seiner Witwe neu aufgelegt. Die Sammlung wurde im Ausland bekannt: sie wurde im Jahre 1713 von Johann Sebastian Bach kopiert und später auch von Johann Gottfried Walther.