Peu de détails sur sa vie sont connus, rien du tout à propos de ses années de formation. Entre 1693 et ​​1695, il fut organiste de l'église abbatiale de Saint-Denis, à Paris (où son frère André de Grigny était sous-prieur). Pendant cette période il a également étudié avec Nicolas Lebègue, qui était alors l'un des plus célèbres compositeurs pour le clavier en France. En 1695, de Grigny a épousé Marie-Magdeleine de France, fille d'un marchand parisien. Apparemment, il est retourné dans sa ville natale peu après: l'enregistrement de la naissance de son premier fils indique que de Grigny était déjà à Reims en 1696. Le couple a eu sept enfants.

À la fin de 1697 de Grigny a été nommé organiste titulaire de Notre-Dame de Reims (la date exacte de sa nomination n'est pas connue), la célèbre cathédrale de la ville où les rois français ont été couronnés. En 1699, le compositeur a publié son Premier livre d'orgue [Contenant Une messe et les hymnes des principalles festes de l'année] à Paris. De Grigny mourut prématurément en 1703, âgé de 31, peu de temps après avoir accepté une offre d'emploi de Saint Symphorien, une église paroissiale à Reims. Son Livre d'orgue a été réédité en 1711 grâce aux efforts de sa veuve. Son Livre est devenu connu à l'étranger: il a été copié en 1713 par Johann Sebastian Bach, et plus tard par Johann Gottfried Walther.