Il est né à Niederdorla (Thuringe) et mort à Hambourg.

Sa formation musicale a eu lieu à Dresde (comme choriste à la cour de Saxe, sous la direction de Heinrich Schütz), puis à Hambourg où il a travaillé avec le célèbre organiste Jacob Praetorius à l'église Saint-Pierre (Petrikirche).

Il est initié au concerto italien, aux styles polychorales et monodiques - car Schütz avait voyagé en Italie lorsqu'il était jeune et il a rencontré Giovanni Gabrieli et Monteverdi - ainsi qu'au style des élèves de Sweelinck, dont certains se sont installés à Hambourg. Weckmann se rend au Danemark en 1637 avec Schütz, devient organiste à Dresde à la cour électorale de Saxe de 1638 à 1642, et retourne au Danemark jusqu'en 1647 (pendant la guerre de Trente Ans).

Lors d'un nouveau (et dernier) séjour à Dresde de 1649 à 1655, il rencontre Johann Jakob Froberger dansle cadre d'un concours musical organisé par le Prince Électeur. Ils restèrent amis et en correspondance l'un avec l'autre. En 1655, après un concours, il est nommé organiste titulaire de l'église Saint-Jacques (Jakobkirche) de Hambourg, où il passera le reste de sa vie. Il fonda un ensemble orchestral renommé, le Collegium Musicum à Hambourg. Ce fut la période la plus productive de sa vie : ses compositions de cette époque comprennent un recueil de 1663, qui contient des textes sacrés mentionnant la terrible peste qui a tué sa première femme et nombre de ses collègues à Hambourg cette année-là, dont Heinrich Scheidemann.

Il est mort à Hambourg et a été enterré dans une tombe familiale à l'église Saint-Jacques, sous l'orgue.