Er wurde in Niederdorla (Thüringen) geboren und starb in Hamburg.

Seine musikalische Ausbildung erhielt er in Dresden (als Chorsänger am Sächsischen Hof unter der Leitung von Heinrich Schütz), dann in Hamburg, wo er mit dem berühmten Organisten Jacob Praetorius an der Petrikirche St. Peter zusammenarbeitete.

Er lernte den italienischen konzertanten, polychoralen und monodischen Stil kennen - denn Schütz war als junger Mann nach Italien gereist und hatte dort Giovanni Gabrieli und Monteverdi kennengelernt - sowie den Stil von Sweelincks Schülern, von denen sich einige in Hamburg niedergelassen hatten. Weckmann reiste 1637 mit Schütz nach Dänemark, wurde von 1638 bis 1642 Organist in Dresden am Kurfürstlichen Hof von Sachsen und kehrte bis 1647 (während des Dreißigjährigen Krieges) nach Dänemark zurück.

Bei einem erneuten (und letzten) Aufenthalt in Dresden von 1649 bis 1655 lernte er Johann Jakob Froberger während eines vom Kurfürsten veranstalteten Musikwettbewerbs kennen. Sie blieben miteinander befreundet und korrespondierten miteinander. Nach einem Wettbewerb wurde er 1655 zum Titularorganisten an der Jakobikirche in Hamburg ernannt und verbrachte in der Stadt seinen Lebensabend. Er gründete ein renommiertes Orchesterensemble, das so genannte Collegium Musicum in Hamburg. Dies war die produktivste Zeit seines Lebens: Zu seinen Kompositionen dieser Zeit gehört eine Sammlung von 1663, die geistliche Texte vertonte, in denen die schreckliche Pest erwähnt wird, an der in jenem Jahr seine erste Frau und viele seiner Kollegen in Hamburg, darunter Heinrich Scheidemann, starben.

Er starb in Hamburg und wurde in einem Familiengrab in der Jakobikirche unter der Orgel beigesetzt.