On ne sait pas exactement où est né Claudin de Sermisy.

Sermisy apparaît pour la première fois dans un document daté du 15 juin 1508 comme clerc de la Sainte-Chapelle. La durée de son premier séjour à la Sainte-Chapelle reste inconnue.

Là, il sert successivement Louis XII, François Ier, Henri II et François II, et a pour collègues Jean Mouton, Antoine Divitis et Jean Richafort. Si l'on se fie à un document comptable de la cour relatif aux funérailles de Louis XII (1515), il aurait également été chanteur du feu roi.

C'est donc en tant que chanteur qu'il aurait pris part à la messe célébrée par les chapelles du roi de France et du pape à Bologne le 13 décembre 1515, aux cérémonies du Camp du Drap d'Or en 1520, ainsi qu'à celles de Boulogne-sur-Mer, durant lesquelles les chapelles françaises et anglaises exécutèrent une messe.

Sermisy semble avoir quitté Paris pour devenir chanoine de Notre-Dame-de-la-Rotonde à Rouen, avec obligation de résidence dans cette ville. Il résilie cette charge en 1524 pour se rendre dans le diocèse d'Amiens. Claudin de Sermisy rejoint la capitale en 1532, cette fois en tant que sous-maître de la Chapelle

En 1533, il est élevé au canonicat. Après un voyage en Italie, dont certains pensent qu'il eut lieu en compagnie de François Ier (1515), il demeure en contact avec le duc de Ferrare auquel il procure des chantres.Comme son poste ne s'accompagne pas d'une obligation de résidence, il se rend souvent hors de la capitale. Cette position enviable lui assure également de bons revenus, ainsi qu'une maison à Paris.

Il est enterré dans la chapelle basse de la Sainte-Chapelle. L'un de ses neveux, Gilles, curé dans le diocèse du Mans, a écrit une épître de louange à son oncle dans la préface du Liber decimus quartus de Pierre de Manchicourt (1539). Selon Ronsard, Sermisy aurait été élève de Josquin des Prez, ce qui est invérifiable.