A l'époque, les musiciens fraîchement immigrés d'Europe tenaient le haut du pavé au détriment de ceux formés sur place, ce qui confina Holyoke à des rôles subalternes d'enseignant dans le champ provincial, sans lui permettre de percer dans des grandes villes comme Boston. Il en conçut une grande amertume et termina sa vie, célibataire, dans des problèmes d'argent et de boisson.

Il publia divers recueils, dont Harmonia Americana (1791) et Columbian Repository of Sacred Harmony (1802), ainsi que The instrumental assistant, containing a selection of favorite airs en deux volumes parus respectivement en 1801 et 1807.

Il publia également vers 1803 un recueil Masonic music; selected and composed for the installation of the Merrimack Lodge, Haverhill, Mass.