„Den“ Public Key der Hardware Wallet benutzt man für sowas auch gar nicht. Die extended Public Keys um die es hier geht sitzen auf dem Accountpfad und können nur Schlüssel im Account ableiten. Solange man einen Sparplan Account sauber von seinen restlichen Aktivitäten trennt (was alleine durch den unterschiedlichen Account recht einfach ist) kann man einen xpub eines Accounts ohne Nachteile mit einem Anbieter teilen.
Man muss sich halt immer bewusst sein was es für die Account Privatsphäre bedeutet einen xpub zu veröffentlichen und entsprechend überlegt vorgehen.