Nein, da besteht kein Sicherheitsrisiko.
Der xpub („Erweiterter Öffentlicher Schlüssel“) ist sozusagen der Papa aller Public Keys - aus ihm können alle öffentlichen Schlüssel (nicht die privaten) abgeleitet werden um entsprechend Adressen zu generieren.
Jede Adresse wird aus einem Public Key abgeleitet und dieser wiederum wird von einem Private bzw. Secret Key abgeleitet. Nur mit dem entsprechenden Private Key ist es möglich die Bitcoin auf der Adresse auszugeben.
Den xpub kann man also bedenkenlos der Software überlassen. Mit dem xpub sieht diese natürlich alle Transaktionen und deren Historie, weswegen du ihn trotzdem nicht an dritte weiter geben solltest ( → Privatsphäre).
Ledger Live darf und muss den aber natürlich kennen um richtig zu funktionieren.
Wenn du deinen Ledger vom Rechner trennst ist das so, als würdest du den Briefkastenschlüssel aus dem Briefkastenschloss nehmen. Man kann den Briefkasten jetzt nicht mehr öffnen, aber sehen, anfassen und was rein werfen kann man trotzdem noch.