Die 24 Wörter wurden auf dem Ledger erzeugt und sind auf diesem gespeichert.
Ausgehend von diesen Wörtern kann der Ledger alle Public Keys und Adressen zu all deinen Accounts und Coins generieren, sowie auch die zugehörigen Private Keys, mit denen du die Coins von diesen Adressen wegtransferieren kannst.
Details zur Ableitung → Was ist ein "Derivation Path" und wie funktionieren HD Wallets?
Wie schon von @BTCommander erwähnt, gehört zu deinen 24 Wörtern eine praktisch unerschöpfliche Anzahl an Adressen. Bei Bitcoin und Cardano wird üblicherweise aus Privacy Gründen für jedes neue Empfangen eine neue Adresse angezeigt.
Wenn du den Ledger mit einer Wallet Software wie Ada Lite, Yoroi, Ledger Live etc. verbindest, überträgt der Ledger die xpubs (extended Public Keys) deiner Accounts an die Wallet Software. Diese Übertragung musst du auf dem Ledger bestätigen.
Mit den xpubs kann die Wallet Software anschließend selbständig all deine Adressen ableiten, nach Transaktionen durchforsten und dir deine Coins anzeigen. Die Software kann aber ohne den Ledger, d.h. ohne die Private Keys, keine Transaktionen ausführen.
Um Coins wegzutransferieren generiert die Software eine Transaktion, die zur Bestätigung (Signatur) an den Ledger übertragen wird. Wenn du auf dem Gerät prüfst und bestätigst, wird die Transaktion mit den Private Keys der betroffenen Adressen signiert, zurück an die Software übertragen und von dieser im Netzwerk veröffentlicht.
Ergo:
Du kannst jede kompatible Wallet Software zusammen mit deiner Hardware Wallet verwenden, auch parallel.
Nach Verbindung des Geräts und Übertragung der xpubs kennt jede Software all deine Adressen. Passieren kann aber prinzipiell nichts, solange du auf dem Ledger selbst keine Transaktionen bestätigst.
Das solltest du auch niemals tun. Außer auf einer neuen Hardware Wallet.
Allerdings ist es essentiell, dass du die 24 Wörter (nicht digital) sicherst, z.B. auf Papier. Mit diesen Wörtern kommst du auch bei Verlust des Ledgers wieder an deine Coins.