Falls du mit Passphrase eigentlich die 24 Wörtert meinst, dann reicht das um an deine Coins zu kommen. Dafür kann man jede Standard Wallet nutzen; man braucht nicht einmal einen Ledger.
Die 24 Wörter werden auch Seedphrase, Mnemonic oder Mnemonic Phrase genannt.
Es gibt auch eine zusätzliche, optionale Passphrase. Diese hat mit dem Ledger nichts zu tun und ist für Einsteiger auch nicht zu empfehlen.
Aus deiner Überlegung folgt, wie du dir wahrscheinlich schon denkst, dass die Sicherung der 24 Wörter sogar wichtiger ist, als die Sicherung deiner HW Wallet. Dafür kannst du hier im Forum mal nach Sicherung 24 Wörter oder ähnlichen Begriffen suchen.
Meine Gedanken dazu hatte ich in diesem Beitrag festgehalten:
Unter dem Beitrag befinden sich auch mehrere Links zu anderen Threads, in denen darüber diskutiert wurde.