Ich provozier mal:
Ich hab die passphrase praktischerweise aufm ledger gesoeichert.
ist tatsächlich eine sinnvolle funktion, vll sollten andere hersteller die auch
nachliefern.
Vielleicht solltest du den Ledger auf den Müll werfen. Jeder bleibt sein eigener Schmied. 
Die 120 Sekunden Eingabe würde mich persönlich nicht stören. 14 zeichen aus Kleinbuchstaben reichen laut bitwarden für eine Verschlüsselung die für jahunderte hält. Darf ich fragen was dein Gedanken für die lange passphrase sind?
Und was machst du, wenn der Ledger verreckt?
Das gleiche wie wenn ich keine Passphrase hätte. Die Wallet woanders wiederherstellen. Das aufschreiben (oder merken) ersetzt es ja nicht. Aber es macht eine lange passphrase bequemer und damit möglicher. Daher ne gute Sache.
Kommt halt drauf an wovor die Passphrase schützen soll, vor fehlender Entropie oder vor physischem zugriff aufs gerät weil das secure element nicht geht.
ok gut, hat sich so gelesen wie wenn du sie nur dort gespeichert hast.