Eine Passphrase kann man nicht wirklich „an“ oder „abschalten“.
Bei Ledger kannst du sie mit einem Pin verbinden oder temporär nutzen.
Hast du den selben Pin verwendet für Passphrase und ohne Passphrase verwendet?
Wenn ja, musst du zurücksetzen. Stelle aber unbedingt sicher, dass du den Seed wirklich hast.