Es kann, zusätzlich zu dem was @HODLer dir schon richtig beschrieben hat, auch sein dass du dich beim Einrichten vertippt hast - und deshalb, obwohl du glaubst die richtige Passphrase einzutippen, in der falschen Wallet landest.
Wobei dir die BitBox nach dem eintippen die Passphrase zusätzlich nochmal zur Bestätigung anzeigt.