Das ist nicht ganz richtig. In einem Multisig Setup reicht es in der Theorie bereits, wenn eine einzelne Wallet manipulativ handelt, um die Sicherheit des gesamten Setups zu untergraben.
Eine Wallet, der man grundsätzlich nicht vertraut, hat also in einem Multisig Setup nichts verloren, sondern nur solche, die man auch in gutem Gewissen als Singlesig Wallet nutzen würde.
Siehe dazu: Die versteckten Stolperfallen von Multisig Wallets – blocktrainer.de
Wie bereits erwähnt wurde wird wohl immer ein gewisses „Grundvertrauen“ nötig sein, das man dem Hersteller einer Hardware-Wallet entgegenbringen muss.
Dieses Vertrauen kann mit einigen Anstrengungen aber zumindest stark reduziert werden, @Stadicus ist auf diese Fragestellung hier ausführlich eingegangen:
Die Diversifikation auf mehrere Hardware-Wallet-Hersteller ist meiner Meinung nach nicht zwingend sinnvoll. Auf der einen Seite reduziert man das Risiko für einen theoretischen Totalverlust (da nicht alle Bestände von einer Hardware-Wallet abhängig sind). Auf der anderen Seite erhöht man die Angriffsfläche insgesamt, da die eigenen Bestände durch mehrere Geräte gesichert werden, die wiederum alle potenzielle Schwachstellen haben können.
Ob man z.B. eine Multisig Wallet mit Hardware-Wallets von einem oder von mehreren Herstellern nutzt, ist am Ende eine recht individuelle Frage. Das hängt vor allem davon ab, was das eigentliche Ziel ist, was man mit der Multisig Wallet erreichen möchte.