Nein, du solltest die Wallet nicht manuell im Ordner löschen, sondern in Ledger Live.
In Ledger Live hast du zwei Accounts, einen für die einfache, einen für die hidden Wallet. Nachdem du deine hidden Wallet befüllt hast, löschst du diesen Account in Ledger Live wieder, so dass man nur noch deinen einfachen Account sieht.
Wenn du übrigens Coins von der einfachen zur hidden Wallet transferierst, kann das natürlich jeder sehen. Du solltest also überlegen, ob dir das trotzdem reicht, oder du die Coins z.B. über eine Börse dorthin transferierst. Dann könntest du (rein theoretisch) behaupten, du hättest sie verkauft.
Natürlich funktioniert das nicht, wenn dich jemand zwingt deinen Börsen Account zu zeigen. Deshalb ist das mit der Plausible Deniability so eine Sache. Die Passphrase hilft aber trotzdem als Diebstahlschutz.
Meine Gedanken dazu hatte ich HIER auf mehr oder weniger verständliche Weise festgehalten. 