Zumindest aus der Perspektive der Börse kann man die Wallet mit und ohne Passphrase nicht in Verbindung bringen ohne das du etwas tust was dafür sorgt das man das kann.
Dasselbe gilt für verschiedene Account/Konten/Adressen innerhalb einer Wallet.
Es gibt aber noch weitere Privacy Probleme die auftreten können, mehr dazu hier:
Einen Public Key muss der Anbieter ja bekommen, sonst kann er nicht auszahlen.