Das hast du richtig verstanden!
Aber viel einfacher als über den Umweg mit der BlueWallet wäre ein Account innerhalb deiner Wallet. Die xpubs von denen wir hier sprechen sind Schlüssel die im Ableitungspfad auf Ebene der Accounts stehen. Du kannst also keine weiteren Account Schlüssel ableiten (und damit auf die restliche Wallet schließen), sondern nur Schlüssel innerhalb des Accounts (also nur die Adressen).
Wenn du also den xpub eines leeren, extra davor vorgesehenen, Account Pocket gibst, hast du dadurch keine Nachteile. Es ist (von außen) effektiv so, als würdest du eine komplett neue Wallet erstellen, die mit deinen anderen Adressen nichts zu tun haben.
Das hat den Vorteil dass du direkt die volle Sicherheit deiner Hardware Wallet genießen kannst, ganz ohne Verlust der Privatsphäre. Im Nachhinein kannst du aber immer noch (wie bei der Idee mit der BlueWallet) einzelne Transaktionen auf deinen „Hauptaccount“ machen, falls du das möchtest.