Hier die analoge Erklärung: Stell dir einen Briefkasten vor. Ich brauche nur deine Anschrift um dir einen Brief zu schicken. Du muss nicht lächelnd den Postboten empfangen und beobachten wie er den Brief einschmeißt, das bekommt der alleine hin. 
Genau so ist es im Bitcoin Kontext auch. Du musst nur aktiv werden (mit dem Schlüssel = deinem Ledger) wenn du den Briefkasten leeren willst bzw. du eine Transaktion machen willst. Reinschauen und etwas reinwerfen kann jeder, wann er möchte.
Das gilt für jede Wallet, da jede Wallet nicht mehr als nur ein Schlüsselbund ist.