Jein.
Ja, beim Versenden musst du den Public Key veröffentlichen. Und ja, kryptographisch gibt es vom Public Key nur noch eine Barriere bis zum Private Key (ECC = Elliptic Curve Cryptography). Wenn jemand hingegen nur die Adresse kennt, sind es durch zusätzliche Hashes ein bis drei Barrieren; je nach Adress- bzw. Account-Typ (P2TR, P2WPKH etc.).
Es ist bei Bitcoin (ECC) allerdings nicht so, dass der Private Key durch jede weitere Signatur noch unsicherer wird. Zumindest nicht nach nach dem heutigen Stand der Forschung. Es wird auch bei jeder weiteren Transaktion von einer Adresse immer derselbe Public Key veröffentlicht.
Bei IOTA war es tatsächlich mal so, dass jede weitere Signatur das Risiko erhöht hat (W-OTS). Allerdings wurde das Signaturverfahren auch dort inzwischen geändert.
Aber erstens ist das Risiko für einen ECC Bruch sehr gering. Falls das passieren sollte, hat Bitcoin auch erst einmal für Jahre oder für immer ein großes Problem.
Zweitens ist natürlich nur der Private Key dieser einen Adresse betroffen; nicht deine 24 Wörter. Beim Versenden von einer Adresse solltest du diese also auch am besten immer komplett leerräumen.
Wenn du für jeden Coin Empfang immer eine neue Adresse verwendet hast, geht das anschließend auch gar nicht anders (-> UTXO Artikel). Nach einem Transfer ist es dann egal, ob jemand den Private Key für die alte benutzte Adresse in Erfahrung bringt.