Bin momentan leider krank, deshalb fehlt mir die Muse länger darüber nachzudenken oder rechnerisch was abzuschätzen. Ansonsten immer gerne. 
Würden alle Public Keys gehashed, hättest du recht. Die Konkurrenz zum Mining wäre ein interessanter Schutzmechanismus.
Leider sind aber heute schon die Public Keys von 5-10 Mio BTC bekannt, da diese entweder aus alten P2PK Transaktionen stammen, oder von den Adressen schon einmal transferiert wurde [1].
Hinzu kommt, dass bei Taproot die 256 Bit langen Public Keys auch nicht mehr gehashed werden [2]. Die Gründe sind laut BIP341, dass die Hashlänge aufgrund der heutigen Sicherheitsstandards ebenfalls auf 256 Bit erhöht werden müsste (→ keine Größenreduktion mehr), und der Mehrfach-Schutz durch ECC plus Hashen nur scheinbar ist (→ keine zusätzliche Sicherheit). Diskussionen im Forum: [3], [4]
Um einen Private Key mit Balance zu suchen, benötigt man also nicht unbedingt Hash-Algorithmen.
Für die Berechnung des Public Keys aus einem Private Key benötigt man Rechenoperationen in einem endlichen Körper. Das ist zwar auch nur Ganzzahl-Arithmetik, aber man kann die Mining ASICS zumindest nicht direkt dafür verwenden.
ASICS dafür bauen könnte man sicher. Man bräuchte also zumindest ähnliche Chips und Hersteller wie bei der Mining Hardware, wenn man die Brute Force Geschwindigkeit optimieren wollte.