Du bist bereits mit 12 Wörtern (ohne Passphrase) maximal sicher.
Da man auch einfach direkt den Private Key Brute Forcen kann, der sich aus deiner Seedphrase+Passphrase errechnet, erhöht alles weitere (PP, 24 Wörter…) die Sicherheit in dieser Hinsicht nicht mehr.
Es macht mE sicherheitsmäßig nur Sinn eine PP zu verwenden oder 24 Wörter zu verwenden, wenn in Deinem Setup die Möglichkeit besteht, dass ein Teil deiner 12 Wörter bekannt wird. Wenn die 12 bzw 24 Wörter alle zusammen auf einem Zettel stehen, gibt es sicherheitsmäßig keinen Unterschied.
Mach was du in deiner Situation für richtig hälst und womit du gut schlafen kannst 
Ich persönlich habe alles von Wallets mit Passphrase abgezogen, weil ich in meinem Setup dadurch keinen (großen) Vorteil hatte und es bei der Passphrase reicht, dass man ein Komma vergisst oder ein Punkt anstatt einem Ausrufezeichen im Kopf hat… und man kommt uU nie wieder an die Coins.