Hallo @Aso,
eine Hardware-Wallet soll dich selbst dann schützen, wenn das Gerät was du verwendest kompromittiert wurde.
Aus diesem Punkt kann man ableiten, dass: ob du eine Hardware-Wallet zusammen mit einem PC oder einem anderen Gerät verwendest spielt im Bezug auf die Sicherheit praktisch keine Rolle, wenn du grundsätzliche Dinge beachtest.
Um deine eigentliche Frage zu beantworten: ob du den Ledger zusammen mit einem Handy verwenden kannst hängt von der Softwarewallet ab, die du verwenden willst.
Für den Ledger Nano S gibt einige die man unter Android verwenden kann, iOS funktioniert nicht mit dem Ledger Nano S.
Für den Ledger Nano X gibt es auch einige die man sowohl unter Android als auch unter iOS verwenden kann.