Das scheint am aktuellen Speicherformat bei den Google Kontakten zu liegen.
Bei meinem Sony Xperia XZ3 (Android 9) kann ich die Adressen aller Kontakte nicht direkt zur Navigation verwenden.
Man muss sich bei der Pflege eines Kontakts im Browser nur anschauen, was Google aus der eingegebenen Adresse macht, dann wird das klar.
Aus der eingegeben Adresse "Musterstraße 99, 99999 Musterstadt" wird "Musterstraße 99,Musterstadt,,,99999,DE". Mit der Reihenfolge aus Stadt und PLZ und den Kommata dazwischen kommt das Navi offensichtlich nicht klar.
Ich verwende die Sprachsteuerung, obwohl das an der Stelle umständlich ist, weil man die Adresse auswendig kennen muss.