Im 14. Jahrhundert schenkte der Tiroler Landesfürst einigen angesehenen Bauern besondere Freiheiten: Diese Schildherren durften innerhalb ihrer Besitzungen frei jagen und fischen und ihnen war das Tragen von Schwert, Messer und Spieß auch in der Kirche und vor Gericht erlaubt. Dafür hatten sie u.a. Schildwache auf Schloss Tirol und der Zenoburg zu halten sowie den Jaufenweg zu sichern.
Die Schildherren errichteten ihre Wohntürme im Passeier, nahe zum Stammschloss Tirol. Als burgenartige Ansitze unterschieden sich diese „Steinhäuser“ von den Passeirer Holzblockbauten.
Durch die Verlegung der landesfürstlichen Residenz von Meran nach Innsbruck im Jahr 1420 verloren die Schildhöfe, wie sie ab dem 15. Jahrhundert genannt wurden, an Bedeutung.
Einige der Schildherren verlegten ihren Schwerpunkt nach Norden, andere – z.B. die Herren von Passeier blieben im Tal und wurden dort bedeutende Persönlichkeiten.
Anlässlich der Jahrhundertfeier im Jahr 1909 wurden die Schildhöfler – wie sie seit dem 17. Jahrhundert auch genannt werden – mit Schild und Hellebarde ausgerüstet, welche sie heute noch bei feierlichen Anlässen mitführen.
Von den alten Rechten besitzen sie nur mehr das Fischereirecht für alle Bäche in Passeier.