Mit dem Namen hat es folgende Bewandtnis: In der oberen Stadt lebten viele Ackerbürger, d. h., sie besaßen außerhalb der Mauern Felder und Wiesen und hielten, meist in den Rückgebäuden, verschiedenes Vieh. Drei Hirten (je einer für Kühe, Schweine und Gänse) trieben das Vieh allmorgendlich durch dieses Tor und den anschließenden Berg hinunter auf die Günzwiesen zur Weide. Über dem Torbogen sieht man ein Relief (datiert 1617) mit einem Engel, der in seiner Rechten das Wappen des Markgrafen Karl und in seiner Linken das alte Stadtwappen hält.