Der Verein wurde 1919 als Sportclub Pfeil gegründet.
Nach Auflösung während der Zeit des Nationalsozialismus wegen der Zugehörigkeit zum Arbeitersport wurde er nach dem Zweiten Weltkrieg unter seinem heutigen Namen wiedergegründet.
Unterstützt vom örtlichen Sportartikelhersteller Adidasund dessen Besitzer Adolf Dassler spielte der Verein von 1972 bis 1977 in der Bayernliga. In der Saison 1973/74 gewann der ASV den Titel. Wegen der Umstrukturierung des Ligensystems im deutschen Fußball und der Auflösung der Regionalligen zugunsten einer 2. Bundesliga erhielt der Verein jedoch kein Aufstiegsrecht. Nach Abstieg bis in die unterste Spielklasse ab Ende der 1980er Jahre spielt der Verein heute in der A-Klasse.
Vereinsarbeit hat schon immer die Unterstützung von Helfer, Sponsoren und Gönnern benötigt. Dennoch ist es nicht selbstverständlich in diesem Bereich Unterstützung zu finden.