1968 holte der gebürtige Jestettener seinen ersten großen Erfolg. Mit dem Stuttgarter SC gewann er den Deutschen Meistertitel der Amateure in der Mannschaftsverfolgung. Nachdem er aber für die Olympischen Spiele im selben Jahr nicht nominiert wurde, wechselte Fritz ins Lager der Profis.

Dort wurde er 1969 Deutscher Meister in der Einerverfolgung und bestritt in Münster sein erstes Sechstagerennen. Mit dem Dänen Freddy Eugen belegte er prompt den dritten Platz. Wenngleich er 1970 und 1971 insgesamt drei Etappensiege bei der Tour de Suisse feiern konnte, konzentrierte Albert Fritz sich von da an komplett auf die Bahnrennen, da die ganz großen Erfolge auf der Straße ausblieben.

Insgesamt fuhr Albert Fritz bis zu seinem Karriereende 1984 198 Sechstagerennen, von denen er 34 gewinnen konnte - sieben Mal allein in Köln. Damit wurde er einer der erfolgreichsten Sechstagefahrer Deutschlands. Die meisten Starts und Siege - 13 aus 78 - hatte er gemeinsam mit Wilfried Peffgen. Fritz fuhr aber auch mit anderen Radsportgrößen wie Patrick Sercu, Dietrich Thurau, Rudi Altig und René Pijnen.

Nach seiner Radsportkarriere zog Fritz in die Schweiz und war bei Bicycle Holidays auf Mallorca als Touren-Guide tätig.