Andrzej Milczanowski urodził się na Wołyniu w mieście Równe 26 maja 1939 roku. Milczanowski już w pierwszym roku życia stracił ojca, który był wiceprokuratorem w Równem i został zamordowany przez funkcjonariuszy NKWD.

W 1962 roku Milczanowski ukończył studia prawnicze na UAM w Poznaniu.

Współpracował z KOR a potem z Solidarnością. Jako opozycjonista został aresztowany w 1982 roku i skazany na 5 lat więzienia, ale zwolniono go na mocy amnestii po 2 latach.

Brał udział w obradach Okrągłego Stołu a w 1990 roku rozpoczął pracę w Urzędzie Ochrony Państwa a szefem UOP był niespełna 2 lata.

To właśnie on jako pierwszy jesienią 1991 roku sporządził listę tajnych agentów SB oraz wywiadu wojskowego. Lista lustracyjna Antoniego Macierewicza z czerwca 1992 roku była w ogromnej mierze tożsama z listą Milczanowskiego.

Jako nominant prezydenta Lecha Wałęsy  latach 1992-95 Milczanowski był ministrem spraw wewnętrznych, a podał się do dymisji po wyborze na urząd prezydenta RP Aleksandra Kwaśniewskiego.

Dzień przed dymisją, w grudniu 1995 roku oskarżył z trybuny sejmowej ówczesnego postkomunistycznego premiera Józefa Oleksego o współpracę z radzieckimi służbami, co zapoczątkowało tzw. aferę Olina.