Барсуков состоял на службе в КГБ с 1964 года. До 1989 года был заместителем коменданта Московского Кремля. 22 августа 1991 года был понятым во время задержания вице-президента СССР Геннадия Янаева по делу ГКЧП.
С 10 декабря 1991 по июнь 1992 года — комендант Московского Кремля. 12 июня 1992 года, сохранив должность коменданта, назначен начальником Главного управления охраны.
24 июля 1995 назначен директором ФСБ России. 1 августа 1995 года Указом президента России введён в число членов Совета безопасности России.
Незадолго до конституционного кризиса, весной 1993 года занимался переводом специальных, армейских и иных силовых структур в оперативное подчинение силам, лояльным президенту России. В частности, под кураторство самого Барсукова перешли Президентский полк, 27-я мотострелковая бригада, части бывшего оперативно-технического управления КГБ, бывших 5-го и 9-го управлений КГБ, а также группы «Альфа» и «Вымпел».
20 июня 1996 года Указом президента России № 962 освобождён от должности директора ФСБ «в связи с поданным рапортом». По некоторым свидетельствам, фактическим поводом для увольнения стал скандал в период избирательной кампании президента, связанный с задержанием активистов предвыборного штаба Бориса Ельцина, Сергея Лисовского и Аркадия Евстафьева, с коробкой из-под бумаги фирмы «XEROX».
С сентября 1997-го по ноябрь 1998 года был начальником службы эксплуатации специальных объектов АП (федеральный резервный антикризисный центр, пункты управления атомными бомбоубежищами, секретными коммуникациями и прочее).
С 23 декабря 1998 года до марта 2004 года — начальник Главного управления военной инспекции Аппарата Совета безопасности Российской Федерации, позднее стал руководителем Межведомственной комиссии по подземным сооружениям Совета безопасности страны.