Её возглавил старший майор госбезопасности Павел Судоплатов. На случай захвата Москвы он должен был разработать и осуществить план уничтожения в ней гитлеровского руководства.
Ядро отдела составляли опытные сотрудники НКВД.
Для восполнения недостатка в кадрах из тюрем или вынужденной отставки были также освобождены известные чекисты, такие, например, как руководитель группы активной разведки ОГПУ («группы Яши») в 1926–1934 годах Яков Серебрянский.
Многие из них в дальнейшем были заброшены к немцам в тыл для организации партизанских отрядов.
3 октября 1941 года отдел был преобразован во 2-й отдел НКВД, а с 18 января 1942 года в Четвертое управление НКВД-НКГБ СССР.
В 1978 году КГБ при Совете Министров СССР переименован в Комитет государственной безопасности СССР.