С сентября 1941 года — заместитель командира отдельного механизированного отряда войск НКВД.
В декабре 1941-го капитан Карицкий был назначен командиром отдельного партизанского батальона, сформированного на базе офицеров и бойцов НКВД.
В апреле 1942-го батальон перешёл линию фронта и приступил к активным боевым действиям. Около полугода батальон воевал самостоятельно, а с наступлением зимы в ноябре 1942 года перешёл на юг Ленинградской области и влился в состав 3-й Ленинградской партизанской бригады Героя Советского Союза Германа. Константин Карицкий стал заместителем командира бригады по разведке.
В феврале 1943 года Карицкий был назначен командиром вновь образованной 5-й Ленинградской партизанской бригады.
Бригаде была поручена задача парализовать работу важнейшего железнодорожного узла и станции Луга. За период боевых действий бригада выбила гитлеровцев из 367 населённых пунктов и спасла от угона в рабство более 40 тысяч советских людей. Был создан большой партизанский край.
Силами бригады пущены под откос 81 железнодорожный эшелон и 3 бронепоезда, уничтожены 16 танков, 3 самолёта, разгромлены 19 гарнизонов и 4 железнодорожные станции, уничтожено свыше 14 тысяч немецких солдат и предателей Родины из числа полицаев и прибалтийских нацистских формирований, взято в плен 36 немецких офицеров.
Основная масса бойцов бригады соединилась с Красной армией в феврале 1944 года, а сам комбриг с ядром бригады перешёл в Псковскую область и продолжал партизанскую борьбу до июля 1944 года, когда этот район был освобождён советскими войсками в ходе Псковско-Островской наступательной операции.
Звание Героя Советского Союза подполковнику Карицкому присвоено Указом Президиума верховного совета СССР от 2 апреля 1944 года.