Получается какая-то хрень. При включении ИИП без нагрузки должен раздаться кратковременный треск и моргнуть защита. Если нагрузка превышает допустимую, должен идти треск и гореть светодиод. У тебя треск идет, а светодиод не горит.
Защита срабатывает по току потребления, который меняется в зависимости от нагрузки. Датчиком тока служит резистор R10. Напряжение на этом резисторе зависит от проходящего тока в соответствии с законом Ома: U=I*R.
То есть, чем больше сопротивление, тем больше будет напряжение на резисторе. Когда напряжение на этом резисторе (оно идет на базу КТ815) увеличится настолько, что сможет транзистор - сработает защита, включится светодиод и пойдет прерывистый режим работы ИИП, что и является причиной треска трансформатора. Таким образом, уменьшая сопротивление резистора мы увеличиваем значение тока при котором напряжение на резисторе достигнет порога срабатывания защиты. А у тебя наоборот получается.
Попробуй в качестве нагрузки подключить на 36В три последовательно включенных галогенки на 12В 50Вт.
Есть подозрения по поводу термистора. Неплохо было бы вместо него попробовать воткнуть сопротивление на 2ом 5Вт, или два последовательных сопротивления 1ом 2Вт.