Исследовано расщепление рабочей моды, которое возникает за счёт взаимного влияния соседних зон брэгговского рассеяния в сверхразмерном резонаторе со скачком фазы гофрировки, работающем на связанных прямой и встречной волноводных модах с различными поперечными структурами. Для описания эффекта расщепления мод по частоте в рамках метода связанных волн построена оригинальная четырёхволновая модель. Показано, что данный эффект ухудшает селективные свойства резонатора, а при использовании в релятивистских мазерах на свободных электронах (МСЭ) — ограничивает мощность излучения и снижает стабильность узкополосного режима генерации. Результаты теоретического анализа подтверждены трёхмерным моделированием и «холодными» электродинамическими тестами. Представлены результаты экспериментального исследования МСЭ с рабочей частотой в окрестности 30 ГГц на основе брэгговских резонаторов с различной глубиной гофрировки, в которых реализованы как узкополосные одномодовые, так и многочастотные многомодовые режимы генерации. Обсуждается возможность увеличения мощности выходного излучения МСЭ путём пассивной компрессии полученных в эксперименте двухчастотных импульсов.