Неустойчивость колебаний в плазменном слое при комптоновском рассеянии мощного электромагнитного излучения