Что-то нас в математические дебри понесло, но поскольку тема мусорная,нас никто не слышит, javascript:void(0); то продолжу. Сначала про k - это обратная длина волны, умноженная на два пи, также как O это обратный период, умноженный на два пи. Это просто удобные обозначения, что бы написать волну как A sin(k x - O t) (по х период L, по t - период колебаний). Написанная формула дисперсии (зависимости угловой частоты О от волнового числа k) работает только для малых амплитуд колебаний (амплитуда должна быть много меньше длины волны). Поэтому логика такая (возвращаясь к бутылке). Воду снизу подпирает атмосферное давление, поэтому все, что может произойти - это по случайным причинам поверхность воды слегка изогнется. Тогда, поскольку амплитуда такого изгиба очень мала, можно использовать уравнение для малых амплитуд. Это уравнение по форме совпадает с волновым уравнением, и любое его решение - это сумма волн (уравнение линейно). Решение для одной (произвольной) волны можно написать, воспользовавшись тем, что решение для малых амплитуд написал Томсон, а уравнение для перевернутой поверхности отличается только заменой g на -g,поэтому в формуле надо сделать эту замену и больше ни о чем не думать. В законе дисперсии два члена, один линейный по k, а другой - квадратичный. Прямая, проведенная из нуля пересечет параболу в двух точках в нуле и еще какой-то, поэтому при любом положительном (а другого не бывает) коэффиценте поверхностного натяжения существуют большие k (малые длины волн) для которых поверхностное натяжение победит гравитацию. Самая большая длина волны у бутылки - диаметр ее горла, поэтому если этот диаметр меньше критической длины волны (около 5 мм для воды, для водки, по-моему, меньше, но точно не помню), то из бутылки ничего не выльется.
Если диаметр горла больше критического, то найдется такое возмущение, длина которого превышает критическую. При малых амплитудах уравнение для него такое же, и его амплитуда начнет быстро расти. С какого-то момента она этим уравнением описываться перестанет, и что будет дальше - другая история, но потерю устойчивости и оценку диаметра горла, при которой это произойдет линейная наука оценивает хорошо.