Алгоритм работы. При клике по ссылке открывается окно с формой. В форме предлагается заполнить поле, после заполнения надо каким-то образом закрыть это окно, window.close() не поможет, т.к. данные введенные в поле формы обрабатываются и в случае ошибки выдаётся сообщение в этом же окне. Окно можно закрыть только в случае успешного заполнения формы. Данные из окна передаются скрипту обработчику методом пост. В случае ошибки в div-контейнер возвращается информация об ошибке. А как закрыть окно, если ошибок не было, я не представляю.
В таком случае после обработки формы, PHP должен выслать переменную через AJAX, которая будет повествовать о том, что форма заполнена правильно, потом с помощью JS вы уже сможете определить отправлена форма или нет.