김영록 전남지사, 무안 도민과의 대화 '파행'