<button>
  <span>버튼 테스트</span>
</button>

button {
  box-sizing: border-box;
  padding: 0;
  border: 1px solid #00f;
  outline: 0;
  background: none;
  text-align: center;
}
button span {
  box-sizing: border-box;
  position: relative;
}

테스트 결과

브라우저

• window: ie8, ie9, ie10, ie11, chrome, firefox
• macos: chrome, safari, firefox

나름 테스트 해본 결과 ie8에서 딸깍 거리는 스타일의 문제는 해결하지 못했지만 나머지 브라우저에서는 동일한 스타일로 보여줄 수 있었다.