RHEL6.5 시스템 불안정

부하테스트를 진행한 경우 발생되는 이슈에 대해 질문이요…

*시스템 정보

Java version:  1.70_80 (64bit)

Kernel version: RHEL6.5

시스템은 server A, server B, server C, server D로 구성.

Server A 성능-à  cpu: 28core, memory: 32G

Server B 성능-à  cpu: 28core, memory: 32G

Server C 성능-à  cpu: 36core, memory: 128G

Server D 성능-à  cpu: 28core, memory: 32G

총 4대의 server 모두 JNI라이브러리를 사용한 Java Application을 실행시키고 있습니다.

Server A,B,C는 분산처리 DB로 데이터를 전송하고, Server D는 예비 Server로 네트워크 드라이브에 데이터를 전송하도록 되어있고요..

일반적으로 서버 A,B,C의 시스템 리소스는 cpu 사용률: 15% ~ 20%,  메모리 사용률: 50% 를 유지하고 있으며, 서비스는 정상적으로 수행되고 있습니다.

*시스템 설정 값

vm.max_map_count=262144

vm.swqppiness=1

limits.conf (user hard nofile=65535, user soft nofile=65535)

*부하테스트 수행

부하 테스트를 진행하기 위해 int[] 형의 사이즈 10,000,000개의 데이터를 전송하고, cpu사용량과 메모리 사용량을 확인을 하는데…

그런데…….

테스트를 수행한 결과 일반 PC와 서버 D에서는 0.5초 이내로 수행됩니다..

문제는 서버 A,B,C 에서는 테스트를 수행한 결과 2~40초 시간이 소요되며, 이 때 syscpu의 사용량이 90% 이상 증가하는 현상이에요….

Futex 에러가 전체의 50%이상 발생하며, 모두 ETIMEDOUT 에러가 발생합니다.

-Disk I/O 확인 결과 정상이며, swap은 발생되고 있지 않습니다.

이러한 문제점이 발생하는 원인에 대해 질문 드립니다.!!!!