PR CENTER

PR센터

홈>PR센터>보도자료

보도자료

게시물 상세
[GIGABYTE] GIGABYTE 서버를 통한 SupremeRAID™ BeeGFS™ 성능
작성자 : 관리자( khkim@goak.co.kr)  작성일 : 2024.03.05   조회수 : 314
첨부파일 giga 보도.JPG
Graid Technology Inc. 에 의해
 
백서에서는 GIGABYTE S183-SH0을 탑재한 SupremeRAID™가 밀도가 매우 높고 효율적인 병렬 파일 시스템 솔루션을 생성하고 BeeGFS의 성능을 향상시켜 고성능 컴퓨팅 및 인공 지능 애플리케이션에 이상적으로 만드는 방법을 살펴봅니다.
 
 
요약
Graid Technology 의 SupremeRAID™는   GPU 기반 가속을 사용하여 매우 높은 RAID 성능을 제공합니다. SupremeRAID™를 사용하면 ASIC 기반 하드웨어 RAID 및 CPU 기반 소프트웨어 RAID를 포함한 다른 RAID 제품에 내재된 성능 제한을 피할 수 있습니다.
이 문서에서는 SupremeRAID™가 고성능 컴퓨팅(HPC)용으로 개발 및 최적화된 병렬 파일 시스템인 BeeGFS 의 성능을 어떻게 향상시키는지 살펴봅니다  . StorageBench 및  IOzone을 사용하여 성능 측정을 수행했습니다 . StorageBench는 네트워크 성능과 관계없이 기본 파일 시스템 및 장치의 스트리밍 처리량을 측정하는 BeeGFS 벤치마크입니다. IOzone은 실제 작업 부하를 시뮬레이션하기 위해 광범위한 IO 작업을 테스트하고 전체 시스템에서 성능 병목 현상을 찾도록 설계되었습니다.
테스트는 2개의 스토리지 노드와 4개의 클라이언트 노드로 작동하는 GIGABYTE 서버를 사용하여 수행되었습니다. 조사 결과는 다음 페이지에 요약된 바와 같이 뛰어난 저장 공간과 BeeGFS 성능을 보여 주며, 이는 데이터 보호를 위해 SupremeRAID™를 선택하는 것이 성능을 극대화하는 매우 효과적인 방법임을 입증합니다.
1. 4개의 RAID 5 그룹으로 구성된 12개의 7GB/s SSD로 구성된 2세트. 2. 총 400G에 대한 4개의 100G 이더넷 링크.
 
원시 스토리지 성능을 측정하도록 설계된 BeeGFS StorageBench 벤치마크는 130.35GB/s의 인상적인 SupremeRAID™ 5 읽기 속도와 70GB/s의 쓰기 속도를 보여줍니다. 또한 StorageBench RAID 5 읽기 성능은 네트워크 병목 현상이 발생한 IOzone 벤치마크보다 읽기 및 쓰기 성능이 훨씬 높아 이론적인 성능 한계에 근접해 SupremeRAID™의 뛰어난 스토리지 성능을 보여줍니다.
네트워크 전송 오버헤드를 포함하는 실제 클라이언트 워크로드를 시뮬레이션하도록 설계된 IOzone 벤치마크도 마찬가지로 인상적입니다. 256개의 스레드로 읽기 및 쓰기 속도는 각각 45.10GB/s 및 42.97GB/s에 도달합니다. 중요한 것은 이 수치가 400G 네트워크의 이론적 한계(50GB/s)에 접근한다는 점입니다. 이는 SupremeRAID™가 4개의 100G 네트워크 링크로 구성된 400G 네트워크를 거의 완벽하게 활용할 수 있음을 의미합니다.
 
 
테스트 배경
하드웨어: 스토리지 노드(2개)
• 서버: GIGABYTE  S183-SH0-AAV1  x 1
• 프로세서:  Intel® Xeon® Platinum 8468H  48C 2.1GHz x 2
• 메모리: Micron MTC20F2085S1RC48BA1 DDR5 32GB 4800MHz x 16
• 네트워크 카드: ConnectX-5 Ex MCX556A-EDAT EDR x 1
• SSD: SAMSUNG MZTL23T8HCLS-00A07 3.84TB x 16
• RAID 컨트롤러: RAID 컨트롤러:  SupremeRAID™ SR-1010  x 1
 
하드웨어: 클라이언트 노드(4개)
• 서버: GIGABYTE H242-Z10  x 4(4개- 노드 시스템)
• 프로세서:  AMD EPYC 7663  56C x 2
• 메모리: Micron HMA82GR7CJR8N-XN DDR4 16GB 3200MHz x 16
• 네트워크 카드: ConnectX-5 Ex MCX556A-EDAT EDR x 1
 
소프트웨어: 스토리지 노드
• 운영 체제: Red Hat Enterprise 8.8
• 커널: 4.18.0-477.13.1.el8_8.x86_64
• BeeGFS: 7.3.3
• SupremeRAID™ 드라이버: 1.5.0
• OFED: 5.8-2.0.3.0

소프트웨어: 클라이언트 노드
• 운영 체제: Red Hat Enterprise 8.8
• 커널 : 4.18.0-477.13.1.el8_8.x86_64
• BeeGFS: 7.3.3
• SupremeRAID™ 드라이버: 1.5.0
• OFED: 5.8-2.0.3.0
• IOzone: 3-506.x86_64

소프트웨어: 클라이언트 노드
• 운영 체제: Red Hat Enterprise 8.8
• 커널: 4.18.0-477.13.1.el8_8.x86_64
• BeeGFS: 7.3.3
• SupremeRAID™ 드라이버: 1.5.0
• OFED: 5.8-2.0.3.0
• IO 영역: 3-506.x86_64
 
 
클러스터 아키텍처
네트워킹
각 스토리지 노드에는 듀얼 포트 100G 네트워크 카드가 장착되어 있으며, 각 클라이언트 노드에는 단일 포트 100G 네트워크 카드가 장착되어 있습니다. 2개의 스토리지 노드와 4개의 클라이언트 노드는 모두 100G 스위치를 사용하여 상호 연결됩니다.

스토리지
각 스토리지 노드에는 16개의 NVMe 드라이브가 장착되어 있으며, 그 중 8개는 CPU0에 있고 나머지 8개는 CPU1에 있습니다. CPU0에 위치한 단일 SupremeRAID™ SR-1010 RAID 컨트롤러는 16개의 NVMe 드라이브를 모두 관리합니다. 두 개의 MDS(메타데이터 서비스)가 설정되어 있으며 각각은 두 개의 드라이브로 구성된 RAID1 그룹에서 지원됩니다. 또한 각각 6개의 드라이브를 통합하는 2개의 RAID 5 그룹이 구성되었습니다. 각 RAID 5 그룹은 3개의 개별 OSS(객체 스토리지 서비스)를 위한 3개의 가상 드라이브를 생성했습니다. 전체적으로 클러스터는 4개의 MDS와 12개의 OSS로 구성됩니다.
 
프로필 테스트
BeeGFS StorageBench
클러스터를 성공적으로 구성한 후 내장된 BeeGFS StorageBench 도구를 활용하여 NVMe 드라이브 및 RAID 컨트롤러의 성능을 측정했습니다. 평가 프로세스는 테스트 파일 구축을 목표로 하는 쓰기 테스트로 시작되었습니다. 이 절차에는 1M의 블록 크기와 64개의 스레드가 사용되었습니다. 또한 VFS 캐시의 잠재적인 영향을 우회하고 이후 스토리지 시스템의 실제 성능 기능을 공개하기 위해 --odirect 옵션을 통합했습니다.
 
 
쓰기 테스트가 완료되면 읽기 테스트 단계로 전환했습니다.
 
 
IOzone
현실적인 워크로드에서 클러스터 성능을 평가하기 위해 IOzone을 활용하여 다양한 I/O 깊이의 4개 클라이언트 노드에서 I/O를 생성했습니다. 여기에는 각 스레드에 대해 1M 블록 크기와 16GB 파일 크기로 읽기 및 쓰기 워크로드를 모두 수행하는 것이 포함되었습니다. 또한 직접 I/O를 허용하도록 -I 옵션이 지정되었습니다.
 
테스트 결과
원시 스토리지 성능을 측정하도록 설계된 BeeGFS StorageBench 벤치마크는 RAID 5 보호 환경에서 인상적인 결과를 보여줍니다. 이 벤치마크 기간 동안 관찰된 읽기 및 쓰기 속도는 "BeeGFS StorageBench 결과 대 IOzone 결과"라는 제목의 차트에 설명된 대로 4개의 RAID 5 그룹에서 각각 130.35GB/s 및 70GB/s로 최고 기록되었습니다. StorageBench RAID 5 읽기 성능은 이론적 성능 한계에 근접하며 네트워크 병목 현상이 있는 IOzone 벤치마크보다 읽기 및 쓰기 성능이 훨씬 높아 SupremeRAID™의 뛰어난 스토리지 성능을 보여줍니다.

이와 대조적으로 IOzone 벤치마크는 네트워크 전송 오버헤드를 통합하여 실제 클라이언트 워크로드를 시뮬레이션합니다. 이 시나리오의 성능은 StorageBench 결과보다 낮지만 여전히 인상적입니다. 읽기 및 쓰기 속도는 256개의 스레드로 각각 45.10GB/s 및 42.97GB/s에 도달합니다. 중요한 것은 이 수치가 400G 네트워크(50GB/s)의 이론적인 한계에 접근한다는 점입니다. 이는 SupremeRAID™가 400G 네트워크(4 x 100G)를 거의 완벽하게 활용할 수 있음을 의미합니다.
BeeGFS StorageBench 결과와 IOzone 결과 비교
 
 
다양한 스레드 수에 따른 IOzone 읽기/쓰기 성능
요약
요약하면 SupremeRAID™는 원시 스토리지 및 실제 작업 부하 시나리오에서 높은 성능을 제공합니다. BeeGFS StorageBench 결과에서 알 수 있듯이 SupremeRAID™는 RAID5 보호 하에서 매우 높은 스토리지 성능 수준을 달성합니다. 또한 IOzone 결과는 SupremeRAID™가 고속 네트워크 인프라를 최적으로 활용하면서 실제 클라이언트 작업 부하를 효율적으로 처리할 수 있음을 보여줍니다.

GIGABYTE S183-SH0과 결합하면 밀도가 매우 높고 효율적인 병렬 파일 시스템 솔루션을 제공할 수 있습니다. 32개 베이가 모두 채워지면 1U당 최대 398.32TB를 제공할 수 있어 고성능 컴퓨팅(HPC) 및 인공 지능(AI) 애플리케이션에 이상적인 솔루션입니다. SupremeRAID™는 GIGABYTE S183-SH0과 함께 뛰어난 성능과 최대의 스토리지 효율성을 결합하여 HPC/AI 시나리오를 위한 최고의 선택으로 자리매김했습니다.
 
 
결론
Graid Technology의 SupremeRAID™는 GPU 기반 가속을 사용하여 매우 높은 RAID 성능을 제공합니다. SupremeRAID™를 사용하면 ASIC 기반 하드웨어 RAID 및 CPU 기반 소프트웨어 RAID를 포함한 다른 RAID 제품에 내재된 성능 제한을 피할 수 있습니다. SupremeRAID™ 소프트웨어 버전 1.5에서는 SSD 성능의 효율적인 활용이 향상되어 상당한 이점을 제공합니다.
StorageBench 및 IOzone 벤치마크 테스트에서는 SupremeRAID™ 및 GIGABYTE 서버 사용 시 높은 스토리지 및 BeeGFS 성능을 확인했습니다. StorageBench 결과는 16개 SSD의 집합과 일치하는 스토리지 성능과 이론적 한계인 400G에 접근하는 BeeGFS 성능을 보여줍니다.
BeeGFS에 SupremeRAID™ 및 GIGABYTE를 사용하면 다음과 같은 성능 이점을 얻을 수 있습니다.
• 최대 130.35GB/s의 스토리지 성능.
• 최대 45.10GB/s BeeGFS 성능.
 
 
배포 세부정보
모든 노드의 경우
모든 서버에 RHEL 8.8을 설치합니다.
네트워킹 설정
1. 모든 서버에 OFED 패키지를 설치합니다.
 
 
2. 서버에서 InfiniBand 서브넷 관리자를 구성하고 시작합니다.
 
 
3. InfiniBand(IB) 상태를 확인합니다.
 
 
스토리지 노드
SupremeRAID™ 드라이버 설치
1. 사전 설치 프로그램과 설치 프로그램을 다운로드합니다.
 
 
2. 사전 설치 프로그램을 실행하여 필요한 패키지를 설치합니다.
 
 
3. 설치 프로그램을 실행하여 SupremeRAID™ 드라이버를 설치합니다.
 
 
4. SupremeRAID™ 서비스를 활성화하려면 라이센스 키를 적용하세요.
 
 
BeeGFS 패키지 설치
1. 모든 서버에 BeeGFS 저장소를 추가합니다.
 
 
2. BeeGFS 패키지를 설치합니다.
 
 
BeeGFS용 RAID 어레이 설정
1. SSD NUMA 위치를 확인합니다. 8개의 드라이브가 NUMA0에 있고 8개가 NUMA1에 있는지 확인하세요.
 
 
2. 16개의 NVMe 드라이브를 물리적 드라이브로 생성합니다.
 
 
3. 두 개의 RAID1 그룹과 두 개의 RAID5 그룹을 구성합니다.
 
 
4. 2개의 MDS 및 6개의 OSS용 가상 드라이브 생성
 
 
5. MDS(ext4) 및 OSS(xfs)에 적합한 파일 시스템으로 가상 드라이브를 포맷합니다.
 
 
BeeGFS 관리 서비스 설정
 
 
스토리지 노드에 여러 개의 BeeGFS MDS 및 OSS 설정

1. 2개의 MDS 폴더와 6개의 OSS 폴더를 생성합니다.
 
 
2. beegfs-meta 구성 파일을 MDS 폴더에 복사합니다.
 
 
3. 각 MDS에 대해 beegfs-meta TCP/UDP 포트를 수정하여 포트 충돌을 방지합니다.
 
 
4. beegfs-storage 구성 파일을 OSS 폴더에 복사합니다.
 
 
5. 포트 충돌을 방지하기 위해 각 OSS에 대한 BeeGFS 스토리지 TCP/UDP 포트를 수정합니다.
 
 
6. 인터페이스 파일을 /etc/beegfs 폴더에 넣습니다.
 
 
7. BeeGFS 마운트 지점을 설정합니다.
 
 
8. MDS 및 OSS를 초기화합니다.
 
 
9. MDS 및 OSS 서비스를 시작합니다.
 
 
10. 방화벽의 포트를 엽니다.
 
 
11. 방화벽 서비스를 다시 로드합니다.
 
 
클라이언트 노드
BeeGFS 패키지 설치
1. 모든 서버에 BeeGFS 저장소를 추가합니다.
 
 
2. BeeGFS 클라이언트 패키지를 설치합니다.
 
 
BeeGFS 클라이언트 설정
1. beegfs-client-autobuild.conf 파일에서 클라이언트 서버의 빌드 옵션을 구성합니다.
 
 
2. 클라이언트 커널 모듈을 다시 빌드합니다.
 
 
3. 클라이언트 서버에서 클라이언트 서비스를 초기화합니다.
 
 
4. BeeGFS 클라이언트 서비스를 다시 시작합니다.
 
 
BeeGFS 튜닝
객체 스토리지 서비스
 
 
메타데이터 서비스
 
 
고객
 
 
파일 시스템
 
 
참고자료
 
 
소개
 
 
 
SupremeRAID™
SupremeRAID™ 차세대 GPU 가속 RAID는 기존 RAID 병목 현상을 제거하여 NVMe SSD의 성능과 가치를 최대한 활용합니다. PCIe Gen 3, 4, 5 서버를 위한 세계에서 가장 빠른 RAID 카드인 SupremeRAID™는 탁월한 성능을 제공하는 동시에 확장성을 높이고 유연성을 향상시키며 총 소유 비용(TCO)을 낮추도록 설계되었습니다. 단일 SupremeRAID™ 카드는 최대 28M IOPS 및 260GB/s의 성능을 발휘합니다.
• 유연성 및 미래 대비 – 소프트웨어만을 사용하여 추가된 기능을 통해 비교할 수 없는 유연성을 제공합니다.
• 세계 기록 성능 – 고성능 애플리케이션을 구동하는 속도를 제공합니다.
• CPU 리소스 확보 - RAID 계산을 SupremeRAID™ GPU 카드로 오프로드합니다.
• 플러그 앤 플레이 기능 – 케이블 레이아웃을 다시 구성할 필요 없이 열려 있는 PCle 슬롯에 추가할 수 있습니다.
• 확장성이 뛰어난 애플리케이션 – 직접 연결된 NVMe SSD를 최대 32개까지 쉽게 관리할 수 있습니다.
• 사용자 친화적인 관리 - 성능 향상을 위해 메모리 캐싱에 의존하지 않습니다.
 
 
BeeGFS 및 StorageBench
ThinkParQ®에서 개발 및 설계한 BeeGFS 병렬 파일 시스템은 성능 지향 환경 및 작업 부하에 대해 고성능, 사용 편의성 및 간단한 관리 기능을 제공합니다. 일반적인 예로는 고성능 컴퓨팅, 인공 지능, 미디어 및 엔터테인먼트, 석유 및 가스, 생명과학 등이 있습니다. BeeGFS는 시중의 다른 병렬 파일 시스템보다 배포 및 관리가 더 쉽다고 여겨지는 경우가 많으며 StorageBench 스토리지 벤치마킹 도구가 포함되어 있습니다.
 
 
IO존
IOzone 종합 벤치마크는 읽기, 다시 읽기, 쓰기, 다시 쓰기 및 무작위 혼합을 포함한 다양한 작업을 사용하여 파일 시스템 성능을 테스트합니다. 테스트는 명령줄을 사용하여 지정된 옵션에 따라 수행되며 다양한 유형과 조합의 테스트 작업이 지원됩니다.
이전글
다음글 [GIGABYTE] 체코 최대 검색 엔진은 GIGABYTE 솔루션을 기반으로 인프라를 구축합니다.
리스트