PR CENTER

PR센터

홈>PR센터>보도자료

보도자료

게시물 상세
[GIGABYTE] 제너레이티브 AI를 활용하려면 "훈련"과 "추론"에 대해 배워야 합니다
작성자 : 관리자( )  작성일 : 2023.07.04   조회수 : 169
첨부파일 o202306291803469412.jpg

바위 밑에서 살지 않았다면 ChatGPT와 같은 챗봇이 러브레터에서 소네트에 이르기까지 무엇이든 작곡할 수 있는 방법과 Stable Diffusion과 같은 텍스트-이미지 모델이 텍스트 프롬프트를 기반으로 아트를 렌더링할 수 있는 방법과 같은 생성 AI의 "마법"에 대해 잘 알고 있어야 합니다. 사실, 생성형 AI는 이해하기 쉬울 뿐만 아니라 작업하기도 쉽습니다. 최신 기술 가이드에서는 생성형 AI의 "훈련" 및 "추론" 프로세스를 분석하고 잠재력을 최대한 활용할 수 있는 GIGABYTE Technology의 토털 솔루션을 권장합니다.

 

 

 

물론 생성형 AI는 실제로 붓을 들고 있는 로봇이 아닙니다. 그러나 이 연상시키는 이미지는 AI의 미래가 얼마나 사랑스럽고 유능하며 영감을 줄 수 있는지를 나타냅니다.
 
생성 AI의 기량을 재탕하기보다는, 우리는 계속해서 커튼을 뒤로 젖힐 것입니다 : 모든 생성 AI는 "훈련"과 "추론"이라는 두 가지 필수 프로세스로 요약됩니다. 그들이 어떻게 작동하는지 이해하면, 당신은 그것들이 당신을 위해 일할 수 있는 확고한 위치에 있게 될 것입니다.

챗봇인 ChatGPT를 예로 들어 보겠습니다. "GPT"의 "T"는 트랜스포머(transformer)의 약자로, 대규모 언어 모델(Large Language Model) 또는 줄여서 LLM이라고 하는 자연어 처리(NLP)의 하위 집합에서 사용하는 아키텍처입니다. LLM은 딥 러닝 및 인공 신경망 (ANN) 기술을 통해 레이블이 지정되지 않은 텍스트의 큰 코퍼스 (우리는 수조에 달하는 단어 수에 대해 이야기하고 있습니다)에서 스스로를 "훈련"할 수 있기 때문에 인간처럼 읽고 쓰는 것을 컴퓨터에 가르치는 주된 방법이되었습니다. 간단히 말해서 위키백과 전체에 해당하는 내용을 통해 읽고 쓰는 법을 스스로 배웠기 때문에 거의 모든 주제에 대해 대화할 수 있습니다. 쿼리에 응답하기 위해 과거 훈련을 활용하는 부분을 "추론"이라고합니다.

용어집:
자연어 처리란?
딥러닝이란?

자, 그렇다면 Stable Diffusion이나 Midjourney 또는 무수한 텍스트-이미지 모델 중 하나는 어떻게 작동합니까? ChatGPT와 크게 다르지 않은데, 이번에는 언어 모델에 생성 이미지 모델이 첨부되어 있다는 점을 제외하면 말입니다. 이 모델은 또한 많은 양의 디지털 텍스트와 이미지에 대해 훈련되어 AI가 이미지를 텍스트로 변환하거나(단어를 사용하여 그림에 있는 내용을 설명) 또는 그 반대로(그리도록 요청한 것을 그리기) 변환할 수 있습니다. 최종 작품을 더욱 매력적으로 만들기 위해 마스킹이나 블러를 재치 있게 주입하는 것은 스마트폰으로 셀카를 찍어본 사람이라면 누구에게나 제2의 천성처럼 느껴질 것입니다. AI에게 올바른 프롬프트를 제공하기 위해 충분한 노력을 기울이면 AI가 생성한 예술이 미술 경연 대회에서 블루 리본을 수상한 것은 놀라운 일이 아닙니다.

이제 가장 인기 있는 형태의 생성 AI가 작동하는 방식에 대한 기본 사항을 보여드렸으므로 인공 지능의 이 흥미롭고 새로운 돌파구를 만드는 데 필요한 관련 기술과 도구에 대해 자세히 알아보겠습니다.《용어집: 인공 지능이란 무엇입니까?
 
 
교육: 작동 방식, 사용 도구, GIGABYTE의 지원 방법
현대의 기계 학습 분야가 신경 과학 용어에 크게 의존하는 데는 이유가 있습니다.이 AI 개발 분야는 인간의 두뇌에 대한 우리의 이해에서 큰 이익을 얻습니다. 즉, 인간의 뇌에는 수조 개의 시냅스를 형성하여 서로 통신하는 수십억 개의 뉴런이 있습니다. ANN은 또한 생물학적 뉴런을 모델로 한 노드의 층과 층으로 구성됩니다. 그들 사이의 연결은 우리의 시냅스와 비슷합니다.

데이텀 조각이 레이어에서 레이어로 전달되면 출력의 유효성에 따라 데이터 매개변수에 가중치가 적용된 점수가 할당됩니다. 예측(순방향 전파)과 피드백(역방향 전파)의 반복적인 반복을 통해 가중치가 매우 정확해져 항상 올바른 연결이 선택됩니다. 대략적으로 비유하자면, 이전에 분석된 데이터가 향후 데이터를 따를 수 있도록 알고리즘에 "홈"을 남기는 것으로 생각할 수 있습니다. 따라서 AI는 문자 그대로의 의미에서 명령을 이해하지 못하더라도 너무 많은 데이터에 대해 오랫동안 추측하는 연습을 통해 텍스트나 이미지의 형태에 관계없이 새로운 입력에 대해 교육적인 응답을 생성할 수 있습니다.

일반적으로 AI 훈련 과정에서 레이블이 지정된 데이터의 바다가 알고리즘에 쏟아져 "연구"됩니다. AI는 추측을 한 다음 정확성을 높이기 위해 답을 확인합니다. 시간이 지남에 따라 AI는 추측에 능숙해져서 항상 정확한 추측을 할 것입니다. 즉, 작업하기를 원하는 정보를 "학습"한 것입니다.
 
의심의 여지 없이, 상호 연결된 전자 장치가 매일 수집하는 방대한 양의 데이터인 빅 데이터는 AI가 학습할 수 있는 풍부한 정보를 갖도록 하는 데 큰 도움이 되었습니다. 이전의 훈련 방법은 "레이블이 지정된" 데이터에 의존했고 인간 프로그래머가 감독했습니다. 그러나 최근의 발전으로 AI는 레이블이 지정되지 않은 데이터를 사용하여 자체 지도 또는 반 지도 학습에 참여할 수 있게 되어 프로세스가 크게 빨라졌습니다.《용어집: 빅 데이터란 무엇입니까?

말할 필요도 없이 AI를 훈련시키는 데 필요한 컴퓨팅 리소스의 범위는 숨이 멎을 뿐만 아니라 기하급수적으로 증가하고 있습니다. 예를 들어, 1년에 출시된 GPT-2018은 약 8.0페타플롭/초일(pfs-일)의 리소스를 사용하여 "96개의 GPU에서 한 달" 동안 훈련되었습니다. 3년에 출시된 GPT-2020는 3,630pfs-day의 리소스를 사용했습니다. GPT-4의 현재 반복에 대한 숫자는 사용할 수 없지만 관련된 시간과 컴퓨팅이 GPT-3보다 훨씬 더 컸다는 것은 의심의 여지가 없습니다.《용어집: GPU란 무엇입니까?

따라서 AI 교육에 참여하고 싶다면 강력한 GPU 컴퓨팅 플랫폼이 필요합니다. GPU는 병렬 컴퓨팅을 통해 많은 양의 데이터를 처리하는 데 탁월하기 때문에 선호됩니다. 병렬화 덕분에 앞서 언급한 트랜스포머 아키텍처는 공급되는 모든 순차적 데이터를 한 번에 처리할 수 있습니다. 안목 있는 AI 전문가에게는 AI를 훈련하는 데 걸리는 시간을 더욱 줄이는 것이 목표라면 GPU 내의 코어 유형도 차이를 만들 수 있습니다.

자세히 알아보기:《용어집:
병렬 컴퓨팅이란 무엇입니까?
《용어집: Core란?
CPU vs. GPU: 어떤 프로세서가 적합합니까? GIGABYTE 기술 가이드

GIGABYTE의 G593-SD0 및 G593-ZD2는 각각 가장 진보된 4세대 Intel® Xeon® 및 AMD EPYC™ 9004 CPU와 NVIDIA의 HGX™ H100 컴퓨팅 모듈을 5U 섀시 내부에 통합합니다. 이것은 지구상에서 가장 강력한 AI 컴퓨팅 플랫폼 중 하나이며 AI 교육 설정의 핵심이 될 수 있습니다.
 
현재 세계에서 가장 진보된 AI 컴퓨팅 플랫폼 중 하나는 GIGABYTE의 G 시리즈 GPU 서버입니다. 이러한 서버 중 가장 진보된 서버는 AMD EPYC™ 9004 프로세서(G593-ZD2의 경우) 또는 4세대 인텔® 제온® 스케일러블 프로세서(G593-SD0)를 NVIDIA의 HGX™ H100 컴퓨팅 모듈과 결합합니다. HGX™ H100은 최대 100개의 H4 GPU를 수용할 수 있습니다. 이 최첨단 가속기는 특히 딥 러닝에 적합한 NVIDIA의 8세대 Tensor 코어를 기반으로 구축되었으며 FP100 정밀도의 전용 "트랜스포머 엔진"을 제공하여 LLM 훈련 속도를 높일 수 있습니다. HGX™ H32은 5개의 GPU를 모두 탑재했을 때 291페타플롭스 이상의 AI 성능을 제공합니다. GIGABYTE는 독점적인 냉각 기술과 섀시 설계 덕분에 이 모든 처리 능력을 281U 서버에 담을 수 있었기 때문에 고객은 최소한의 설치 공간으로 놀라운 컴퓨팅 밀도를 즐길 수 있습니다.

AI 교육은 생성 AI가 등장하기 훨씬 전부터 진행되어 왔다는 점에 유의하는 것이 중요합니다. AI 모델을 개발하는 고객은 종종 GIGABYTE의 업계 최고의 G 시리즈 GPU 서버를 구매하기로 선택합니다. 예를 들어, 세계적으로 유명한 이스라엘의 자율 주행 차량 개발자는 G482-54을 사용하여 자율 주행 자동차를 훈련시킵니다. 스페인의 IFISC(Institute for Cross-Disciplinary Physics and Complex Systems)는 G2020-Z482를 활용하여 위성 이미지와 AI를 통해 유럽의 소중한 올리브 과수원을 모니터링합니다. 50년, 대만 청쿵대학교(NCKU)의 슈퍼컴퓨팅 팀은 기가바이트의 G291-Z281 서버를 사용하여 트랜스포머 아키텍처 기반 언어 모델인 BERT의 세계 기록을 경신했습니다.

GIGABYTE 사례 연구:
《GIGABYTE G19-482을 통한 자율주행차의 두뇌 구축》《스페인의 IFISC, GIGABYTE 서버 솔루션으로 COVID-50, 기후 변화 해결》《
CSR 및 ESG 활용 사례 - GIGABYTE G<>-Z<>, NCKU의 슈퍼컴퓨팅 팀 교육에 도움


서버 솔루션은 GIGABYTE가 AI 교육을 위해 제공해야 하는 유일한 제품이 아니다. DNN Training Appliance는 강력한 컴퓨팅과 사용자 친화적인 GUI를 결합한 소프트웨어 및 하드웨어 패키지입니다. 개발자에게 데이터 세트를 관리하고, 실시간으로 시스템을 모니터링하고, AI 모델 분석에 참여할 수 있는 이상적인 환경을 제공합니다.

 
 
추론: 작동 방식, 사용할 도구 및 GIGABYTE가 도울 수 있는 방법
AI가 제대로 훈련되고 테스트되면 추론 단계로 넘어갈 차례입니다. AI는 익숙하지 않은 새로운 데이터의 홍수에 노출되어 가라앉는지 헤엄치는지 확인합니다. 생성 AI의 경우, 이것은 명왕성의 도심 범죄에 대한 에세이 작성 요청부터 19 세기 일본 예술가 우타가와 히로시게 (Utagawa Hiroshige)의 스타일로 말을 탄 우주 비행사의 그림을 그리라는 요구에 이르기까지 모든 것을 의미 할 수 있습니다.

AI는 이러한 새로운 입력의 매개 변수를 광범위한 학습 프로세스 중에 "학습"된 것과 비교하고 적절한 출력을 생성합니다. 이러한 전방 및 후방 전파가 레이어 사이에서 분리되는 동안 다른 흥미로운 일도 일어나고 있습니다. AI는 다음 훈련 세션을 위해 인간 사용자로부터 받은 응답을 컴파일합니다. 잘한 일에 대해 칭찬을 받을 때 주의를 기울이고, 인간이 그 결과물을 비판할 때 특히 주의를 기울입니다. 이러한 지속적인 훈련과 추론 루프는 인공 지능을 매일 더 스마트하고 생생하게 만드는 것입니다.

AI 추론 프로세스 중에 익숙하지 않고 레이블이 지정되지 않은 입력이 미리 학습된 모델에 공급됩니다. AI는 새 데이터의 매개 변수를 훈련과 비교하고 올바른 예측을 시도합니다. 추론 단계의 성공과 실패는 AI를 더욱 개선하기 위해 다음 학습 세션에서 사용됩니다.
 
컴퓨팅 리소스와 GPU 가속은 추론과 관련하여 여전히 중요하지만 이제 고려해야 할 또 다른 주름이 있습니다. 사용자는 특히 AI가 생성한 많은 콘텐츠가 가치를 갖기 전에 미세 조정이 필요한 경우 AI의 빠른 응답을 요구합니다. 생성 AI 이외의 다른 시나리오에서는 빠른 응답이 생산성이나 안전에 영향을 미칠 수 있으므로(예: 컴퓨터 비전을 사용하여 메일을 분류하거나 자율 주행 메일 트럭을 탐색하는 경우) 대기 시간을 최소화하는 것이 훨씬 더 중요합니다.

자세히 알아보기:《용어집:
컴퓨터 비전이란 무엇입니까?》《사례 연구: GIGABYTE 솔루션으로 스마트 전환을 시작한 물류 리더


AI 추론을 위한 최고의 GIGABYTE 솔루션 중 하나는 G293-Z43으로, 70U 섀시에 2개의 AMD Alveo™ V70 카드가 설치된 고밀도 추론 가속기 구성을 갖추고 있습니다. Alveo™ V100은 AI 추론에 최적화된 AMD의 XDNA™ 아키텍처를 기반으로 합니다. 적응형 데이터 흐름 아키텍처를 사용하면 외부 메모리에 의존할 필요 없이 AI 모델의 계층 간에 정보를 전달할 수 있습니다. 이는 성능과 에너지 효율성을 개선하는 동시에 대기 시간을 줄이는 효과가 있습니다.

AI 추론에 적극 권장되는 다른 솔루션으로는 신호 처리, 전력 효율성, 노드 발전 및 확장성과 같은 클라우드 컴퓨팅의 몇 가지 고유한 요구 사항을 해결하기 때문에 데이터 센터가 에지에서 추론에 보다 효과적으로 참여할 수 있는 기능을 촉진할 수 있는 Qualcomm® Cloud AI <>이 있습니다. 이러한 추론 솔루션은 G-시리즈 GPU 서버 외에도 E-시리즈 에지 서버 및 R-시리즈 랙 서버 등 기가바이트의 많은 서버 제품에 배포할 수 있습니다.

용어집:
데이터 센터란?
엣지 컴퓨팅이란?
클라우드 컴퓨팅이란?
확장성이란?

GIGABYTE의 G293-Z43은 소형 70U 섀시에 업계 최고 수준의 초고밀도 AMD Alveo™ V2 추론 가속기 카드 <>개를 제공합니다. 이 설정은 뛰어난 성능과 에너지 효율성을 제공할 뿐만 아니라 대기 시간을 단축합니다. 이러한 고밀도 구성은 GIGABYTE의 독자적인 서버 냉각 기술에 의해 가능합니다.
 
생성형 AI는 소매업과 제조업에서 의료와 은행업에 이르기까지 우리 삶의 점점 더 많은 측면에 침투하고 있습니다. 결국 선택하는 서버 솔루션은 AI를 "훈련"하기 위해 데이터를 처리하든, 현실 세계에서 "추론"할 수 있도록 AI 모델을 배포하든, 생성형 AI 여정의 어느 부분에 힘을 실어주고 싶은지에 따라 달라집니다. 새로운 AI 발명품의 기량은 프로세서 코어의 아키텍처와 같은 미세한 것부터 GIGABYTE Technology의 전체 솔루션과 같은 포괄적인 것에 이르기까지 AI 작업을 위해 설계된 수많은 전용 도구가 있다는 것을 이해하면 도달할 수 없는 것처럼 보이지 않을 것입니다. 성공을 달성하기 위한 도구가 마련되어 있습니다. 당신이해야 할 일은 인공 지능이 어떻게 "당신의 삶을 업그레이드"할 수 있는지 발견하는 것입니다.
이전글 [AAEON] 얼굴 인식에 엣지 도입
다음글 [GIGABYTE] 실리콘 밸리 스타트업 Sushi Cloud, GIGABYTE와 함께 베어메탈 서비스 출시