AWS AI ML and Data Analytics

AWS 데이터 파이프라인 서비스 핵심 정리

데이터 파이프라인은 데이터를 소스에서부터 최종 분석까지 이동시키는 일련의 단계입니다. AWS는 각 단계별로 다양한 완전 관리형 서비스를 제공합니다.

1. 데이터 수집 서비스 (Data Ingestion Services)

데이터를 소스 시스템에서 선택한 스토리지 솔루션으로 이동시킵니다. 데이터가 즉시 필요하면 실시간 수집을, 지연을 허용할 수 있다면 배치 수집을 사용합니다.

서비스	유형	주요 역할 및 특징
Amazon Kinesis Data Streams	실시간 (Real-time)	애플리케이션, 스트림, 센서 등에서 테라바이트 규모의 데이터를 실시간으로 수집합니다. 온디맨드 모드에서 자동 프로비저닝 및 확장을 제공하는 서버리스 서비스입니다.
Amazon Data Firehose	준 실시간 (Near real-time)	데이터를 수초 내에 데이터 레이크, 데이터 웨어하우스 및 분석 서비스로 전달합니다. 완전 관리형 서비스이며 자동 프로비저닝 및 확장을 제공합니다.

 

---

2. 데이터 저장 서비스 (Data Storage Services)

데이터를 분석을 위해 단일 위치에 통합하는 곳입니다. 유연한 데이터 레이크와 구조화된 데이터 웨어하우스로 나뉩니다.

서비스	유형	주요 역할 및 특징
Amazon S3	데이터 레이크 (객체 스토리지)	데이터 레이크에 가장 널리 사용됩니다. 구조화되거나 비구조화된 데이터를 사실상 무제한으로 안전하게 보관할 수 있으며, 데이터 추가/삭제 시 자동으로 확장되는 완전 탄력적 서비스입니다.
Amazon Redshift	데이터 웨어하우스	페타바이트 규모의 구조화되거나 반구조화된 데이터를 저장할 수 있는 완전 관리형 데이터 웨어하우스 서비스입니다. 확장 가능하며 종량제 모델로 대규모 데이터셋 분석을 비용 효율적으로 수행할 수 있습니다.

Sheets로 내보내기

---

3. 데이터 카탈로그 서비스 (Data Cataloging Services)

데이터에 대한 메타데이터를 제공하여 조직 데이터의 인벤토리 역할을 합니다.

서비스	주요 역할 및 특징
AWS Glue Data Catalog	데이터 검색을 향상시키는 중앙 집중식, 확장 가능, 관리형 메타데이터 저장소를 제공합니다. 다양한 데이터 스토어 및 분석 서비스에 메타데이터를 제공하여 데이터 파이프라인의 효율성을 높입니다.

Sheets로 내보내기

---

4. 데이터 처리 서비스 (Data Processing Services)

분석할 준비가 되도록 데이터를 정제하고 변환하는 서비스입니다 (ETL 과정).

서비스	유형	주요 역할 및 특징
AWS Glue	완전 관리형 ETL	데이터 준비를 더 간단하고 빠르며 비용 효율적으로 만드는 완전 관리형 ETL(추출, 변환, 로드) 서비스입니다. AWS Glue Data Catalog를 사용하여 변환에 필요한 메타데이터에 접근할 수 있습니다.
Amazon EMR	대규모 데이터 처리	Apache Spark, Hadoop, Hive와 같은 인기 있는 빅 데이터 프레임워크를 지원합니다. 인프라 프로비저닝, 클러스터 관리 및 확장을 자동으로 처리하며, 기존 빅 데이터 전문 지식이 있는 조직에 이상적입니다.

 

---

5. 데이터 분석 및 시각화 서비스 (Analysis & Visualization Services)

쿼리 및 시각화 도구를 사용하여 데이터에서 중요한 인사이트를 도출합니다.

서비스	유형	주요 역할 및 특징
Amazon Athena	서버리스 쿼리	관계형, 비관계형, 객체 등 다양한 데이터 소스에 대해 SQL 쿼리를 실행하여 데이터를 분석합니다. 실행한 쿼리에 대해서만 비용을 지불하는 비용 효율적인 서버리스 서비스입니다.
Amazon Redshift	데이터 웨어하우스	대규모 데이터셋 분석에 이상적입니다. 컬럼 기반 스토리지와 대규모 병렬 처리(MPP) 아키텍처를 사용하여 빈번하고 고성능의 분석 워크로드를 지원합니다.
Amazon QuickSight	BI 시각화	기술/비기술 사용자 모두 인프라 관리 없이 다양한 데이터 소스로부터 현대적인 대화형 대시보드 및 보고서를 빠르게 생성할 수 있습니다. Amazon Q를 통해 자연어 쿼리 분석도 지원합니다.
Amazon OpenSearch Service	검색 및 분석	정확한 키워드 매칭이나 자연어 쿼리를 통해 관련 콘텐츠를 검색합니다. 로그, 추적 및 메트릭 분석을 위한 실시간 데이터 시각화 대시보드를 제공합니다.

 

 

---

이 요약본을 통해 데이터가 AWS 클라우드를 이동하는 전체 과정을 서비스별로 명확하게 이해하실 수 있을 겁니다. 데이터의 성격(실시간성, 구조, 규모)에 따라 어떤 서비스를 조합하여 사용할지 결정하는 것이 데이터 파이프라인 설계의 핵심입니다.

 

 

 

 

 

---

 

A large advertising agency wants to quickly integrate a new content generation feature into its existing enterprise-wide design application. The new feature needs to be able to generate both text and images. The agency doesn't want to manage any new infrastructure.

Which service would work best for this use case?

 

• Amazon SageMaker JumpStart
• Amazon Bedrock
• Amazon Q Business
• Amazon Q Developer

정답: Amazon Bedrock

선택 이유: 인프라 관리 없이, 멀티모달(텍스트 및 이미지) 통합

광고 에이전시의 요구 사항은 인프라 관리 없이(No new infrastructure) 기존 애플리케이션에 **새로운 콘텐츠 생성 기능(텍스트 및 이미지)**을 빠르게 통합하는 것입니다.

Amazon Bedrock은 이러한 요구사항에 완벽하게 부합하는 완전 관리형 서버리스(Serverless) 서비스입니다.

1. 완전 관리형 및 서버리스: Bedrock은 AWS가 모든 기반 인프라를 관리하기 때문에, 고객은 새로운 서버를 프로비저닝하거나 관리할 필요가 전혀 없습니다. API 호출만으로 바로 서비스를 이용할 수 있습니다.
2. 멀티모달 지원: Bedrock은 Amazon, Anthropic, Stability AI 등 선도적인 AI 기업의 다양한 **기초 모델(Foundation Models, FMs)**을 단일 API를 통해 제공합니다.
   • 텍스트 생성: Anthropic Claude, Amazon Titan Text 등을 사용할 수 있습니다.
   • 이미지 생성: Stability AI의 Stable Diffusion 모델을 사용하여 이미지를 생성할 수 있습니다.
3. 빠른 통합: 기존 애플리케이션에서 Bedrock API를 호출하기만 하면 되므로, 신규 기능을 가장 빠르게 통합할 수 있습니다.

다른 서비스가 적합하지 않은 이유

• Amazon SageMaker JumpStart: 모델 배포를 간소화하지만, 여전히 SageMaker 엔드포인트를 설정하고 관리해야 합니다. 이는 "인프라를 관리하고 싶지 않다"는 요구사항과 상충됩니다.
• Amazon Q Business & Amazon Q Developer: 이 서비스들은 주로 데이터 기반 답변 검색이나 코딩 지원을 위해 설계되었습니다. 창의적인 텍스트 및 이미지 콘텐츠를 생성하는 주 목적과는 거리가 멉니다.

 

Question

06/10

A large healthcare organization wants to improve employee productivity. The company is searching for a pre-built generative AI assistant that can answer questions, help solve problems, and take actions using the data and expertise found in its information repositories.

Which AWS service would work well for this use case?

 

• Amazon SageMaker JumpStart
• Amazon Q Developer
• Amazon Q Business
• Amazon Bedrock

정답: Amazon Q Business (아마존 큐 비즈니스)

선택 근거: 기업 정보 저장소 활용 및 문제 해결

이 시나리오의 핵심 요구사항은 다음과 같습니다.

1. 사전 구축된(Pre-built) 생성형 AI 비서 (AI Assistant)
2. 직원 생산성 향상 (Employee Productivity)
3. 회사의 정보 저장소(Information Repositories)의 데이터와 전문 지식을 활용하여 질문에 답하고, 문제를 해결하며, 조치를 취할 수 있어야 함.

Amazon Q Business는 이 요구사항에 완벽하게 일치하는 서비스입니다.

• 기업 지식 활용: Amazon Q Business는 기업 내부에 존재하는 데이터 (문서, 위키, Slack 기록, Jira, Amazon S3 등)를 **연결(Connect)**하여, 그 데이터에 기반한 답변을 제공하고 문제 해결에 도움을 주도록 설계되었습니다. 이는 단순히 인터넷 정보를 사용하는 것이 아니라, 회사 내부의 전문 지식을 활용한다는 의미입니다.
• 직원 생산성: 이 서비스는 직원의 질문에 대한 즉각적인 답변을 제공하고, 복잡한 비즈니스 프로세스에 대한 조치(Action)까지 지원하여 직원들의 생산성을 극대화합니다.
• 완전 관리형: 사전 구축된 솔루션이므로, 복잡한 인프라 관리나 모델 훈련 없이 바로 사용할 수 있습니다.

다른 서비스가 적합하지 않은 이유

서비스	주요 목적	이 시나리오에 부적합한 이유
Amazon Q Developer	소프트웨어 개발자 지원	코딩, 디버깅, 코드 검토 등에 특화된 비서입니다. 일반적인 직원 생산성 향상이나 비즈니스 데이터 활용에는 주안점이 없습니다.
Amazon Bedrock	기초 모델(FM) 액세스 및 구축	모델을 직접 선택하고 애플리케이션에 통합하여 새로운 생성형 AI 기능을 구축하는 플랫폼입니다. 사전 구축된 비서가 아니며, 고객이 직접 프롬프팅 및 통합 로직을 짜야 합니다.
Amazon SageMaker JumpStart	모델 배포 및 훈련	대규모 언어 모델(LLM)을 탐색하고 SageMaker 인프라에 배포하여 사용하는 개발자 도구입니다. 최종 사용자용 완전한 비서 솔루션이 아닙니다.

 

따라서 기업의 내부 지식을 활용하여 직원 생산성 향상을 목표로 하는 사전 구축형 비서는 Amazon Q Business가 가장 적절합니다.

 

Amazon Bedrock is a fully managed service that was specifically designed for working with large foundation models (FMs) and building generative AI applications.

What does the service provide to access FMs from Amazon and leading AI startups?

• Dedicated cloud storage
• An open source repository
• A single API
• Free, unlimited use

---

정답: A single API (단일 API)

Amazon Bedrock의 핵심 기능 해설

Amazon Bedrock은 AWS에서 제공하는 완전 관리형 서비스로, 대규모 기초 모델(Foundation Models, FMs)을 활용하여 생성형 AI 애플리케이션을 구축하는 과정을 간소화합니다.

Bedrock이 Amazon 및 선도적인 AI 스타트업(예: Anthropic, Stability AI 등)의 다양한 FM에 접근할 수 있게 해주는 핵심 메커니즘은 바로 단일 API입니다.

1. 단일 통합 지점: 개발자는 각 모델 제공업체마다 개별적인 API나 인증 방식을 학습할 필요 없이, Bedrock의 통일된 API 하나만 사용하여 원하는 모델을 호출하고 통합할 수 있습니다.
2. 모델 전환의 용이성: 애플리케이션 코드를 크게 변경하지 않고도 필요에 따라 **다른 모델(예: 텍스트 생성용 Claude에서 이미지 생성용 Stable Diffusion으로)**을 쉽게 전환하여 사용할 수 있습니다.
3. 서버리스 접근: 이 단일 API는 완전 관리형 서버리스 방식으로 제공되므로, 모델을 배포하거나 확장하기 위한 **인프라(Dedicated cloud storage, 서버 등)**를 고객이 관리할 필요가 없습니다.

결론적으로, Bedrock의 가장 큰 장점 중 하나는 단일 API를 통해 다양한 고성능 FM에 대한 접근을 중앙 집중화하여 개발 과정을 단순화하는 것입니다.