문의하기

엔터프라이즈급 AI 게이트웨이

안전한 배포: VPC, 온프레미스 및 망분리 환경

엔터프라이즈급 AI 게이트웨이

엔터프라이즈급 거버넌스와 관측 기능 내장

통합 AI 게이트웨이로 1,600개 이상의 AI 모델을 안전하게 관리하고 통제하세요. 정책 제어, 실시간 모니터링,
지능형 최적화로 AI 사용 비용을 최대 30%까지 절감할 수 있습니다.
문의하기

실제 운영 환경의 대규모 AI 애플리케이션을 위해 설계되었습니다

월간 처리량
100억 건 이상의 요청

운영 환경 AI 애플리케이션에 높은 처리량과 확장성을 갖춘 추론 서비스를 제공합니다.

평균 절감률
30% AI 비용

지능형 라우팅, 배치 처리, 예산 제어 기능으로 Token 낭비를 크게 줄이고 추론 비용을 최적화합니다.

99.99%
서비스 가용성

중앙 집중식 장애 조치, 지능형 라우팅, 보안 가드레일 덕분에 모델 서비스 제공업체에 장애가 발생해도 AI 애플리케이션은 안정적으로 운영됩니다.

1600+
지원 모델

통합 AI 게이트웨이가 주요 AI 모델을 연결하고 관리하여 중앙 집중식 접속과 통합 거버넌스를 구현합니다.

AI 게이트웨이: 통합 대규모 언어 모델
API 접속 계층

하나의 AI 게이트웨이로 주요 모델을 모두 통합하여 생성형 AI 기술 스택을 단순화하세요.

  • 하나의 AI Gateway API로 OpenAI, Claude, Gemini, deepseek 등 주요 모델과 250종 이상의 대규모 언어 모델(LLM)에 접속할 수 있습니다.
  • 채팅(Chat), 텍스트 생성(Completion), 임베딩(Embedding), 리랭킹(Reranking) 등 다양한 모델 유형을 지원합니다.
  • API Key와 팀 인증을 중앙에서 관리하여 통합 권한 제어를 구현합니다.
  • 사내 인프라에서 멀티 모델 워크로드를 손쉽게 오케스트레이션하여 유연한 호출과 협업 실행을 구현합니다.

AI 게이트웨이 관측성

AI 게이트웨이의 운영 상태, 사용 비용, 컴플라이언스 현황을 실시간으로 파악하여 전 구간을 가시화합니다.
  • 시스템의 Token 사용량, 응답 지연, 오류율, 요청량 등 핵심 지표를 실시간으로 모니터링합니다.
  • 전체 요청 및 응답 로그를 중앙에서 저장·조회하여 감사 컴플라이언스를 충족하고 문제 분석 절차를 간소화합니다.
  • 트래픽에 사용자 ID, 팀, 환경 등 메타데이터 태그를 추가하여 더욱 세분화된 운영 인사이트를 확보합니다.
  • 모델, 팀, 지역별로 로그와 지표를 빠르게 필터링하여 문제의 근본 원인을 정확히 찾아내고 장애 처리 속도를 높입니다.

AI 게이트웨이 할당량 및 접근 제어

엔터프라이즈급 정책 관리로 AI 거버넌스, 비용 통제, 위험 방어를 실현합니다.
  • 사용자, 서비스 또는 인터페이스별로 요청 속도 제한(Rate Limit)을 설정합니다.
  • 비용 또는 Token 소비량을 기준으로 메타데이터 규칙을 통해 사용 할당량을 설정합니다.
  • 역할 기반 접근 제어(RBAC)를 활용하여 리소스 격리와 권한 관리를 구현합니다.
  • 통합 규칙으로 서비스 계정과 Agent 워크로드를 중앙에서 관리하여 대규모 거버넌스를 구현합니다.

저지연 추론

고성능 AI 게이트웨이 인프라를 기반으로 핵심 업무 시나리오에 최상의 추론 성능을 제공합니다.
  • 엔터프라이즈급 고동시성 부하에서도 3ms 미만의 내부 처리 지연을 구현합니다.
  • 컴퓨팅 능력을 유연하게 확장하여 트래픽 급증과 대규모 추론 작업에 손쉽게 대응합니다.
  • 실시간 채팅, RAG 애플리케이션, AI 어시스턴트에 안정적이고 예측 가능한 응답 속도를 제공합니다.
  • 배포 노드를 추론 계층 가까이에 배치하여 네트워크 지연을 최소화하고 경로 손실을 줄입니다.
AI 게이트웨이를 운영 추론 경로에 직접 배포하세요. 저지연 아키텍처로 성능 저하 없이 완벽한 거버넌스와 제어 기능을 제공합니다.

AI 게이트웨이 지능형 라우팅 및 장애 조치

지능형 트래픽 스케줄링으로 모델에 장애가 발생해도 업무가 중단 없이 이어집니다.
  • 응답 지연을 기준으로 현재 가장 빠르게 사용할 수 있는 대규모 언어 모델을 자동으로 선택합니다.
  • 가중치 기반 로드 밸런싱 전략으로 트래픽을 지능적으로 분배하여 더 높은 안정성과 확장성을 확보합니다.
  • 모델 호출이 실패하면 예비 모델로 자동 전환하여 요청을 계속 처리합니다.
  • 지역 기반 지능형 라우팅을 지원하여 지역별 데이터 컴플라이언스 및 가용성 요구사항을 충족합니다.
이러한 지능형 라우팅 체계는 단일 모델 서비스의 중단이나 지연 급증으로 인한 업무 마비를 효과적으로 방지하여,
기업의 AI 애플리케이션이 항상 온라인 상태를 유지하도록 보장합니다.

자체 호스팅 모델 지원

오픈소스 모델의 배포 및 운영 환경을 완전히 통제하세요.
  • SDK 수정 없이 LLaMA, Mistral, Falcon 등 주요 오픈소스 모델을 빠르게 연동할 수 있습니다.
  • vLLM, SGLang, KServe, Triton 등 주요 추론 프레임워크와 완벽하게 호환됩니다.
  • Helm 기반의 자동 확장·축소, GPU 스케줄링, 배포 관리로 운영 업무를 크게 간소화합니다.
  • VPC, 온프레미스 데이터센터, 하이브리드 클라우드, 망분리 환경에서 모델을 배포하고 운영할 수 있습니다.

AI 게이트웨이와 MCP 통합

네이티브 MCP(Model Context Protocol) 지원으로 안전하고 신뢰할 수 있는 Agent 워크플로우를 구축하세요.
  • Slack, GitHub, Confluence, Datadog 등 엔터프라이즈 도구에 빠르게 연결합니다.
  • 사내 MCP Server를 손쉽게 등록하고 관리하여 연동 복잡도를 낮춥니다.
  • 모든 도구 호출에 OAuth2, RBAC, 메타데이터 정책 제어를 일관되게 적용합니다.

AI 게이트웨이 보안 가드레일

설정 가능한 보안 가드레일과 정책 제어 메커니즘으로 안전하고 신뢰할 수 있는 AI 애플리케이션을 구축하세요.
  • 개인 민감정보(PII) 필터링, 유해 콘텐츠 탐지 등 기업 맞춤형 보안 정책을 매끄럽게 통합하고 실행합니다.
  • 기업의 컴플라이언스 요구사항과 보안 기준에 맞춰 AI 게이트웨이 보안 가드레일 규칙을 유연하게 맞춤 설정합니다.

엔터프라이즈급 AI 게이트웨이

기업 환경을 위해 설계된 안전한 AI 게이트웨이를 배포하여 데이터와 모델이 항상 사용자의 클라우드 환경 또는 온프레미스 인프라 안에서 운영되도록 보장합니다.
  • 개인 민감정보(PII) 필터링, 유해 콘텐츠 탐지 등 기업 맞춤형 보안 정책을 매끄럽게 통합하고 실행합니다.
  • 기업의 컴플라이언스 요구사항과 보안 기준에 맞춰 AI 게이트웨이 보안 가드레일 규칙을 유연하게 맞춤 설정합니다.
컴플라이언스 및 보안
SOC 2, HIPAA, GDPR 등 국제 표준을 준수하여 기업에 포괄적인 데이터 보안과 개인정보 보호 역량을 제공합니다.
 
거버넌스 및 접근 제어
싱글 사인온(SSO), 역할 기반 접근 제어(RBAC), 감사 로그를 지원하여 통합 신원 및 권한 관리를 구현합니다.
 
엔터프라이즈급 지원 및 안정성
연중무휴 24시간 기술 지원을 제공하며, SLA(서비스 수준 협약)로 핵심 업무의 안정적인 운영을 보장합니다.
 

어떤 환경에서든 배포

VPC, 온프레미스 데이터센터, 망분리 환경, 멀티 클라우드 아키텍처 배포를 지원합니다.
데이터는 항상 사용자의 통제 범위 안에 보관되며 기업 경계를 벗어나지 않습니다. TrueFoundry를 어떤 환경에 배포하더라도 완전한 데이터 주권, 환경 격리 기능, 엔터프라이즈급 컴플라이언스 보장을 누릴 수 있습니다.

자주 묻는 질문

AI 게이트웨이(AI Gateway)는 인공지능 모델과 서비스를 연결, 관리, 배포하는 데 특화된 미들웨어 플랫폼입니다. 대규모 언어 모델(LLM)과 기업 애플리케이션 사이에 위치하여 안전하고 효율적이며 통합된 상호작용 채널을 구축합니다. 예를 들어 OpenAI GPT, Claude 등의 모델을 AI 게이트웨이를 통해 통합 접속하고 관리할 수 있습니다.
 
AI 게이트웨이는 복잡한 모델 연동, 분산된 권한, 통제하기 어려운 비용, 거버넌스 부재 등의 문제를 해결하여 AI 애플리케이션의 대규모 도입을 실현합니다.
AI 게이트웨이는 기업 애플리케이션과 모델 서비스 제공업체 사이에 위치하여 트래픽 라우팅, 인증, 장애 조치, 접근 제어 등 핵심 기능으로 모델 요청을 지능적으로 처리합니다. 이를 통해 기업 시스템이 필요한 모델과 도구에 항상 안정적이고 효율적으로 접근할 수 있도록 보장합니다.
AI 게이트웨이는 기업에 통합 AI 서비스 관리 플랫폼을 제공하며, 핵심 가치는 다음과 같습니다.
 
  • 여러 AI 모델과 서비스에 통합 접속
  • 인증 및 접근 제어 메커니즘 제공
  • 기업의 보안 및 컴플라이언스 요구사항 충족
  • 사용량 모니터링 및 예산 관리 구현
  • 지능형 로드 밸런싱과 장애 조치 지원
  • 데이터 사용 및 보안 정책 실행
  • 수평 확장 및 신규 모델의 신속한 연동 지원
AI 게이트웨이를 통해 기업은 AI 인프라를 더욱 안전하고 효율적이며 통제 가능한 방식으로 관리할 수 있습니다.
AI 게이트웨이는 모델 간 통합 접속, 지능형 라우팅, 자동 장애 조치 기능을 제공하며, 핵심 기능은 다음과 같습니다.
 
  • 거버넌스 및 보안: 인증, 접근 제어, 정책 실행 메커니즘을 통해 엔터프라이즈급 거버넌스와 보안을 보장
  • 비용 최적화: 속도 제한, Token 할당량 관리, 예산 제어 메커니즘으로 AI 사용 비용 절감
  • 전방위 관측성: 사용 현황, 성능 지표, 운영 비용을 실시간으로 추적
  • Agent 워크플로우 지원: 복잡한 Agent 프로세스 오케스트레이션과 다단계 작업 실행 지원
기업 AI 인프라의 통합 컨트롤 플레인인 AI 게이트웨이는 조직이 더욱 안전하고 경제적인 방식으로 AI를 대규모로 도입하도록 돕습니다.
해홍 AI 게이트웨이는 엔터프라이즈 환경을 위해 설계된 완전한 AI 서비스 배포 및 관리 기능을 제공합니다. 주요 특징은 다음과 같습니다.
 
  • RBAC, OAuth 2.0, API Key 다층 보안 인증
  • 요청 속도 제한 및 지능형 로드 밸런싱
  • 자동 장애 조치 메커니즘
  • 내장 보안 가드레일 및 콘텐츠 거버넌스 기능
  • 완전한 로그, 분석 및 관측 기능
  • 멀티 클라우드 아키텍처 지원
  • 실시간 추론 기능
보안, 거버넌스, 성능, 비용 통제를 모두 고려해야 하는 기업을 위해 해홍은 유연하고 확장 가능한 AI 인프라 솔루션을 제공합니다.
기존 API 게이트웨이는 주로 일반 네트워크 요청의 전달과 관리를 담당합니다. 반면 AI 게이트웨이는 대규모 언어 모델(LLM) 시나리오에 특화되어 설계되었으며, 기존 API 게이트웨이가 효율적으로 처리하지 못하는 다음과 같은 작업을 수행할 수 있습니다.
 
  • Token 집계 및 관리
  • Prompt 캐싱
  • 모델 라우팅
  • 모델 장애 조치
  • AI 사용 비용 통제
  • 모델 거버넌스 및 보안 정책 실행
따라서 AI 게이트웨이는 단순한 트래픽 진입점이 아니라 기업 AI 애플리케이션의 통합 거버넌스 및 제어 센터입니다.
AI 게이트웨이는 애플리케이션 시스템과 모델 서비스 사이의 운영 추론 경로에 직접 배포됩니다.
통합 컨트롤 플레인으로서 다음을 담당합니다.
 
  • 모델 라우팅
  • 보안 제어
  • 권한 거버넌스
  • 관측성 모니터링
  • 비용 관리
  • Agent 및 도구 오케스트레이션
애플리케이션 로직을 수정하지 않고도 통합 AI 관리 기능을 확보할 수 있습니다.
지원합니다. 엔터프라이즈급 AI 게이트웨이는 관리형 모델뿐 아니라 LLaMA, Mistral 등 자체 호스팅 또는 오픈소스 모델도 지원합니다.
이러한 모델은 VPC, 온프레미스 데이터센터, 하이브리드 클라우드 또는 망분리 환경에 배포할 수 있으며, 관리형 모델과 동일한 정책 제어, 보안 거버넌스, 관측 기능을 공유합니다. 기업은 모델마다 별도의 관리 체계를 구축할 필요 없이 통합 운영과 거버넌스를 실현할 수 있습니다.
AI 게이트웨이는 실시간 사용량 모니터링, Token 단위 추적, 할당량 관리, 예산 제어 기능을 제공합니다.
또한 AI 게이트웨이는 다음 방식으로 AI 지출을 지속적으로 최적화합니다.
 
  • 지능형 모델 라우팅
  • 요청 캐싱
  • 자동 장애 조치
  • 트래픽 스케줄링 최적화
고비용 모델에 대한 불필요한 호출을 줄여 추론 비용이 통제 불능이 되는 것을 효과적으로 방지하고 자원 활용 효율을 지속적으로 높입니다.
AI 게이트웨이는 다음을 포함한 기업 데이터 거버넌스 정책을 일관되게 실행합니다.
 
  • 개인 민감정보(PII) 마스킹
  • 요청 필터링
  • 로그 감사 및 접근 제어
  • 데이터 처리 규칙 관리
VPC, 온프레미스 데이터센터 또는 망분리 환경에 배포하면 모든 민감 데이터가 항상 기업 경계 안에 보관되며 조직의 통제 범위를 벗어나지 않습니다. 이를 통해 기업은 데이터 보안을 보장하면서 업종별 규제와 컴플라이언스 요구사항도 충족할 수 있습니다.
AI 게이트웨이는 다음 메커니즘으로 팀 단위 격리와 거버넌스를 구현합니다.
 
  • 역할 기반 접근 제어(RBAC)
  • 팀 단위 API Key 관리
  • 할당량 제어
  • 사용량 추적 및 감사
여러 팀이 모델 리소스와 인프라를 안전하게 공유하면서도 독립적인 권한, 투명한 비용, 책임 추적 기능을 유지할 수 있습니다.
Playground는 AI 게이트웨이 위에 구축된 대화형 개발 환경입니다. 개발자는 모델을 운영 시스템에 연동하기 전에 다음 항목을 빠르게 테스트할 수 있습니다.
 
  • 대규모 언어 모델(LLM)
  • Prompt 프롬프트
  • MCP 도구
  • 추론 설정 파라미터
Playground에서 사용자는 다음 작업을 할 수 있습니다.
 
  • Models 페이지에서 연동된 모델 선택
  • Temperature, Max Tokens 등 파라미터 조정
  • 스트리밍 출력(Streaming) 설정
  • Stop Sequences 등 생성 규칙 설정
  • 시스템은 다음 항목을 실시간으로 표시합니다.
  • 모델 응답 결과
  • Token 소비 현황
  • 응답 지연 데이터
개발팀은 코드를 작성하지 않고도 모델 평가와 파라미터 튜닝을 완료할 수 있어 실험 주기가 대폭 단축됩니다.
테스트 결과가 요구사항을 충족하면 Prompt, 모델, 도구, 보안 가드레일, 구조화된 출력 정의를 포함한 전체 설정을 재사용 가능한 템플릿으로 저장하여 팀 내에서 공유할 수 있습니다.
Playground는 OpenAI SDK, LangChain 등 프레임워크의 코드 예제도 자동으로 생성하여, 개발팀이 검증된 방안을 운영 환경에 빠르게 배포하도록 돕습니다.
해홍 AI Gateway를 통해 모든 모델 서비스와 도구가 하나의 API 계층으로 통합 연동됩니다. 개발팀은 OpenAI, Anthropic, Amazon Bedrock, 자체 호스팅 모델 및 기타 모델 공급업체의 SDK, API 주소, 접속 자격 증명을 각각 관리할 필요가 없습니다. 애플리케이션은 하나의 Gateway Endpoint에 연결하고 하나의 Gateway Key를 사용하여 모든 모델 리소스에 접근할 수 있습니다.
AI Gateway가 설정에 따라 모델 라우팅을 자동으로 처리하므로 모델을 교체하거나 공급업체를 전환해도 애플리케이션 코드를 수정할 필요가 없습니다.
이러한 통합 접속 기능은 모델뿐 아니라 다음으로도 확장됩니다.
 
  • MCP(Model Context Protocol) 도구 생태계
  • A2A(Agent-to-Agent) 프로토콜
  • Agent 워크플로우
  • 이를 통해 모델, 도구, Agent의 통합 오케스트레이션과 관리를 실현합니다.
  • 개발자에게는 다음과 같은 이점이 있습니다.
  • 더 간단한 시스템 통합 방식
  • 더 일관된 개발 경험
  • 더 명확한 보안 관리 모델
공급업체 키는 게이트웨이에서 한 번만 중앙 관리하면 되며, 모든 접근 권한은 RBAC와 정책 체계로 통합 관리됩니다. 새로운 모델이나 공급업체가 연동되면 동일한 인터페이스를 통해 즉시 조직 전체에서 사용할 수 있습니다.
AI Gateway에서는 Prompt, 도구, Agent 설정이 모두 관리 가능한 자산으로 취급됩니다. 개발팀은 Playground에서 다음 설정을 정의한 후 이를 이름이 지정된 템플릿으로 저장할 수 있습니다.
 
  • System Prompt
  • User Prompt
  • 입력 변수
  • MCP 도구
  • 보안 가드레일
  • 모델 파라미터
각 템플릿은 다중 버전 관리를 지원하므로 팀원들이 다른 사람의 수정 내용을 덮어쓰지 않고 안전하게 설정을 반복 개선할 수 있습니다.
새 버전에 문제가 생기면 이전 버전으로 빠르게 롤백할 수도 있습니다.
따라서 AI Gateway는 기업에 통합 Prompt 및 Agent 설정 관리 플랫폼을 제공합니다. 설정이 검증되어 확산할 준비가 되면 Agent App으로 게시할 수 있습니다.
해홍 AI Gateway의 보안 가드레일 메커니즘은 입력과 출력 두 단계에 모두 적용되어 심층 방어(Defense-in-Depth)를 구현합니다.
 
입력 단계
요청이 모델에 전달되기 전에 시스템이 다음을 자동으로 탐지합니다.
 
  • 개인 민감정보(PII)
  • Prompt 인젝션 공격
  • 위반 콘텐츠
  • 금지 주제
  • 그리고 기업 정책에 따라 다음을 실행합니다.
  • 차단
  • 마스킹
  • 대체
  • 콘텐츠 변환
출력 단계
모델이 응답을 생성한 후 시스템이 다시 보안 검토를 수행하여 다음을 탐지합니다.
 
  • 유해 콘텐츠
  • 편향 콘텐츠
  • 환각 출력(Hallucination)
  • 정책 위반 행위
  • 민감 데이터 유출 위험
  • 그리고 정책에 따라 다음을 결정합니다.
  • 결과 반환
  • 결과 수정
  • 출력 거부
AI Gateway는 다음과 같은 기존 보안 서비스도 통합할 수 있습니다.
 
  • OpenAI Moderation
  • AWS Guardrails
  • Azure Content Safety
  • Azure PII Detection
등 기존 보안 서비스와 연동됩니다. 또한 설정 파일이나 Python 코드로 기업 맞춤형 규칙을 작성할 수 있습니다.
모든 보안 정책이 게이트웨이 계층에서 일관되게 실행되므로 보안 및 컴플라이언스 팀은 조직 차원의 AI 사용 규정을 일관되고 감사 가능한 방식으로 이행할 수 있으며, 특히 의료, 금융, 보험 등 규제가 엄격한 업종에 적합합니다.
Agent App은 AI Gateway를 기반으로 구축되어 최종 사용자에게 바로 제공할 수 있는 Agent 애플리케이션입니다.
Playground와 달리 Agent App은 간결하고 통제된 인터랙션 인터페이스를 제공합니다. 비즈니스 팀, 테스터 또는 기업 내부 사용자는 기반 Prompt, 도구 설정, 모델 파라미터를 건드리지 않고도 Agent의 실제 동작을 직접 체험할 수 있습니다.
동시에 다음이 보장됩니다.
 
  • Prompt 설정 잠금 유지
  • 도구 권한 엄격 통제
  • 보안 가드레일 상시 적용
  • 모델 라우팅 정책 통합 관리
따라서 Agent App은 다음 용도에 매우 적합합니다.
 
  • 사용자 인수 테스트(UAT)
  • 내부 업무 파일럿
  • 경영진 시연
  • 기업용 Copilot
  • 지식 Q&A 어시스턴트
제품팀과 플랫폼팀은 체험을 개방하면서도 설정과 거버넌스 규칙에 대한 완전한 통제권을 유지할 수 있습니다.

엔터프라이즈급 AI 게이트웨이 및 지능형 에이전트 배포 플랫폼

문의하기

궁금한 점이 있으신가요?

문의 보내기