BigQuery 上多租户工作负载的最佳做法| 云架构中心 - Google ...
文章推薦指數: 80 %
多租户平台构建者通常需要平衡以下方面的注意事项:. 数据隔离:实施强有力的控制措施,以防止跨租户的数据泄漏。
一致的性能:配置和分配BigQuery 预 ...
为什么选择Google
close
了解领先的企业为何选择GoogleCloud
在数字化转型之旅中,无论您的企业是处于早期阶段还是已初见成效,GoogleCloud都可以帮助您解决最棘手的难题。
了解详情
主要优势
概览
企业选择我们的首要原因。
多云端
在您需要的任何位置运行您的应用。
信任与安全
确保数据的安全性和合规性。
全球基础架构
在Google自用的基础架构上构建应用。
数据云
统一组织的数据。
开放的云
利用开放、灵活的技术扩展规模。
可持续
在业界“最清洁”的云上运行。
工作效率与协作
将团队与基于AI的应用联系起来。
资源
活动
浏览即将举办的GoogleCloud活动。
博客
阅读我们最新的产品资讯和案例。
客户案例
浏览案例研究和视频。
分析师报告
阅读并了解行业分析师对我们的看法。
解决方案
close
行业解决方案
降低费用、提高运营敏捷性并抓住新的市场机遇。
零售
面向零售业价值链的分析工具和协作工具。
大众消费品
适用于大众消费品数字转型与品牌成长的解决方案。
金融服务
面向金融服务业的计算、数据管理和分析工具。
医疗保健和生命科学
推进大规模的研究并推动医疗保健创新。
媒体和娱乐
用于内容制作和分发运营的各种解决方案。
电信
用于部署5G并通过5G获利的各种混合云和多云端服务。
游戏
帮助您更快地构建游戏并为其扩容的各种AI驱动型解决方案。
制造
可优化制造业价值链的各种迁移工具和AI工具。
供应链与物流
构建于云端的数字供应链解决方案。
政府
面向政府机构的数据存储、AI和分析解决方案。
教育
可提供更具吸引力的学习体验的各种教学工具。
没有看到您需要的内容?
查看所有行业解决方案
没有看到您需要的内容?
查看所有解决方案
应用现代化改造
使用容器、无服务器和服务网格等云原生技术,随时随地开发和运行应用。
混合云和多云端应用平台
用于对旧式应用进行现代化改造和构建新应用的平台。
API管理
以API为先的方法加快应用设计和开发。
无服务器解决方案
用于开发、部署和扩缩应用的全代管式环境。
DevOps
可帮助您在组织中实施DevOps的各种流程和资源。
持续交付(CD)
从源代码到生产环境的端到端自动化。
持续集成(CI)
大规模地快速获取对代码更改的反馈。
主机现代化改造
可帮助您迁移到云端的自动化工具和规范性指南。
CAMP
使用DORA改进软件交付功能的计划。
托管
用于构建Web应用和网站的服务及基础架构。
站点可靠性工程(SRE)
可帮助您在组织中采用SRE的工具和资源。
人工智能
借助AI和机器学习技术,让您的企业更加智能高效。
构建和使用AI
可帮助您构建和使用人工智能的各种产品。
ContactCenterAI
可与客户交流并协助人工客服人员的AI模型。
客服助手
AI赋能的对话,作为人工客服对话的补充。
CloudTalentSolution
具备职位搜索和人才招募功能的AI服务。
DocumentAI
可帮助您从文档中挖掘数据洞见的机器学习和AI服务。
LendingDocAI
运用机器学习技术大规模采集抵押贷款文档数据。
ProcurementDocAI
运用机器学习技术大规模采集采购文档数据。
智能产品
借助AI打造富有吸引力的产品拥有体验。
数据科学
在GoogleCloud上借助数据科学产品充分利用您的数据。
ContractDocAI
能够更好地理解合同的专业化AI。
ContactCenterAIInsights
用于改善客户体验的AI驱动的理解能力。
API和应用
使用API、应用和自动化功能,加速创新而无需编写代码。
使用API开拓新的业务渠道
吸引开发者与合作伙伴形成生态系统,并为他们提供支持。
使用API发掘旧式应用的潜力
用于对旧式应用进行扩展和现代化改造的各种云服务。
OpenBankingAPIx
更简单、更快速地安全交付符合OpenBanking要求的API。
数据库
借助具备安全性、可靠性和高可用性的全代管式数据服务,迁移和管理企业数据。
数据库迁移
有助于简化数据库迁移生命周期的各种指南和工具。
数据库现代化改造
可对您的运营数据库基础架构进行现代化改造的各种升级服务。
GoogleCloud数据库
用于对数据进行迁移、管理和现代化改造的各种数据库服务。
将Oracle工作负载迁移到GoogleCloud
重新托管您的Oracle工作负载,为其更换平台或者重写代码。
开源数据库
附带企业级支持服务的全代管式开源数据库。
SQLServeronGoogleCloud
用于在GoogleCloud上运行SQLServer虚拟机的各种方案。
数据云
借助开放、简化的数据驱动型转换方法整合整个组织中的数据,该方法在内建了AI的情况下在速度、规模和安全性方面拥有较强的优势。
数据库解决方案
借助具备安全性、可靠性和高可用性的全代管式数据服务,迁移和管理企业数据。
智能分析解决方案
借助可大幅简化分析过程的全代管式无服务器分析平台,即时根据任何规模的数据生成分析洞见。
AI解决方案
借助AI和机器学习技术,让您的企业更加智能高效。
面向独立软件供应商(ISV)的数据云
使用Google的数据和机器学习解决方案(如BigQuery、Looker、Spanner和VertexAI)进行创新、优化和扩大SaaS应用。
数据云联盟
一项旨在确保全球企业可以无缝访问并深入了解数字化转型所需的数据的计划。
数字化转型
借助支持混合云和多云端环境、可生成智能数据洞见并让员工保持联络的解决方案,加快业务恢复速度并迎来更美好的未来。
数字化创新
重新构想运营方式并发掘新机遇。
运营效率
确定各项投资的优先级并优化费用。
新型冠状病毒肺炎(COVID-19)解决方案
更安全地完成工作。
面向医疗保健行业的新型冠状病毒肺炎(COVID-19)解决方案
Google如何帮助医疗保健机构应对非同寻常的挑战。
基础架构现代化改造
借助适用于SAP、VMware、Windows、Oracle和其他工作负载的解决方案,快速完成迁移工作。
应用迁移
可帮助您迁移到云端的各种发现和分析工具。
SAPonGoogleCloud
有助于您运行SAP应用和SAPHANA的各种认证。
高性能计算
可支持任何工作负载的各种计算、存储和网络方案。
WindowsonGoogleCloud
可协助您运行Windows工作负载的工具和合作伙伴。
数据中心迁移
适用于虚拟机、应用和数据库等的迁移解决方案。
ActiveAssist
提供自动云端资源优化功能和更高的安全性。
虚拟桌面
适用于桌面和应用(VDI和DaaS)的远程工作解决方案。
快速评估和迁移计划(RAMP)
用于简化云迁移路径的端到端迁移计划。
备份和灾难恢复
确保满足您的业务连续性需求。
工作效率与协作
借助直观易用且极具成效的解决方案,改变团队的工作方式。
GoogleWorkspace
面向企业的协作和办公工具。
GoogleWorkspace基本功能版
为团队提供安全的视频会议功能和现代化协作功能。
CloudIdentity
IT管理员用于管理用户设备和应用的统一平台。
Chrome企业版
专为企业打造的Chrome操作系统、Chrome浏览器和Chrome设备。
CloudSearch
可帮助员工快速找到公司信息的企业搜索服务。
安全
检测、调查和应对在线威胁,帮助保护您的企业。
安全分析与运营
用于分析PB级安全遥测数据的解决方案。
Web应用和API保护
适用于Web应用和API的威胁和欺诈防护。
安全和弹性框架
适用于安全和弹性生命周期各个阶段的解决方案。
风险与合规性即代码(RCaC)
通过自动化对治理、风险与合规性功能进行现代化改造的解决方案。
智能分析
借助可大幅简化分析过程的全代管式无服务器分析平台,即时根据任何规模的数据生成分析洞见。
数据仓库现代化改造
可帮助您快速启动迁移过程并发掘数据洞见的数据仓库服务。
数据湖现代化改造
用于数据湖构建和现代化改造的各种服务。
GoogleCloud上的Spark
在您需要的位置编写和运行Spark作业,无服务器并与Google产品集成。
数据流分析
通过提取、处理和分析事件流发掘数据洞见。
商业智能
用于对BI栈进行现代化改造和打造丰富数据体验的解决方案。
数据科学
在GoogleCloud上借助数据科学产品充分利用您的数据。
营销分析
用于收集、分析和利用客户数据的各种解决方案。
地理空间分析和AI
用于打造更繁荣且可持续发展的业务的解决方案。
数据集
来自Google、公共来源的和商业提供商的数据,可充实您的分析和AI计划。
中小型初创企业
借助量身定制的解决方案和计划加快中小型初创企业的发展。
初创公司解决方案
利用Google成熟的技术帮助您的初创公司发展壮大并解决最棘手的难题。
初创公司计划
获得财务、业务和技术支持,让您的初创公司迈上新台阶。
中小型企业
探索网站托管、应用开发、AI和分析领域的解决方案。
软件即服务
构建更出色的SaaS产品、高效扩缩并推动业务增长。
产品
close
精选产品
ComputeEngine
在Google的数据中心运行的虚拟机。
CloudStorage
安全、耐用且可扩缩的对象存储服务。
CloudSDK
适用于GoogleCloud的命令行工具和库。
CloudSQL
适用于MySQL、PostgreSQL和SQLServer的关系型数据库服务。
GoogleKubernetesEngine
用于运行容器化应用的代管式环境。
BigQuery
可实现业务敏捷性并提供数据洞见的数据仓库。
CloudCDN
用于分发Web内容和视频内容的内容分发网络。
Dataflow
用于流式处理和批量处理的流式分析服务。
运维
监控、日志记录和应用性能套件。
CloudRun
用于运行容器化应用的全代管式环境。
Anthos
用于对现有应用进行现代化改造以及构建新应用的平台。
没有看到您需要的内容?
查看所有产品(100多款)
AI和机器学习
VertexAI
用于训练、托管和管理机器学习模型的UnifiedMLPlatform。
Speech-to-Text
支持125种语言的语音识别和转录服务。
VisionAI
用于检测情绪、文本等内容的各种自定义模型和预训练模型。
Text-to-Speech
支持220多种语音和40多种语言的语音合成服务。
CloudTranslation
提供语言检测、翻译和术语库支持。
CloudNaturalLanguage
对非结构化文本进行情感分析和分类。
AutoML
训练和开发自定义机器学习模型。
VideoAI
利用机器学习技术对视频进行分类和识别。
AIInfrastructure
供各企业经济高效地训练深度学习和机器学习模型的各种方案。
Dialogflow
面向虚拟客服的对话应用和系统开发套件。
AutoMLTables
该服务可让您利用结构化数据来训练机器学习模型。
没有看到您需要的内容?
查看所有AI和机器学习产品
API管理
ApigeeAPIManagement
随时随地以直观且可掌控的方式来管理API的整个生命周期。
ApigeeIntegration
API优先的集成,用于连接现有数据和应用。
CloudEndpoints
GoogleCloud上的API部署和开发管理服务。
CloudHealthcareAPI
用于衔接现有医疗保健系统与GoogleCloud上应用的解决方案。
AppSheet
用于构建和扩展应用的无代码开发平台。
API网关
借助全代管式网关开发、部署、保护和管理API。
计算
ComputeEngine
在Google的数据中心运行的虚拟机。
AppEngine
适用于应用和后端的无服务器应用平台。
CloudGPU
可助力机器学习、科学计算和3D可视化的GPU。
MigrateforComputeEngine
用于将服务器和虚拟机迁移到ComputeEngine。
Spot虚拟机
适用于批量作业和容错工作负载的计算实例。
安全强化型虚拟机
GoogleCloud上的安全强化型虚拟机。
单租户节点
满足合规性、许可及管理需求的专用硬件。
BareMetal
用于在GoogleCloud上运行特殊工作负载的基础架构。
Recommender
针对GoogleCloud产品和服务的使用建议。
VMwareEngine
全代管式原生VMwareCloudFoundation软件栈。
CloudRun
用于运行容器化应用的全代管式环境。
没有看到您需要的内容?
查看所有计算产品
容器
GoogleKubernetesEngine
用于运行容器化应用的代管式环境。
ContainerRegistry
用于存储、管理和保护Docker映像的注册表。
容器安全性
生命周期中每个阶段的容器环境安全性。
CloudBuild
用于在Docker容器中运行构建步骤的解决方案。
DeepLearningContainers
具有各种数据科学框架、库和工具的容器。
Kubernetes应用
具有预建部署和统一结算功能的容器化应用。
ArtifactRegistry
构建工件和依赖项的软件包管理器。
Knative
用于构建Kubernetes原生云软件的组件。
CloudRun
用于运行容器化应用的全代管式环境。
CloudCode
可提供IDE支持,帮助您编写、运行和调试Kubernetes应用。
数据分析
BigQuery
可实现业务敏捷性并提供数据洞见的数据仓库。
Looker
提供商业智能、数据应用和嵌入式分析的平台。
Dataflow
用于流式处理和批量处理的流式分析服务。
Pub/Sub
用于提取和传送事件的消息传递服务。
Dataproc
用于运行ApacheSpark集群和ApacheHadoop集群的服务。
CloudDataFusion
用于构建和管理数据流水线的数据集成服务。
CloudComposer
基于ApacheAirflow构建的工作流编排服务。
Dataprep
用于准备数据以供分析和机器学习的服务。
Dataplex
用于跨孤岛统一数据管理的智能数据结构。
DataCatalog
用于发现、了解和管理数据的元数据服务。
AnalyticsHub
用于安全高效地交换数据分析资产的服务。
没有看到您需要的内容?
查看所有数据分析产品
数据库
CloudBigtable
适用于大规模、低延迟工作负载的云原生宽列数据库。
Firestore
适用于构建丰富的移动、Web和IoT应用的云原生文档数据库。
Memorystore
适用于代管式Redis和Memcached的内存中数据库。
CloudSpanner
云原生关系型数据库,规模不受限制,可用性高达99.999%。
CloudSQL
面向MySQL、PostgreSQL和SQLServer的全代管式数据库。
DatabaseMigrationService
在无服务器的情况下以最短停机时间迁移到CloudSQL。
适用于Oracle的裸金属解决方案
用于在GoogleCloud上运行特殊Oracle工作负载的基础架构。
FirebaseRealtimeDatabase
用于实时存储和同步数据的NoSQL数据库。
Datastream
无服务器变更数据捕获和复制服务。
开发者工具
ArtifactRegistry
构建工件和依赖项的通用软件包管理器。
CloudBuild
持续集成和持续交付平台。
CloudCode
可提供IDE支持,帮助您编写、运行和调试Kubernetes应用。
CloudDeploymentManager
用于创建和管理GoogleCloud资源的服务。
gcloudCLI
适用于GoogleCloud的命令行工具和库。
CloudScheduler
用于自动执行以及管理任务的Cron作业调度器。
CloudSourceRepositories
用于存储、管理和跟踪代码的私有Git代码库。
CloudTasks
用于异步执行任务的任务管理服务。
GoogleCloudDeploy
以全代管式方式持续交付到GoogleKubernetesEngine。
Tekton
Kubernetes原生资源,可用于声明CI/CD流水线。
ToolsforPowerShell
通过WindowsPowerShell全面控制云端。
没有看到您需要的内容?
查看所有开发者工具
医疗保健和生命科学
ApigeeHealthcareAPIx
构建基于FHIRAPI的数字服务。
CloudHealthcareAPI
用于衔接现有医疗保健系统与GoogleCloud上应用的解决方案。
CloudLifeSciences
用于管理、处理和转换生物医学数据的工具。
HealthcareNaturalLanguageAI
基于非结构化医学文本的实时数据分析。
混合云和多云
Anthos
用于对现有应用进行现代化改造以及构建新应用的平台。
Looker
提供商业智能、数据应用和嵌入式分析的平台。
CloudRunforAnthos
GKE上的集成式无服务器开发平台。
GoogleCloudMarketplaceforAnthos
具有预建部署和统一结算功能的容器化应用。
MigrateforAnthos
用于将工作负载和现有应用迁移到GKE的工具。
运维
监控、日志记录和应用性能套件。
CloudBuild
用于在GoogleCloud基础架构上执行构建作业的服务。
TrafficDirector
面向开放式服务网格的流量控制窗格和流量管理工具。
ApigeeAPIManagement
API管理、开发和安全平台。
GoogleDistributedCloud
适用于边缘和数据中心的全代管式解决方案。
物联网
CloudIoTCore
物联网设备管理、集成和连接服务。
EdgeTPU
专为在边缘运行机器学习推断和AI而打造的ASIC。
管理工具
AnthosConfigManagement
为您的部署自动管理政策和安全措施。
碳足迹
用于查看和导出GoogleCloud碳排放量报告的信息中心。
CloudAPI
GoogleCloud服务的编程接口。
CloudConsole
基于Web的界面,可用于管理和监控云应用。
CloudMobileApp
通过移动设备管理GoogleCloud服务的应用。
CloudShell
带有内置命令行的交互式Shell环境。
ConfigConnector
用于管理GoogleCloud资源的Kubernetes插件。
费用管理
用于监测、控制和优化费用的工具。
智能管理
用于轻松管理性能、安全性和费用的工具。
PrivateCatalog
有助于管理员管理内部企业解决方案的服务目录。
TerraformonGoogleCloud
通过声明式配置文件预配GoogleCloud资源的开源工具。
媒体和游戏
GameServers
在GoogleKubernetesEngine上运行的游戏服务器管理服务。
OpenCue
专为视效和动画行业设计的开源渲染管理器。
TranscoderAPI
转换并打包视频文件,以优化视频传输。
迁移
应用迁移
用于将应用迁移到云端,以实现低费用更新周期。
BigQueryDataTransferService
用于安排将数据转移至BigQuery的数据导入服务。
CloudFoundationToolkit
适用于DeploymentManager和Terraform的参考模板。
DatabaseMigrationService
使用无服务器技术以最短停机时间迁移到CloudSQL。
MigrateforAnthos
用于将虚拟机迁移到GKE上的系统容器的各种组件。
MigrateforComputeEngine
用于将虚拟机和物理服务器迁移到ComputeEngine的各种组件。
快速评估和迁移计划(RAMP)
用于简化云迁移路径的端到端迁移计划。
TransferAppliance
用于将大量数据迁移到GoogleCloud的存储服务器。
StorageTransferService
用于将数据从在线和本地来源转移到CloudStorage的服务。
VMwareEngine
将您的VMware工作负载迁移到GoogleCloud并继续以原生方式运行。
网络
CloudArmor
针对Web攻击和DDoS攻击的安全政策和防御机制。
CloudCDN
用于提供Web内容和视频内容的内容分发网络。
CloudDNS
提供可靠、低延迟的域名查询服务的域名系统。
CloudLoadBalancing
用于跨应用和区域分配流量的服务。
CloudNAT
用于向私有实例授予互联网访问权限的NAT服务。
混合连接
适合VPN、对等互连和企业需求的连接方案。
NetworkConnectivityCenter
连接管理可帮助简化和扩缩网络。
NetworkIntelligenceCenter
网络监控、验证和优化平台。
NetworkServiceTiers
基于性能、可用性和费用的Cloud网络方案。
TrafficDirector
面向开放式服务网格的流量控制窗格和流量管理工具。
没有看到您需要的内容?
查看所有网络产品
运维
CloudLogging
管理GoogleCloud审核日志、平台日志和应用日志。
CloudMonitoring
通过丰富的指标帮助您了解基础架构和应用的运行状况。
ErrorReporting
识别和分析应用错误。
KubernetesEngineMonitoring
GKE应用开发和问题排查。
CloudTrace
用于从应用中收集延迟数据的跟踪系统。
CloudProfiler
用于分析应用性能的CPU和堆性能分析器。
CloudDebugger
用于实时检查应用状态以及在生产环境中进行调试。
智能运营
用于轻松优化性能、安全性和费用的工具。
安全和身份
CloudIAM
适用于GoogleCloud资源的权限管理系统。
AssuredWorkloads
针对敏感工作负载的合规与安全控制措施。
CloudKeyManagement
在GoogleCloud上管理加密密钥。
机密计算
通过机密虚拟机加密使用中的数据。
SecurityCommandCenter
用于保护GoogleCloud资产免遭安全威胁的平台。
CloudDataLossPrevention
用于检查、分类和隐去敏感数据的平台。
ManagedServiceforMicrosoftActiveDirectory
运行Microsoft®ActiveDirectory(AD)的安全强化型服务。
AccessTransparency
借助近乎实时的日志,透明地监督您的云服务商。
Titan安全密钥
用于保护用户帐号的双重身份验证设备。
SecretManager
存储API密钥、密码、证书和其他敏感数据。
BeyondCorpEnterprise
用于安全应用和资源访问的零信任解决方案。
没有看到您需要的内容?
查看所有安全和身份产品
无服务器计算
CloudRun
用于运行容器化应用的全代管式环境。
CloudFunctions
用于创建云事件响应函数的平台。
AppEngine
适用于应用和后端的无服务器应用平台。
Workflows
无服务器产品和API服务的工作流编排。
存储
所有存储产品
适用于您的企业的云端存储服务。
CloudStorage
安全、耐用且可扩缩的对象存储服务。
Filestore
扩缩能力极强且安全可靠的文件存储服务。
PersistentDisk
适用于GoogleCloud上运行的虚拟机实例的块存储服务。
CloudStorageforFirebase
可用于存储和提供用户生成的内容的对象存储服务。
本地SSD
本地挂接以满足高性能需求的块存储。
StorageTransferService
用于将数据从在线和本地来源转移到CloudStorage的服务。
GoogleWorkspace基本功能版
为团队提供安全的视频会议功能和现代化协作功能。
价格
close
利用我们透明的定价方法节省资金
GoogleCloud的随用随付价格方案根据预付费资源的每月用量和折扣费率提供自动节省费用。
请立即联系我们,获取报价。
请求报价
GoogleCloud
价格概览
用多少付多少,没有限制。
价格表
获取个别商品的价格详情。
价格计算器
计算您可节省的云服务费用。
GoogleCloud免费计划
获享$300赠金以及20多种提供“始终免费”用量的产品。
相关产品
GoogleWorkspace
GoogleMapsPlatform
Chrome企业版
Apigee
Looker
Firebase
使用入门
close
开始使用GoogleCloud
立即在我们安全、智能的平台上开始构建应用。
新客户可获得$300赠金,用于GoogleCloud产品和服务。
免费开始使用
自助资源
开始
开始使用GoogleCloud。
开发者中心
及时获得最新资讯并成为创新者。
GoogleCloud认证
准备并注册认证。
专家帮助和培训
咨询
与我们的专家合作处理云项目。
客户技术支持
获取Google的持续指导。
培训
注册参加自助式培训或课堂培训。
合作伙伴和第三方工具
GoogleCloud合作伙伴
探索与合作伙伴合作的好处。
成为合作伙伴
加入PartnerAdvantage计划。
GoogleCloudMarketplace
只需点击几下即可部署即时可用的解决方案。
文档
支持
文档
支持
Language
English
Deutsch
Español–AméricaLatina
Français
Italiano
Português–Brasil
中文–简体
日本語
한국어
登录
云架构中心
联系我们
免费开始使用
为什么选择Google
More
解决方案
More
产品
More
价格
More
使用入门
More
文档
支持
控制台
联系我们
免费开始使用
云架构中心
应用开发
大数据和分析
计算
容器
数据库
DevOps
医疗保健和生命科学
高性能计算
混合云和多云
物联网(IoT)
日志记录和监控
机器学习和人工智能
迁移
网络
安全与法规遵从
无服务器
存储
了解领先的企业为何选择GoogleCloud
了解详情
主要优势
概览
多云端
信任与安全
全球基础架构
数据云
开放的云
可持续
工作效率与协作
资源
活动
博客
客户案例
分析师报告
行业解决方案
零售
大众消费品
金融服务
医疗保健和生命科学
媒体和娱乐
电信
游戏
制造
供应链与物流
政府
教育
查看所有行业解决方案
查看所有解决方案
应用现代化改造
混合云和多云端应用平台
API管理
无服务器解决方案
DevOps
持续交付(CD)
持续集成(CI)
主机现代化改造
CAMP
托管
站点可靠性工程(SRE)
人工智能
构建和使用AI
ContactCenterAI
客服助手
CloudTalentSolution
DocumentAI
LendingDocAI
ProcurementDocAI
智能产品
数据科学
ContractDocAI
ContactCenterAIInsights
API和应用
使用API开拓新的业务渠道
使用API发掘旧式应用的潜力
OpenBankingAPIx
数据库
数据库迁移
数据库现代化改造
GoogleCloud数据库
将Oracle工作负载迁移到GoogleCloud
开源数据库
SQLServeronGoogleCloud
数据云
数据库解决方案
智能分析解决方案
AI解决方案
面向独立软件供应商(ISV)的数据云
数据云联盟
数字化转型
数字化创新
运营效率
新型冠状病毒肺炎(COVID-19)解决方案
面向医疗保健行业的新型冠状病毒肺炎(COVID-19)解决方案
基础架构现代化改造
应用迁移
SAPonGoogleCloud
高性能计算
WindowsonGoogleCloud
数据中心迁移
ActiveAssist
虚拟桌面
快速评估和迁移计划(RAMP)
备份和灾难恢复
工作效率与协作
GoogleWorkspace
GoogleWorkspace基本功能版
CloudIdentity
Chrome企业版
CloudSearch
安全
安全分析与运营
Web应用和API保护
安全和弹性框架
风险与合规性即代码(RCaC)
智能分析
数据仓库现代化改造
数据湖现代化改造
GoogleCloud上的Spark
数据流分析
商业智能
数据科学
营销分析
地理空间分析和AI
数据集
中小型初创企业
初创公司解决方案
初创公司计划
中小型企业
软件即服务
精选产品
ComputeEngine
CloudStorage
CloudSDK
CloudSQL
GoogleKubernetesEngine
BigQuery
CloudCDN
Dataflow
运维
CloudRun
Anthos
查看所有产品(100多款)
AI和机器学习
VertexAI
Speech-to-Text
VisionAI
Text-to-Speech
CloudTranslation
CloudNaturalLanguage
AutoML
VideoAI
AIInfrastructure
Dialogflow
AutoMLTables
查看所有AI和机器学习产品
API管理
ApigeeAPIManagement
ApigeeIntegration
CloudEndpoints
CloudHealthcareAPI
AppSheet
API网关
计算
ComputeEngine
AppEngine
CloudGPU
MigrateforComputeEngine
Spot虚拟机
安全强化型虚拟机
单租户节点
BareMetal
Recommender
VMwareEngine
CloudRun
查看所有计算产品
容器
GoogleKubernetesEngine
ContainerRegistry
容器安全性
CloudBuild
DeepLearningContainers
Kubernetes应用
ArtifactRegistry
Knative
CloudRun
CloudCode
数据分析
BigQuery
Looker
Dataflow
Pub/Sub
Dataproc
CloudDataFusion
CloudComposer
Dataprep
Dataplex
DataCatalog
AnalyticsHub
查看所有数据分析产品
数据库
CloudBigtable
Firestore
Memorystore
CloudSpanner
CloudSQL
DatabaseMigrationService
适用于Oracle的裸金属解决方案
FirebaseRealtimeDatabase
Datastream
开发者工具
ArtifactRegistry
CloudBuild
CloudCode
CloudDeploymentManager
gcloudCLI
CloudScheduler
CloudSourceRepositories
CloudTasks
GoogleCloudDeploy
Tekton
ToolsforPowerShell
查看所有开发者工具
医疗保健和生命科学
ApigeeHealthcareAPIx
CloudHealthcareAPI
CloudLifeSciences
HealthcareNaturalLanguageAI
混合云和多云
Anthos
Looker
CloudRunforAnthos
GoogleCloudMarketplaceforAnthos
MigrateforAnthos
运维
CloudBuild
TrafficDirector
ApigeeAPIManagement
GoogleDistributedCloud
物联网
CloudIoTCore
EdgeTPU
管理工具
AnthosConfigManagement
碳足迹
CloudAPI
CloudConsole
CloudMobileApp
CloudShell
ConfigConnector
费用管理
智能管理
PrivateCatalog
TerraformonGoogleCloud
媒体和游戏
GameServers
OpenCue
TranscoderAPI
迁移
应用迁移
BigQueryDataTransferService
CloudFoundationToolkit
DatabaseMigrationService
MigrateforAnthos
MigrateforComputeEngine
快速评估和迁移计划(RAMP)
TransferAppliance
StorageTransferService
VMwareEngine
网络
CloudArmor
CloudCDN
CloudDNS
CloudLoadBalancing
CloudNAT
混合连接
NetworkConnectivityCenter
NetworkIntelligenceCenter
NetworkServiceTiers
TrafficDirector
查看所有网络产品
运维
CloudLogging
CloudMonitoring
ErrorReporting
KubernetesEngineMonitoring
CloudTrace
CloudProfiler
CloudDebugger
智能运营
安全和身份
CloudIAM
AssuredWorkloads
CloudKeyManagement
机密计算
SecurityCommandCenter
CloudDataLossPrevention
ManagedServiceforMicrosoftActiveDirectory
AccessTransparency
Titan安全密钥
SecretManager
BeyondCorpEnterprise
查看所有安全和身份产品
无服务器计算
CloudRun
CloudFunctions
AppEngine
Workflows
存储
所有存储产品
CloudStorage
Filestore
PersistentDisk
CloudStorageforFirebase
本地SSD
StorageTransferService
GoogleWorkspace基本功能版
利用我们透明的定价方法节省资金
请求报价
GoogleCloud
价格概览
价格表
价格计算器
GoogleCloud免费计划
相关产品
GoogleWorkspace
GoogleMapsPlatform
Chrome企业版
Apigee
Looker
Firebase
开始使用GoogleCloud
免费开始使用
自助资源
开始
开发者中心
GoogleCloud认证
专家帮助和培训
咨询
客户技术支持
培训
合作伙伴和第三方工具
GoogleCloud合作伙伴
成为合作伙伴
GoogleCloudMarketplace
首页
文档
云架构中心
发送反馈
BigQuery上多租户工作负载的最佳做法
本文档提供了用于多租户数据平台和企业数据集市的常见模式的技术和最佳做法。
商业企业、软件即服务(SaaS)供应商和政府组织必须经常安全地托管跨地理和管理边界的内部和第三方数据。
BigQuery是一款功能强大的工具,可以始终如一地满足跨不同业务部门的EB级数据和数十万数据消费者的多租户平台要求。
本文档适用于在BigQuery上部署多租户平台并且希望了解可用的安全控制措施和性能管理功能的组织。
多租户平台构建者通常需要平衡以下方面的注意事项:
数据隔离:实施强有力的控制措施,以防止跨租户的数据泄漏。
一致的性能:配置和分配BigQuery预留,以在各个租户之间保持一致的性能。
资源管理:计划配额和限制的影响。
地理位置分布:查找指定和必需的地理位置中的数据。
如需了解合规性相关问题,请参阅GoogleCloud的合规性服务。
审核和安全:防止租户数据免遭受不当访问和渗漏的攻击。
费用管理:确保托管每个租户的BigQuery费用保持一致。
运维复杂度:尽可能减少托管新租户所需的系统差异。
具有共享租户基础架构的SaaS供应商
托管第三方数据的SaaS供应商需要确保整个客户群的可靠性和隔离性。
这些客户可能有数以万计,并且可以通过共享服务基础架构来访问客户数据。
一些SaaS供应商还维护一个经过清理的中央数据存储区,以对整个租户群进行分析。
每个租户的数据集设计有助于减轻组织扩容到成千上万的租户时遇到的以下问题:
管理复杂度:基于每个客户的新项目和云资源的总数
端到端延迟时间:数据存储区在租户和跨客户分析解决方案方面的最新表现
效果预期:确保租户效果保持在可接受的限制范围内
为每个租户配置数据集
在专用于存储客户数据的项目中,每位客户的数据都由BigQuery数据集分隔。
在宿主项目中,您使用第二个项目来根据组合的客户数据部署分析和机器学习。
然后,您可以配置数据处理引擎Dataflow,将传入数据双重写入内部表和租户专属表。
Dataflow配置使用完全写入的表,而不是已获授权的视图。
使用完全编写的表可以统一处理地理分布,且有助于避免在租户数量发生变化时达到已获授权的视图限制。
与基于集群的仓库相比,BigQuery的存储和计算分离使您可以配置更少的项目,以处理诸如服务层和数据隔离之类的问题。
当您不需要为租户配置其他专用云资源时,建议您考虑为每个租户配置专用数据集的默认配置。
下图显示了基于此推荐设计的示例项目配置:
图1.随着租户数量的增长,恒定数量的项目可以处理数据和处理需求。
图1中的项目配置包含以下项目:
数据流水线项目:接收、处理和分发租户数据的核心基础架构组件均打包到单个项目中。
合并的租户数据项目:每个客户维护数据集的核心数据项目。
租户数据应通过计算层级项目访问。
内部开发项目:代表自我管理资源的项目,分析团队使用这些项目来评估租户数据并构建新功能。
最终用户应用项目:包含旨在与最终用户互动资源的项目。
我们建议您使用租户级服务帐号访问租户数据集,并使用强大且安全的构建流水线部署应用。
预留计算层级项目:将租户查询活动映射到BigQuery预留的项目。
分享预留信息
此方法中的预留依赖于BigQuery预留中内置的公平调度算法。
每个计算层级预留都会分配给一个项目。
租户查询使用分配给每个计算层级项目的公平调度槽,而任何层级中未使用的槽会自动在其他层级中重复使用。
如果租户有特定的时间要求,您可以使用专门用于提供确切数量的槽的项目对。
配置VPCServiceControls边界
在此配置中,我们建议您使用VPCServiceControls边界,以防止GoogleCloud组织外部的租户数据集出现意外泄露,并防止未经授权的数据加入组织内。
边界
在此配置中,我们建议您创建以下服务边界:
数据流水线:数据流水线项目周围的边界应强制执行所有无需接收租户数据的服务。
租户数据:租户数据集项目与租户BigQuery计算项目周围的边界。
实施所有服务以阻止从组织外部访问。
内部应用:强制执行所有服务并使用访问权限级别向部门团队授予资源访问权限。
外部应用:SaaS应用的边界。
强制执行应用正常运行所必需的所有服务。
边界网桥
在此配置中,我们建议您创建以下边界网桥:
数据流水线和租户数据:允许流水线将数据写入租户数据集。
数据流水线和内部应用:允许流水线将数据写入跨客户数据集。
外部应用和租户数据:允许面向外部的应用查询租户数据。
外部应用和内部应用:面向外部的应用将使用内部应用开发和部署的模型来处理数据。
具有专用租户基础架构的SaaS供应商
在更复杂的场景中,SaaS供应商可以为每个租户部署专用的计算基础架构。
在此场景中,专用基础架构负责在BigQuery内处理租户数据请求。
在部署每个租户以及BigQuery时,专用租户基础架构设计可以解决以下常见问题:
结算帐号责任:跟踪与每个初始租户关联的基础架构费用。
端到端延迟时间:数据存储区在租户和跨客户分析解决方案方面的最新表现。
效果预期:确保租户效果保持在可接受的限制范围内。
共置数据集与专用资源
部署专用租户基础架构时,我们建议您为特定于租户的项目创建一个父文件夹。
然后,将租户的BigQuery数据集与项目中代表资源的专用资源共置。
为了最大限度降低租户数据的端到端延迟时间,Dataflow流水线会直接将数据插入租户数据集。
这种设计可处理上游数据处理和分发,类似于之前的共享基础架构设计。
但是,访问租户数据的租户数据和应用是特定于租户的项目(可以选择性地整理到特定于租户的文件夹)下,可以简化结算和资源管理。
下图显示了基于此推荐设计的示例项目配置:
图2:数据流水线项目从多个其他项目处理单个租户的数据。
图2中的项目配置包含以下项目:
数据流水线项目:接收、处理和分发租户数据的核心基础架构组件均打包到单个项目中。
专用租户项目:此类项目包含特定于单个租户的所有云资源,包括BigQuery数据集。
我们建议您使用IdentityandAccessManagement(IAM)大幅限制哪些服务帐号和服务帐号可以访问客户数据集。
内部分析项目:代表自我管理资源的项目,分析团队使用这些项目来评估租户数据并构建新功能。
外部网络项目:处理租户请求并将其路由到其专用后端的项目。
分享预留信息
此方法中的预留依赖于BigQuery预留中内置的公平调度算法。
在此配置中,计算层级预留会分配给使用该层级的每个租户项目。
如果租户有特定的时间要求,您可以创建专用预留来为租户项目提供精确数量的槽。
使用IAM控制措施并停用密钥创建功能
VPCServiceControls边界可能不适用于此场景。
与项目相关的限制可防止组织在与租户项目交互的项目上使用界限边界。
相反,我们建议您使用严格的IAM控制,并停用密钥创建功能,以防止不需要的外部访问。
具有中央授权方的数据集市
数据集市是一种常见的设计主题,其中核心分析数据会存储在中央代码库中,并且部分业务线会共享。
数据集市通常有数十个或数百个租户,视为业务线。
BigQuery中的数据集市设计可满足以下需求:
保护数据协作:利用技术控制措施共享数据,以最大限度地减少各团队的不当访问。
集中数据治理:确保关键业务报告使用的核心数据资源经过标准化和验证。
业务部门费用归因:按业务部门跟踪和调整计算使用量。
使用集中管理的代码库
在此设计中,核心数据会捕获到集中管理的代码库中。
授权视图、授权的用户定义函数(UDF)和列政策会经常用于与业务线共享数据,同时防止意外分发敏感数据。
租户项目中的团队可根据其帐号权限访问集中受监管的数据集。
团队使用分配给自己项目的槽来构建报告和派生数据集。
核心数据团队使用授权视图来保持对数据集市资产的访问权限控制的所有权。
在此配置中,我们建议您避免在核心数据项目呈现的对象上构建多层视图。
下图显示了基于此推荐设计的示例项目配置:
图3.核心数据项目维护着一个可从整个组织访问的集中式数据集市。
图3中的项目配置包含以下项目:
核心数据项目:用于管理核心数据和数据集市视图的治理边界。
您可以在此项目内的数据集中维护授权视图,并根据组成员身份将授权视图授予分析团队。
提取、转换、加载(ETL)基础架构:用于将上游数据源处理到核心数据的基础架构。
根据管理分离需求,您可以选择将ETL基础架构部署为自己的项目或作为核心数据项目的一部分。
分析团队项目:数据集市的使用者使用这些项目,并使用其自己的预配基础架构访问权限来处理数据集市内的数据。
分析团队项目应该能够构建派生数据集以供本地使用。
使用双层预留设计
使用数据集市时,建议您使用两层设计。
在双层设计中,您可为包含槽的预留分配包含少量槽的预留,以满足一般使用需求。
如果团队的需求更高,请在项目级层或文件夹级层分配预留。
配置VPCServiceControls边界
在此配置中,我们建议您使用VPCServiceControls边界,以防止在GoogleCloud组织外部公开BigQuery数据集。
边界
在此配置中,我们建议您创建以下服务边界:
核心数据:保护数据仓库和数据集市的边界。
数据流水线:ETL基础架构项目的边界。
如果数据流水线需要在GoogleCloud组织外部发出请求,我们建议您将此边界与核心数据边界分隔开。
分析:用于构建和部署组织内部的分析资源的边界。
预计此边界比与其桥接的核心数据边界具有更宽松的访问政策。
边界网桥
在此配置中,我们建议您创建以下边界网桥:
数据流水线和核心数据:允许数据流水线写入核心数据项目。
核心数据和分析:允许分析项目中的用户查询授权视图。
复制多区域配置的数据集
由于BigQuery不允许跨区域查询,因此如果数据集必须存在于多个区域,则无法使用细分包含授权视图的数据的策略。
您可以改为使用BigQueryDataTransferService将相关数据集复制到另一个区域。
在这种情况下,您需要在数据目录中为数据所在的每个额外区域创建列政策。
下图展示了多区域配置:
图4.多区域配置使用BigQueryDataTransferService跨区域复制数据集。
图4中的项目配置包含以下项目。
核心数据项目:用于管理核心数据和数据集市视图的治理边界。
数据被复制并保存到可在全球范围内为团队提供服务的区域数据集中。
ETL基础架构:用于将上游数据源处理为核心数据的基础架构。
根据管理分离需求,您可以选择将ETL基础架构部署为自己的项目或作为核心数据项目的一部分。
分析团队项目:数据集市的消费者使用这些项目,并使用他们自己的预配基础架构来处理数据集市的区域数据集中的数据。
分析团队项目应该能够构建派生数据集以供本地使用。
BigQueryDataTransferService是一个附加的计划组件,但有一些限制。
内置服务调度器的最小间隔时间为15分钟,并且它必须从源数据集中复制所有表。
无法将其他脚本嵌入到BigQueryDataTransferService调度器中,以创建特定于区域的数据子集。
如果您的组织需要更强的灵活性,则可以使用以下选项:
CloudComposer作业:您可以安排CloudComposer作业发出ETL作业,以创建区域子集,然后再通过其客户端API触发BigQueryDataTransferService。
如果您的组织可以支持额外延迟,则建议使用此选项。
ETL基础架构:ETL基础架构(例如Dataflow)可以将区域子集双重写入目标区域。
如果您的组织要求区域之间的数据延迟最小,则建议使用此选项。
使用分散的机构处理数据集市
如果需要由系统所有者、业务线或地理位置问题分离管理,请使用分散式授权。
与标准数据集市相比,分散式数据集市存在以下不同的问题:
保护数据协作:利用技术控制措施共享数据,以最大限度地减少各团队的不当访问。
数据可检测性:团队需要能够发现和请求访问数据集。
数据来源:在没有中央策展人团队的情况下,团队需要能够信任进入其分析产品的数据的来源。
委派核心数据管理
这种设计与传统数据集市方法不同,因为分散式授权将核心数据管理决策委托给组织的组件子组。
使用分散式授权时,您可以使用CloudKeyManagementService(CloudKMS)、列政策、VPCServiceControls和预留。
因此,您可以避免自行管理的仓库常见的数据扩张。
下图展示了使用分散式授权的架构:
图5.核心治理项目有助于确保一致的安全性,而各个团队可以维护其数据运营。
图5中的项目配置包含以下项目:
核心治理项目:负责跨组织管理问题的项目。
在此项目中,您需要创建CloudKMS密钥环和数据目录列政策等安全资源。
此项目充当BigQuery预留管理项目,在组织范围内共享槽。
组织单元数据项目:范围更广的组织中自我管理的数据集市的所有者。
核心管控项目管理组织部门数据项目的受限范围。
分析团队项目:数据集市的消费者使用的项目。
这些项目使用它们自己预配的基础架构和插槽来访问和处理数据集市中的数据。
使用双层预留设计
我们建议您对数据集市进行分散化,使用与标准数据集市相同的双层设计。
在此配置中,您向组织资源分配了包含少量槽的预留,以支付常规用量。
如果团队的需求更高,请在项目级层或文件夹级层分配预留。
使用数据目录
DataCatalog提供组织范围的发现、元数据标记和列政策配置。
数据目录会自动为组织中的所有新BigQuery表创建元数据条目。
数据目录功能可帮助数据治理管理员快速识别新的数据资源并应用适当的控制措施。
配置VPCServiceControls边界
在此配置中,我们建议您使用VPCServiceControls边界,以防止在GoogleCloud组织外部公开BigQuery数据集。
边界
在此配置中,我们建议您创建以下服务边界:
核心数据:保护数据仓库和数据集市的边界。
此边界应包含所有组织部门项目和数据治理项目。
分析:用于构建和部署组织内部的分析资源的边界。
预计此边界比与其桥接的核心数据边界具有更宽松的访问政策。
边界网桥
在此配置中,我们建议您创建以下边界网桥:
核心数据和分析:允许分析项目中的用户查询授权视图。
多组织数据共享
多组织共享是一种针对数据集市设计的特殊设计注意事项。
此数据共享设计适用于希望与具有自己的Google组织的另一个实体安全地共享其数据集的组织。
多组织数据共享可以解决数据共享者的以下问题:
共享机密性:只有目标方可以访问共享数据。
防止不恰当的访问权限:仅可从外部访问要访问的资源。
计算分离:外部方针对其发起的查询付费。
注意:在某些情况下,源自外部组织的查询可能会意外失败。
云客户服务可以帮助您启动配置更改来解决问题。
保护内部项目免受共享数据项目的影响
多组织数据共享设计的重点是保护组织的内部项目免受共享数据项目中活动的影响。
共享数据集项目充当缓冲区,以禁止访问敏感的内部数据处理,同时提供了在外部共享数据的功能。
从外部项目启动的查询会使用调用项目的计算资源。
如果所有查询的数据集共享相同的GoogleCloud区域,则这些查询可以跨组织联接数据。
下图显示了如何在多组织项目配置中共享数据集:
图6.外部组织从共享项目的多个数据集中查询数据。
图6中的项目配置包含以下项目:
组织内部项目:包含敏感内部数据的项目。
内部项目可以通过将已清理的数据复制到共享数据项目的数据集中来与外部共享数据。
内部项目应拥有负责更新共享数据的服务帐号。
共享数据项目:包含从内部项目复制的已清理信息的项目。
使用外部用户群组管理外部各方的访问权限。
在这种情况下,您将群组成员资格作为管理功能进行管理,并为外部帐号授予查看者权限,以便他们通过这些群组访问数据集。
配置VPCServiceControls边界
在此配置中,我们建议VPCServiceControls边界在外部共享数据,并防止在内部项目之外意外公开BigQuery数据集。
边界
在此配置中,我们建议您创建以下服务边界:
内部数据:用于保护核心数据资源的边界。
VPCServiceControls会强制访问BigQuery。
外部共享数据:用于托管可与外部组织共享的数据集的边界。
此边界禁止访问BigQuery。
边界网桥
在此配置中,我们建议您创建以下边界网桥:
内部到外部数据:边界网桥允许受保护程度更高的内部数据项目将数据输出到外部数据共享项目中。
多租户系统中的其他注意事项
本部分更深入地介绍了特殊情况,您可以将这些特殊情况与前面的最佳做法一起考虑。
GoogleCloud资源限制和配额
服务帐号限制为每个项目100个服务帐号的软配额。
您可以通过GoogleCloudConsole为维护租户服务帐号的项目申请配额。
BigQuery并发在每个发布查询的项目中默认具有200个查询的并发(保存数据集的项目没有这样的限制)。
如需增加此软配额,请与销售代表联系。
VPCServiceControls在组织范围内的服务边界内最多只能包含10000个项目。
如果每个租户的项目设计均高扩容,我们建议您改用每个租户一个数据集的设计。
VPCServiceControls限制每个组织最多100个边界,包括边界。
使用授权视图或具体化子集表
如需管理对大型事实表子集的租户访问权限,您可以使用特定于租户的授权视图,或创建特定于租户的子集表。
下表对这些方法进行了比较:
特征
授权视图
子集表
支持的租户数量
每个数据集有2500个授权视图的硬限制。
对项目中的数据集或数据集中的表的数量没有限制。
分区和聚簇
授权视图必须共享基表的通用分区和集群架构。
为了改善租户细分的性能,我们建议您在租户ID中对父表进行聚簇。
您可以对子表划分分区,并将其按照租户的需求进行聚簇。
地区化
授权视图不能跨区域,并且必须位于基表的GoogleCloud区域中。
区域化会影响远程地理位置的租户。
子集表可以位于最适合租户的区域。
您可能还需要支付其他费用。
强制执行列政策
应用于基表的列政策将应用于所有授权视图,无论这些视图的权限如何。
每个子集都必须应用列政策,才能生效。
数据访问日志记录
数据访问日志会反映在基表的日志中。
系统会单独记录对每个子集表的访问。
转型灵活性
通过授权视图,您可以即时重新设计租户访问的对象。
更改架构需要更改复杂的架构。
控制敏感数据
为防止未经授权的数据访问,BigQuery除了标准IAM权限之外,还提供了几项其他功能。
客户端提供的加密
客户端数据加密包括托管组织代表租户存储和处理数据但阻止其访问部分数据内容的情况。
例如,托管组织可能会无法访问具有敏感性的个人数据或设备数据。
我们建议数据发送者使用开源Tink库中的AEAD加密密钥来加密敏感数据。
Tink库AEAD加密密钥与BigQueryAEAD函数兼容。
然后,租户可以通过访问已获授权的UDF中的密钥材料,或以查询参数形式传递密钥材料来解密数据。
导出到BigQuery,其中托管组织无法记录密钥。
列访问权限政策
在多租户数据集市中,列政策经常用于防止敏感内容在协作团队之间意外泄露。
在数据集市场景中,授权视图是在团队之间共享数据的首选机制。
授权视图无法授予对受保护列的访问权限。
当您设置政策以强制执行访问控制时,可以阻止未授予该政策的细粒度读取者角色的用户访问。
即使未实施该政策,该政策也会将所有用户访问记录在已归类的列中。
CloudDataLossPrevention
CloudDLP提供了API和扫描实用程序,可帮助您识别和缓解存储在BigQuery或CloudStorage数据集中的敏感内容。
多租户场景中的组织通常使用DLPAPI在存储之前识别和标记敏感数据(可选)。
槽预留管理
多租户系统中的预留管理有助于随着租户规模扩大而控制成本,并确保为每个租户提供效果保证。
如需管理预留,建议您创建一个预留管理项目。
在同一管理项目中购买的插槽承诺可在源自该管理项目的所有预留中共享。
使用插槽承诺的项目一次只能分配给一项预留。
源自某个项目的所有查询都基于可用资源共享插槽。
为确保满足租户服务等级目标(SLO),您可以通过CloudLogging和BigQuery信息架构监视预留。
那些由于分析师活动或优先工作而处于忙碌状态的组织可以使用弹性插槽分配额外的容量。
预留作为租户计算层
具有数十个至数千个租户的SaaS供应商通常将有限数量的BigQuery预留配置为共享资源。
如果您是共享租户基础架构的SaaS供应商,我们建议您将每个预留都专用于单个项目,并将租户分组以共享该项目以进行BigQuery计算。
这种设计减少了具有成千上万个其他项目和预留空间的管理开销,同时允许您的组织分配必要的最小插槽容量,以满足预留的预期性能需求。
如果ELT数据处理的及时性是当务之急,我们建议您分配一个预留来处理。
为避免使用多余的插槽可用于临时工作负载,请将预留设置为忽略空闲插槽。
以下示例说明了如何将预留配置为租户计算层级:
数据处理:2000个槽,忽略空闲。
此预留配置为满足数据处理SLO要求。
内部项目:1000个插槽,允许空闲插槽。
此预留适用于内部分析的项目。
如果从数据处理或计算层中遗留了插槽,则这些插槽将被重用。
低计算层级:2000个槽,忽略空闲。
如果资源不足,则预留将应用到租户。
与高层级不同,此预留会忽略空闲槽。
高计算层级:3000个槽,允许空闲。
此预留适用于拥有较高资源的租户。
为了加快查询速度,系统会自动应用其他预留中的空闲槽。
如果您的租户在专用基础架构上运行,我们建议您将指定的文件夹或项目分配给适当的共享预留。
每个团队的预留数
在数据集市环境中使用团队时,我们建议您为每个需要额外计算的团队创建一个预留。
然后将该预留分配给包含团队项目的父级文件夹。
该团队的所有新项目均使用同一资源分配中的公平调度槽。
以下示例说明了如何为每个团队配置预留:
组织级层预留:500个插槽,允许空闲插槽。
此预留将分配给顶级组织,并且会为不使用专用预留的项目的任何BigQuery用户提供插槽
数据处理:1000个槽,忽略闲置槽。
此预留已配置为满足最低数据处理SLO要求。
核心数据管理:500个槽,允许空闲。
此预留适用于内部分析的项目。
如果从数据处理或计算层中遗留了插槽,则这些插槽将被重用。
分析处理预留:500个槽,允许空闲。
这是为分析团队分配的专属预留。
多区域托管要求
多区域托管要求通常是由于需要减少数据使用者的延迟或满足监管要求。
GoogleCloud中的项目是全球项目,可以在任何区域中预配资源。
BigQuery将数据集、列政策和槽承诺视为区域资源。
槽只能访问本地区域中的数据集,并且列政策只能应用于本地数据集中的表。
如需使用固定费率价格,您必须在包含数据集的每个区域购买槽。
如需获得监管方面的指导,请咨询您的销售代表。
后续步骤
阅读面向数据仓库专业人员的BigQuery
了解IAM最佳做法。
探索有关GoogleCloud的参考架构、图表、教程和最佳做法。
查看我们的云架构中心。
发送反馈
Exceptasotherwisenoted,thecontentofthispageislicensedundertheCreativeCommonsAttribution4.0License,andcodesamplesarelicensedundertheApache2.0License.Fordetails,seetheGoogleDevelopersSitePolicies.JavaisaregisteredtrademarkofOracleand/oritsaffiliates.
Lastupdated2021-07-29UTC.
[{
"type":"thumb-down",
"id":"hardToUnderstand",
"label":"很难理解"
},{
"type":"thumb-down",
"id":"incorrectInformationOrSampleCode",
"label":"信息或代码不正确"
},{
"type":"thumb-down",
"id":"missingTheInformationSamplesINeed",
"label":"没有我需要的信息/示例"
},{
"type":"thumb-down",
"id":"translationIssue",
"label":"翻译问题"
},{
"type":"thumb-down",
"id":"otherDown",
"label":"其他"
}]
[{
"type":"thumb-up",
"id":"easyToUnderstand",
"label":"易于理解"
},{
"type":"thumb-up",
"id":"solvedMyProblem",
"label":"解决了我的问题"
},{
"type":"thumb-up",
"id":"otherUp",
"label":"其他"
}]
需要向我们提供更多信息?
为什么选择Google
选择GoogleCloud
信任与安全
开放的云
多云
全球基础架构
客户和案例研究
分析师报告
白皮书
博客
产品和价格
GoogleCloud价格
GoogleWorkspace价格
查看所有产品
解决方案
基础架构现代化
数据库
应用现代化改造
智能分析
人工智能
安全
生产力和工作方式转变
行业解决方案
DevOps解决方案
小企业解决方案
查看所有解决方案
资源
GoogleCloud文档
GoogleCloud快速入门
GoogleCloudMarketplace
了解云计算
支持
代码示例
CloudArchitectureCenter
培训
认证
GoogleDevelopers
GoogleCloud创业公司计划
系统状态
版本说明
互动
与销售人员联系
查找合作伙伴
成为合作伙伴
活动
播客
开发者中心
媒体资讯角
GoogleCloud在YouTube上的频道
YouTube上的GoogleCloudTech
在Twitter上关注
参与用户调查
GoogleCloud诚聘英才,欢迎加入!
GoogleCloud社区
Cookie设置
Google大全
隐私权政策
网站条款
GoogleCloud条款
自2007年起一直保持碳中和
订阅GoogleCloud简报
订阅
Language
English
Deutsch
Español–AméricaLatina
Français
Italiano
Português–Brasil
中文–简体
日本語
한국어
延伸文章資訊
- 1BigQuery 上多租户工作负载的最佳做法| 云架构中心 - Google ...
多租户平台构建者通常需要平衡以下方面的注意事项:. 数据隔离:实施强有力的控制措施,以防止跨租户的数据泄漏。 一致的性能:配置和分配BigQuery 预 ...
- 2雲平臺下的多租戶架構-你應該理解的一些關鍵點
比如我們開發一個SaaS雲服務的CRM系統。這個系統部署在公有云端可以開放給多個企業客戶使用。那麼我們就遇到了一個關鍵問題。即是否當新入駐一個新的企業 ...
- 3[雲端] Multi-Tenancy(多租戶) | 大人的世界 - - 點部落
在談到雲端運算時,常會聽到多租戶的概念,. 那到底什麼是多租戶呢? 我們知道,雲端其中一個概念就是按需付費,. 讓許多客戶(租戶)共用軟硬體的資源,.
- 4多租戶管理服務| 威睿科技 - Genie Networks
一站式解決方案為支援多租戶設計(Multi-tenancy) 的門戶網站(Portal Website),部署在雲端網路安全中心(Security Operation Centre, SOC) ...
- 548.有關雲端運算的多租戶模式(Multi-tenant model),下列敘述..
有關雲端運算的多租戶模式(Multi-tenant model),下列敘述何者正確? (A)是一種商業計價模式,將雲伺服器的計算資源同時分租給多個用戶 (B)是一種軟體技術架構,由一個 ...