客户简介：
极目智能是一家专注于智能驾驶技术研发与应用的人工智能企业，致力于通过全球领先的计算机视觉技术助力智能驾驶的发展和普及。
目前，极目智能不仅在前装领域与多家车厂建立合作关系，打造未来的智能驾驶和交通方式，还针对物流车队、营运车险、智慧公交等推出了基于ADAS主动安全的行业解决方案。
问题描述：
在极目负责的农业图像识别项目中,通过无人机收集图像数据,然而由于实现需求所需要的数据众多。无人机收集到的数据如何高速传输,高效ETL,以及低成本存储是极目首先要解决的问题。其次,面对众多的结构化/非架构化数据,极目如何在快速分析的同时最小化运维成本,这也成为了他们的难点。
方案描述：
在亚马逊云科技上构建完整的大数据分析体系，可以采用HIVE+Spark+HDFS的架构使用EC2自建或采用由亚马逊云科技提供的Elastic MapReduce（EMR）+Simple Storage Service+RedShift架构来完成大数据分析的目标。对于HIVE与Spark的自建架构，博思云为不推荐使用，自建架构是为初级的云计算服务使用方式，抛弃了很多云上的优势。
对此，博思云为建议客户采用AmazonService完成整个大数据架构。在基于亚马逊云科技的大数据方案中，我们采用了亚马逊云科技提供的EMR服务，EMR服务可以简单理解为托管的Hadoop集群，其中包含了MapReduce与HDFS等运算存储集群。基于EMR，我们帮助客户加工与处理结构化与非结构化业务数据、按照客户的需求，分析与开发出数据业务特征处理算法，对结构化与非结构化的数据进行清洗（去重、去残缺、去错误、一致性检查）、脱敏（条目混淆、加密）、数据格式转换（字段类型调整、表数据拆分/合并、数据粒度转换）等。
最终将已完成转换的有效数据以适合于数据仓库加载的格式（例如：CSV）导出并转存在S3存储中，并通过加载工具将有效数据集导入至Redshift数据仓库，作为后续企业BI、AI等业务的数据来源。对于安全与资源管理方面，博思除采用IAM之外，还会集成一套自有资源与权限管理系统，可实现单点登陆SSO，日志审计等方式确保账户与访问，安全避免资源使用混淆、资源盗用等风险。
应用场景：
对于所有希望新建大数据分析平台的用户来说，云是原生的适合于大数据分析的。大数据分析的使用场景中，每次运算都需要大量的计算资源，但是在分析完成后资源将处于闲置状态，我们的大数据方案基于亚马逊云科技，使用托管的EMR服务运算分析，随时可以启动/删除集群，最大程度的节省了使用成本。
对于希望上云的客户而言，无论在本地使用的是怎样的架构方案，博思都将帮助客户完成整体的结构改造与迁移，更好的适应云，节省大量的基础环境与软件维护工作，使客户能将更多的精力集中在业务相关的数据分析中。
使用到的服务：
方案优势：
基于亚马逊云科技的大数据方案里，采用托管的EMR与S3存储、RedShift服务等，能够节省大量的基础环境搭建与维护工作，同时无需担心软件与硬件的性能能力，所有的服务都以自动伸缩式集群的方案提供极其巨大的负载能力，以保证能够满足用户所有的性能需求。
基于亚马逊云科技，所有的计算资源与存储资源都可以即开即用，避免了一切不必要的资源闲置与浪费，能够最大程度的节省成本费用，除此之外，博思云自研出一套对EMR+S3的安全与资源管理系统，可以实现统一身份认证，日志审计，资源与权限分配，以及集成CD/CI的能力。
最终架构图：
