我是养父
“大数据工程师每月减少20个人日的?作量。”
“大数据基础设施投入减少92.85%。”
张先生是一位大数据负责人，供职于北京爱普新媒体公司。这是一家专业从事广告dsp（demand-side platform，需求方平台）业务的公司，成立于2010年。随着dsp广告模式传入中国成为热潮，公司发展不错。
但张先生很快发现，广告数据增长的速度远远超乎预期，公司内大数据工程师招聘目标才完成一半，但数据量一下冲到数百t。手下几个数据工程师不得不疲于奔命，帮助业务分析师运行sql任务，排除故障，但仍然收效甚微。随着广告项目的增长，业务部门的数据分析师对大数据部门的抱怨也在不断积累。
作为广告服务商，数据统计就是公司的命脉，如果因广告主自身数据管理而造成的广告投放数据统计不准，和第三方检测机构的数据对不上，后果不堪设想，广告主甚至会拒绝结款。
正当张先生焦头烂额之际，ucloud向他推荐了数据湖分析方案。经过初步的试用和数据验证之后，张先生决定把一小部分业务放在数据湖分析方案上处理，这才有了本文开头的一幕。
广告一半是科学，一半是艺术。这其中，以效果为主的dsp要看性价比和投资回报率，得算经济账，可以说是相当科学了。在张先生的心中就有这么一笔账：
张先生的工作场景也是目前数量众多的中小企业在面对大数据时遇到的困难。中小企业数据形成规模后，由于收入尚未跟上，所以面对动辄每年数百万的大数据投入，往往只能望而却步。
爱普新媒面临的数据挑战：
业务分析师说：
1. 数据规模太大， 自己不能独立完成分析
2. 数据任务完成周期长
3. 数据结果感觉不准， 但又不能查看原始明细数据
数据部门说：
1. 业务临时性数据需求多，占用部门有限的技术人力资源
2. 数据需求经常需要返工
3. 数据规模增长太快，数据仓库成本不断增长
爱普新媒拥有“云魔方”互联网精准营销平台、“云速”企业移动信息服务平台和“云汇”互动广告平台，广告数据规模太过庞大、赛过大象，如何把这头大象“瘦身“装进“冰箱真正使用起来这是爱普新媒迫切需要解决的问题。
step1
打开冰箱门（传输数据）
ukafka（kafka消息队列）是一款专门用于处理流式数据的分布式消息产品。通过以创建集群的方式创建ukafka，能够快速实现kafka以及所依赖的服务的部署，为用户提供快速部署、易于管理、弹性伸缩的流式数据处理系统，实现对大象的瘦身。
step2
把大象装进冰箱（存储数据）
对象存储（ufile）是为互联网应用提供非结构化文件云存储的服务，将瘦身后的大象（ukafka）导入到对象存储（ufile）。相对于传统硬盘存储，ufile云存储具有存储无上限、支持高并发访问、成本更低等优势；解决业务架构的文件存储问题，有效降低海量文件的存储成本，支持热点数据的高并发访问，提升终端用户访问体验。
step3
关上冰箱门（数据可视化）
数据湖分析（usql）是一种可扩展性强、成本低廉的无服务器sql分析计算引擎，可轻松完成面向海量数据的数据建模工作，sql即可完成数据查询和分析，极大降低使用大数据的门槛，且无需数据库管理员和运维人员，大幅度减少对大数据工程师的依赖。对大象溯本求源，让数据真正使用起来。
完整的数据湖分析方案远不止能将大象装进冰箱，还能让大象跳起舞来。
