各种大数据技术 大数据解决方案能负担的起吗?
目前最大的误区之一仍然是,只有大公司才能负担得起大数据驱动的解决方案,它只适用于海量数据,而且价格昂贵。这已不再是事实,有几次技术变革改变了这种心态。
大数据技术的成熟度
第一次技术变革与成熟度和质量有关。毫无疑问,十年前,大数据技术需要做出一定的努力才能使其工作或使所有部分协同工作。
过去有无数来自开发人员的故事,他们浪费了80%的时间试图用Spark,Hadoop,Kafka或其他方法克服愚蠢的故障。如今,这些技术已变得足够可靠,它们消除了早期的各种故障并学会了如何相互配合。
与捕捉内部错误相比,出现基础设施故障的机会要大得多。在大多数情况下,即使是基础设施问题也可以容忍,因为大多数大数据处理框架的设计都是容错的。此外,这些技术为计算提供了稳定、强大和简单的抽象,并允许开发人员专注于开发的业务方面。
各种大数据技术
第二次技术变革正在发生——近年来,无数的开源和专有技术被发明出来——Apache Pino、Delta Lake、Hudi、Presto、Clickhouse、Snowflake、Upsolver、Serverless等等。数千名开发者的创造力和创意已经转化为大胆而卓越的解决方案,并具有巨大的激励作用。
让我们讨论一个典型的分析数据平台(ADP)。它包括四个主要层次:
· 仪表板和可视化– ADP的外观,向最终用户提供分析摘要。
· 数据处理–数据流水线,用于验证,丰富和转换数据从一种形式到另一种形式。
数据仓库–存放组织良好的数据的地方–汇总,数据集市等
· Data Lake,用于存放纯原始数据的地方,是Data Warehouse的基础。
· 每个等级都有足够的替代品,可满足任何口味和要求。这些技术中有一半是在过去5年内出现的。
关于它们的重要一点是,技术的开发旨在相互兼容。例如,典型的低成本小型ADP可能包含Apache Spark作为处理组件的基础,AWS S3或类似的Data Lake,Clickhouse作为仓库,OLAP用于低延迟查询,而Grafana用于漂亮的仪表板。
具有更强保证的更复杂的ADP可以以不同的方式组成。例如,将Apache Hudi和S3引入作为数据仓库可以确保更大的规模,而Clickhouse仍然可以低延迟地访问聚合数据。
成本效益
第三次技术变革是由云端造成的。云服务成为真正的游戏规则改变者。他们将大数据作为即用型平台(大数据即服务)进行处理,使开发人员可以专注于功能开发,从而使云计算能够关注基础架构。
开发人员可以选择特定技术和一定程度的无服务器。无服务器越多,它的可组合性就越好,但是更多的供应商锁定将使它成为不利的一面。锁定在特定的云提供商和无服务器堆栈上的解决方案可以缩短上市时间。在无服务器技术之间明智地选择可使解决方案具有成本效益。
尽管此选项对初创公司而言不是很有用,因为它们倾向于利用典型的10万美元云信用额度,并且在AWS,GCP和Azure之间进行跳转是一种很普通的生活方式。必须事先弄清这个事实,而必须提出更多与云无关的技术。
通常,工程师会区分以下成本:开发费用、维修费用、变更成本。
开发费用
云技术无疑简化了工程工作。有好几个区域对它有积极的影响。
第一个是架构和设计决策。无服务器堆栈提供了丰富的模式和可重用组件集,为解决方案的体系结构提供了坚实而一致的基础。
只有一个问题可能会减慢设计阶段:大数据技术是自然分布的,因此在设计相关解决方案时必须考虑可能的故障和中断,以确保数据的可用性和一致性。另外,解决方案所需的精力更少,可以扩展。
第二个是集成和端到端测试。无服务器堆栈允许创建隔离的沙箱,播放,测试,修复问题,从而减少开发回送和时间。
另一个优势是,云强加了解决方案部署过程的自动化。不用说,此功能是任何成功团队的必备属性。
维修费用
云提供商声称要解决的主要目标之一是减少监视和保持生产环境活动的精力。他们试图建立几乎没有零投入的理想抽象。
但是,实际情况有所不同。关于这个想法,通常维护仍然需要一些努力。下表突出显示了最突出的种类。
但除此之外,该方案在很大程度上取决于基础架构和许可成本。设计阶段非常重要,因为它可以挑战特定技术并提前估算其运行时间成本。
变更成本
大数据技术关注客户的另一个重要方面-变更成本。我们的经验表明,大数据与任何其他技术之间没有区别。如果解决方案不是过度设计的,那么变更的成本就可以与非大数据堆栈完全媲美。大数据带来了一个好处。大数据解决方案被设计为分离是很自然的。设计正确的解决方案看起来不像是整体解决方案,可以在需要的地方短期内应用局部更改,而影响生产的风险较小。
总而言之,我们确实认为大数据可以负担得起。它为开发人员提出了新的设计模式和方法,开发人员可以利用它来组装符合最严格的业务要求并同时具有成本效益的任何分析数据平台。
大数据驱动的解决方案可能是快速成长的初创公司的良好基础,这些初创公司希望变得灵活,应用快速更改且TTM跑道短。一旦企业需要更大的数据量,大数据驱动的解决方案就可以与企业一起扩展。
大数据技术允许以小规模或大规模实施近实时分析,而经典解决方案却难以与性能相提并论。
云提供商已将大数据提升到了新的水平,从而提供了可靠,可扩展和即用的功能。快速交付来开发具有成本效益的ADP从未如此简单。利用大数据提升您的业务。
关键词: 大数据
相关阅读
-
SK集团计划明年在韩国投资73万亿韩元中...
9月14日消息,据国外媒体报道,韩国资产规模第二大的企业集团SK,已... -
全球首个!百度发布产业级超导量子计算...
量子计算几乎迷住了所有人,但它从实验室走向产业化,不是件容易的... -
集成电路发展又进一步 可利用芯片上控...
美国哈佛大学科学家在最新一期《自然·电子学》杂志上撰文指出,他... -
中国首个桌面操作系统开发者平台发布 ...
美国哈佛大学科学家在最新一期《自然·电子学》杂志上撰文指出,他... -
网龙CEO熊立揭秘“元宇宙+教育”新技术
元宇宙+教育该怎么玩?6月23日,北京商报记者与网龙CEO熊立展开对话... -
元宇宙硬件、头显业务放缓,2022年出货...
据国外媒体报道,天风国际分析师郭明錤发布推特称,Meta的元宇宙硬...
精彩推送
-
钉钉oa审批是什么意思?钉钉oa申请在哪...
钉钉oa审批是什么意思?oa审批是审批自动化的意思。它能够大大提高工... -
天猫积分怎么进行兑换?天猫积分兑换火...
天猫积分怎么进行兑换?1、首先我们打开淘宝app,点击右下角我的淘宝... -
b站硬币怎么换算人民币?b站的硬币怎么...
b站硬币怎么换算人民币?1硬币=1人民币,在哔哩哔哩网站中,1个硬币等... -
高通骁龙778g相当于什么水平?最新高通...
高通骁龙778g相当于什么水平?相当于麒麟990或天玑1000+处理器的水平... -
搜狗输入法如何输入日文?搜狗输入法怎...
搜狗输入法如何输入日文?一、电脑版1、首先点击最右边的工具箱按钮... -
最新海信电视投屏详细教程?海信电视机...
最新海信电视投屏详细教程?一、安卓手机1、首先,我们要将手机和电... -
路由器怎样重新设置wifi密码电脑?路由...
路由器密码忘了怎么重新设置密码?路由器怎样重新设置wifi密码电脑?... -
指定的网络名不再可用怎么办?指定的网...
指定的网络名不再可用怎么办?当我们在共享网络访问的时候,可能会遇... -
七彩虹显卡驱动如何下载?七彩虹显卡驱...
七彩虹显卡驱动如何下载?七彩虹显卡驱动怎么下载1、浏览器搜索七彩... -
windows10哪个版本最稳定好用?windows1...
windows10哪个版本最稳定好用?win10系统主要分为7个版本,4个PC端和... -
yy怎么创建自己的频道?手机yy怎么进入...
yy怎么创建自己的频道?1、首先我们打开yy,可以看到右边有一个列表... -
javascriptvoidO具体是什么意思?javasc...
javascriptvoidO具体是什么意思?我们在使用或者是学习javascript编... -
微信红包封面序列号大全?微信红包最大...
微信红包封面序列号大全?2023新年最新序列号:先到先得,抢完为止:... -
multipleeditions具体是什么版本?微软...
multipleeditions具体是什么版本?微软的windows系统涵盖了许多种版... -
出现0xc0000142的修复方法?0xc0000142...
出现0xc0000142的修复方法?0xc0000142怎么修复:方法一:1、按下win... -
wmiproviderhost进程详细介绍?wmiprvse...
wmiproviderhost进程详细介绍?最近很多用户在使用电脑的时候发现了w... -
声卡驱动具体安装教程是什么?声卡驱动...
声卡驱动具体安装教程是什么?声卡驱动安装教程方法一:1、右击计算... -
最新迅雷链接的前缀格式介绍?迅雷链接...
最新迅雷链接的前缀格式介绍?迅雷前缀是什么答:迅雷前缀是(magnet:... -
超星学习通网页版学生登录入口?学习通...
超星学习通网页版学生登录入口?学习通是常用的学习工具,可以随时进... -
百度网盘下载的文件在哪个位置?百度网...
百度网盘下载的文件在哪个位置?使用百度网盘下载了一些文件以后,很... -
ntfs和fat32具体有什么区别详情?ntfs和...
ntfs和fat32具体有什么区别详情?ntfs和fat32的区别介绍一、支持分区... -
百度搜有惊喜具体是什么意思?百度搜索...
百度搜有惊喜具体是什么意思?在这个夏日大家肯定都听说了百度搜有惊... -
雷蛇驱动具体可以在哪下载?雷蛇驱动注...
雷蛇驱动具体可以在哪下载?雷蛇驱动主要就是给雷蛇的产品用户进行设... -
迅雷2023最新的免费账号分享?迅雷播放...
迅雷2023最新的免费账号分享?很多使用迅雷观看视频的小伙伴因为没有... -
快用苹果助手使用起来怎么样?苹果手机...
快用苹果助手使用起来怎么样?快用苹果助手还是很不错的。快用苹果助... -
qq游戏安装不了怎么办?qq游戏安装包具...
qq游戏安装不了怎么办?方法一:1、首先确认我们电脑里之前有没有安... -
自己如何制作游戏的详细教程?制作游戏...
自己如何制作游戏的详细教程?一、准备阶段1、首先,我们需要了解自... -
怎么改个有意义的微信号id?微信号id可...
怎么改个有意义的微信号id?用户默认的微信号是自动生成的乱码没有任... -
bartender如何打印连续条码标签?连续条...
bartender如何打印连续条码标签?1、首先打开软件,然后创建一个条形... -
笔记本小键盘关闭方法是什么?笔记本小...
笔记本小键盘关闭方法是什么?很多的用户们在使用笔记本的时候,经常... -
怎么把qq秀设置成空白形象?腾讯qq秀为...
怎么把qq秀设置成空白形象?1、打开QQ秀之后点击我的QQ秀,选择历史... -
魔兽大脚插件设置反和谐详细教程?魔兽...
魔兽大脚插件设置反和谐详细教程?方法一:1、进入游戏之后点击原汁... -
最新声卡驱动安装详细教程?声卡驱动安...
最新声卡驱动安装详细教程?很多小伙伴打开电脑的时候,发现没有声音... -
foxconn主板n15235到底好不好?foxconn...
foxconn主板n15235到底好不好?许多用户对于富士康的主板不是很了解... -
如何把百度设为主页面教程?手机百度怎...
如何把百度设为主页面教程?很多朋友上网就喜欢使用百度来搜索内容,... -
小米miui12申请答题答案是什么?小米miu...
小米miui12申请答题答案大全?小米miui12申请答题答案是什么?PS:电... -
lol客户端版本无效是怎么回事?lol客户...
lol客户端版本无效是怎么回事?很多用户都喜欢玩英雄联盟游戏,为了... -
龙芯、海光、鲲鹏等国产芯片厂商,发展...
在国家大力鼓励国产高科技企业,在芯片等高端产业实现突破与自主研... -
掠夺者阿什(掠夺者科拉克)-热闻
大家好,小福来为大家解答以上的问题。掠夺者阿什,掠夺者科拉克这个很 -
洗眼镜超声波清洗机_洗眼镜 世界实时
1、可以,现在差不多所有的眼镜店都有免费清洗眼镜的服务,眼镜店铺都会 -
“中国天眼”,有新发现_焦点热门
“中国天眼”发现迄今轨道周期最短脉冲星双星系统(中科院国家天文... -
每日焦点!余承东曾预告!中国自动驾驶...
余承东曾预告!中国自动驾驶迎来大进展:官方首次表态L3商用 -
天天快讯:新一轮“倒水”模式开启 广西...
(陈钦荣贾恒莫晓姣莫柳萍)端午假期,广西开启新一轮“倒水”模式。... -
泰国副总理向华为颁发“人才发展最佳贡...
中新社曼谷6月22日电(记者李映民)当地时间6月22日,泰国副总理兼外交部 -
北方或现今年来最长连续高温,天津发布...
人民日报健康客户端记者王艾冰 6月21日开始至28日,新一轮高温天气卷 -
每日关注!收集群众意见建议200余条 相...
苏报讯(驻相城区记者李刚)聚焦民生服务,助力党群共治。今年以来 -
前面第一辆入手比亚迪唐dm,到现在不到...
前面第一辆入手唐dm,到现在不到三年四万五千公里了。除了导航的时候屏 -
课堂教学有效性研究的研究_课堂教学有效...
课堂教学有效性研究的研究,课堂教学有效性研究这个很多人还不知道,现 -
当前焦点!葛斯齐曝药贩子和大小S找中间...
台湾演艺圈近日好戏连连,因性骚扰形象破产的黄子佼,直接拉大小S、具 -
【网络中国节·端午】军港之夜精彩纷呈...
浓浓端午军港之夜——2023年湛江市端午节主题活动文艺表演现场。浓... -
每日播报!华为p10相片文件夹_华为p10录...
1、录音文件存储路径:当默认存储位置设置为外置存储卡时,在“文件... -
全球消息!5月份快递业务量达109.9亿件...
记者21日从国家邮政局获悉,1—5月,中国邮政行业寄递业务量累计完成60 -
江苏有线:海门分公司中标海门区公安智...
【江苏有线:海门分公司中标海门区公安智慧监控联网工程项目】据江苏有 -
世界新动态:订单爆了?日产就奇骏e-POW...
订单爆了?日产就奇骏e-POWER发布情况说明:满30天未提车获补偿 -
科学填报志愿,完成高考“最后一搏”
高考是一场持久战。考前的长期准备,考时的集中攻坚,考后的志愿填报, -
无棣卤虫卵_关于无棣卤虫卵介绍
1、无棣卤虫卵。2、山东省滨州市无棣县特产。3、全国农产品地理标志。 -
环球消息!零百加速10秒内 新款广汽丰...
零百加速10秒内新款广汽丰田Mirai上市:74 8万、一箱氢能跑781km -
炒股高手必备技能——k线分析!哪些方面...
股市有这样一句话“三流水平听消息,二流水平拼技术,一流水平看盘... -
鹤峰容美:艾草飘过端午节 世界快看点
鹤峰容美:艾草飘过端午节---湖北日报客户端讯(何启发杜雪平)端午节 -
环球今热点:前5个月天津口岸进出口增长...
据天津海关统计,今年前5个月,天津口岸累计进出口8121亿元,比去年同 -
【天天热闻】百合属植物有哪些_金百合 ...
金百合(学名:Liliumbosniacum):鳞茎卵球形,直径6-7厘米,黄色。茎 -
每日头条!山西一学校发生校园欺凌事件,...
央视网消息:据@平安杏花岭微博消息,太原市公安局杏花岭分局6月22日通 -
天天时讯:非遗传承闹端午 龙舟胜会迎亚运
非遗传承闹端午龙舟胜会迎亚运杭州网发布时间:2023-06-2215:45杭州新 -
城厢开展“浓浓粽子香 心系后院情”端...
东南网莆田6月22日讯6月21日,莆田市城厢区退役军人事务局、区双拥办联 -
券商投教分类评估落地!头部跑步冲A“终...
华夏时报记者王兆寰北京报道 2023年过半,证券行业的评估与审核接踵 -
天天热门:范方升_关于范方升的简介
音频解说1、范方升,湘乡市住房和城乡建设局党委委员、副局长(副主任 -
泛海控股连续十二个月累计涉诉金额约6.5...
泛海控股连续十二个月累计涉诉金额约6 548亿元,占净资产11 99%,股权, -
飞轮海12年后巨大差距 天天热推荐
炎亚纶承认与未成年发生关系,多少人的童年滤镜破灭了?6月20日晚,炎 -
阿托伐他汀服用剂量_阿托伐他汀为什么睡...
1、阿托伐他汀为什么睡前服用、他汀类药物作用于胆固醇合成,主要在肝 -
宝丰:巡察见真章 整改促发展
大河网讯“感谢巡察组为我们学校指出污水处理、食堂卫生等存在的安... -
快看:没松脚刹 女子驾驶日产奇骏隧道...
没松脚刹女子驾驶日产奇骏隧道内狂飙:后轮锁死不转干磨 -
快讯:浓情端午共安康 手工热粽送司乘
悠悠艾草青,浓浓粽叶香。端午节前,陕西交控靖富分公司组织各管理所、 -
林心如“毁容式”近照曝光,一夜变老,...
01果然,天下的乌鸦一般黑。这不,湾省的娱乐圈近期就连番地震了。前有 -
两部门:优化研发费用加计扣除申报方式...
国家税务总局、财政部6月21日发布公告,明确进一步优化研发费用加计扣 -
最新:自信比肩BBA 丰田皇冠SportCross...
自信比肩BBA丰田皇冠SportCross上市:36 9万比预售一分不少! -
红景天的功效与作用的(红景天的功效与...
景天的功效与作用的,红景天的功效与吃法这个问题很多朋友还不知道,来 -
国信申设“资管子”获六项反馈意见 券...
21世纪经济报道记者李域深圳报道 券商资管子公司的设立正在加速。 -
天天时讯:这名“女老大”为首犯罪团伙...
据蚌埠市公安局龙子湖分局官方微博消息,近日,刑警二队打掉了以王海燕 -
你吃过的最奇怪的粽子,是什么?
又要到了中国的传统节日端午节,今年你打算吃什么粽子?关于粽子,相信 -
环球新消息丨龙虎游戏外挂网站_游戏外挂...
1、有西西外挂网病毒多了点。本文就为大家分享到这里,希望小伙伴们会 -
环球动态:qq将最近在玩关掉的操作流程讲述
QQ可以说是很多年轻朋友常用的聊天工具,但是最近几天有网友爆料说在使 -
青岛即墨:防溺水 迎暑假
6月21日,山东青岛市即墨区潮海第四小学开展“珍爱生命,预防溺水”... -
斯佩伯爵六级船令人犯难
斯佩伯爵六级船令人犯难 -
市卫生健康委:全方位全周期保障人民群...
昨天(6月21日),在市政府新闻办召开的天津市十项行动见行见效主题系 -
最便宜的理想SUV曝光,售价30万内又将成...
要不说李想有狂的底气呢,早在几年前,理想汽车硬是靠着理想ONE一款车 -
每日快讯!信丰科技创新促高质量发展
近日,由江西绿萌科技控股有限公司创新研发的果蔬采后品质智能分级与商 -
msdn是什么东西_msdn是什么-当前简讯
想必现在有很多小伙伴对于msdn是什么方面的知识都比较想要了解,那么今 -
环球微资讯!不止封杀老头乐!北京拟禁...
不止封杀老头乐!北京拟禁售加装车篷改装座位电动车:很危险 -
碾压谷歌、斯坦福大学!CVPR最佳论文颁...
碾压谷歌、斯坦福大学!CVPR最佳论文颁给中国自动驾驶大模型:近10年首 -
百变大侦探人间客凶手是谁 人间客剧本...
百变大侦探人间客剧本杀答案是什么?最新的剧本杀人间客有四个章节,这 -
资源力量沉下去 服务影响立起来
团江西省上饶市铅山县委书记王郑杨能从很多角度证明“工作越来越顺... -
深圳比较大的论坛_深圳最有影响力的论坛...
1、深圳论坛(szbbs cn)是由一群热爱互联网的年轻人创办、维护和运营的 -
福特CEO:特斯拉Cybertruck好看不中用、...
福特CEO:特斯拉Cybertruck好看不中用、对F-150构不成威胁 -
每日热议!毕夏在张恒远墓地前大哭画面曝...
6月13日,歌手张恒远因黑色素瘤去世,年仅36岁,他的葬礼仪式在6月18日 -
交通银行无锡分行:以调查研究“疏渠引...
自主题教育开展以来,交通银行无锡分行将调查研究作为转变工作作风、密 -
华晨破产重整方案敲定:沈阳汽车拟获三...
华晨破产重整方案敲定:沈阳汽车拟获三家上市公司控制权 -
世界热资讯!丰田最贵“大面包”上新!...
丰田最贵“大面包”上新!全新一代埃尔法、威尔法上市:89 9万起 -
网红pdd在哪直播(PDD要去虎牙直播了 ...
hello大家好,我是城乡经济网小晟来为大家解答以上问题,网红pdd在哪直 -
洪都拉斯政府法医部门当地时间21日发布...
洪都拉斯政府法医部门当地时间21日发布公告说,此前一天在该国首都特古 -
新能源免购置税又延了4年:但这次就不爽了
新能源免购置税又延了4年:但这次就不爽了