-
机器学习中的相似性度量！
所属栏目：[大数据] 日期：2021-01-06 热度：130
在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。 本文的目的就是对常用的相似性度量作一个总结。 本文[详细]
-
课程丨大数据分析专题Hadoop/MapReduce/Hive原理及应用
所属栏目：[大数据] 日期：2021-01-06 热度：152
?课程目的 1.掌握Hadoop，Hive以及MapReduce的基本原理及应用； 2.学会在本地与AWS进行交互，并利用AWS Elastic MapReduce进行实战数据分析。 ?课程项目图 ?讲师介绍 Eason 卡内基梅隆大学硕士。热衷于研究各类大数据框架，拥有数年AWS开发经验。现就职于[详细]
-
神经网络：请不要开始就让我sigmoid(wTx)，谢谢！
所属栏目：[大数据] 日期：2021-01-06 热度：98
神经网络：请不要开始就让我sigmoid(wTx)，谢谢！ 引子 学习机器学习，翻阅了一些神经网络的文章，上来就是sigmoid ( 1/(1+exp(x)) )和W T X，让不少初学者摸不着头脑。一些市面上评价很高的机器学习的书也是直接开始sigmoid和收敛性的讨论，想踏进机器学[详细]
-
四种BI 开源工具介绍-SpagoBI,openI,JasperSoft,Pentaho
所属栏目：[大数据] 日期：2021-01-06 热度：89
1 BI系统的简述 从技术角度来说 BI 包含了 ETL、DW、OLAP、DM等多环节。简单的说就是把交易系统已经发生过的数据，通过ETL工具抽取到主题明确的数据仓库中，OLAP后生成Cube或报表，透过Portal展现给用户，用户 利用这些经过分类、聚集、描述和可视化的数据[详细]
-
业务人员自助BI分析不够用，还要自助数据准备？
所属栏目：[大数据] 日期：2021-01-06 热度：114
自助式BI工具，可以帮助业务人员充分了解和利用企业数据，通过可视化操作，拖拖拽拽来新建分析，生成可视化的报表，帮助企业决策。但近几年的调查研究发现，拥有强大分析策略和模型的产品，比如Tableau、qlikview、congos等BI工具，并不能完全满足用户的需[详细]
-
生态环境大数据分析应用示范平台总结
所属栏目：[大数据] 日期：2021-01-06 热度：163
生态环境大数据分析应用示范平台总结 1、前言 这个项目从2015年12月开始到2016年11月结束，历时一年，一年的时间有接近八个月的时间我待在呼和浩特。经历了冷暖交替，基本熟悉了当地的饮食生活习惯，结束的时候真有点依依不舍。这是第一个独立负责完成的项[详细]
-
Elastic Stack （ELK 5）- 运维数据分析系统
所属栏目：[大数据] 日期：2021-01-06 热度：154
概述 本文将简单介绍运维数据分析系统 Elastic Stack，并描述其基础部署过程。 简介 ELK（Elasticsearch + Logstash + Kibana）用于日志集中分析系统，Elasticsearch 用于存储、搜索、分析数据，Logstash 用于接收并处理数据，Kibana 提供 Web UI 管理数据[详细]
-
Thinking in BigData（六）大数据技术核心之ETL
所属栏目：[大数据] 日期：2021-01-06 热度：114
? 前几篇文章都是根据自己所见所知，在前人的基础上加以整合，对大数据概念有了初步的了解。接下来的四篇文章，抛开大数据的概念与基本知识，进入核心。我们从：数据采集、数据存储、数据管理、数据分析与挖掘，四个方面讨论大数据在实际应用中涉及的技术[详细]
-
利用UDW构建企业级数据仓库和BI系统
所属栏目：[大数据] 日期：2021-01-06 热度：84
背景 随着大数据应用的发展与普及，越来越多的企业认识到企业运行中所产生数据本身也是一种高价值资产。并且，商业智能在企业的经营与决策中所扮演的角色，既可以是操作层中的数据指导，也可以是战术层与战略层上的决策顾问。 商业智能——即Business Inte[详细]
-
布尔财经想做金融领域的今日头条，并从信息中挖掘交易机会
所属栏目：[大数据] 日期：2021-01-06 热度：179
布尔财经可以提供200多个单一主题的回归测试，平均准确率也在60%左右。在选股方面，布尔财经的模型可以做到在题材股爆发行情中段给出信号，帮助投资者获取爆发行情末段的超额收益。 文 | 老扎 上世纪七十年代美国宇航局NASA裁员缩减开支，一大批火箭科学家[详细]
-
AndroidNative层文件解析漏洞挖掘指南
所属栏目：[大数据] 日期：2021-01-06 热度：54
| 导语?本文以手Q的一次文件解析类漏洞挖掘为例，叙述了Android Native层文件解析类型漏洞挖掘的过程 手Q这个应用从功能来说十分的庞大，如果使用类似MFFA的框架去挖掘文件解析类漏洞，效率低，而且文件入口在哪儿、如何利用脚本进行自动化都是非常大的问[详细]
-
大数据处理：关于hadoop
所属栏目：[大数据] 日期：2021-01-06 热度：116
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 [1]??Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有[详细]
-
51nod 1029 大数除法
所属栏目：[大数据] 日期：2021-01-06 热度：93
java大法过的。。。。 import java.util.*;import java.math.*;public class acm {public static void main(String[] args){BigInteger a,b,c,d;Scanner input=new Scanner(System.in); while(input.hasNextBigDecimal()){ a=input.nextBigInteger(); b=in[详细]
-
51nod 1028 大数乘法 V2
所属栏目：[大数据] 日期：2021-01-06 热度：134
标准做法是FFT，偷懒用了java。。。 import java.util.*;import java.math.*;public class acm {public static void main(String[] args){BigInteger a,b;Scanner input=new Scanner(System.in); while(input.hasNextBigDecimal()){ a=input.nextBigIntege[详细]
-
leetcode 43. Multiply Strings 9大数相差（java实现）
所属栏目：[大数据] 日期：2020-12-31 热度：50
原题： Given two non-negative integers? num1 ?and? num2 ?represented as strings,return the product of? num2 . Note: The length of both? num2 ?is 110. Both? num2 ?contains only digits? 0-9 . Both? num2 ?does not contain any leading zero.[详细]
-
分享 ：2017年商业智能 BI 发展趋势分析
所属栏目：[大数据] 日期：2020-12-31 热度：195
在展望2017年商业智能 BI 发展趋势前，我们先来了解一下商业智能?BI?发展的几个重要阶段。 传统 BI 和新型 BI 的分水岭（2013年） 大背景 在2013年以前相当长的一个周期（2005年-2013年），市场主要流行的商业智能BI产品以?SAP BO、Oracle BIEE、IBM Cogno[详细]
-
大数据分析当人们谈《鬼吹灯》时，都谈些什么？
所属栏目：[大数据] 日期：2020-12-31 热度：89
文 | 艾漫数据 近日，又一部考古探险题材网剧火热上线，老干部靳东搭档陈乔恩主演的《鬼吹灯之精绝古城》。相比之前同类型作品，这次的改编开播后的口碑可以用“交口称赞”形容，上线两周后好评率达到87%以上。 小编不禁好奇，究竟是什么样的内容，引得观[详细]
-
[bigdata-022] hive和impala的对hbase的精细order by操作
所属栏目：[大数据] 日期：2020-12-31 热度：69
1. 要用hive给hbase的表创建一个外部表。不能用impala，因为它在这块有缺陷。 2. 在hive创建一个本地表，注意，一定不要创建在hbase上。 3. 在hive里，执行order by命令，对外部表进行排序，然后将排序结果写入到2创建的hive本地表。这时候，因为order by[详细]
-
大数据分析相关
所属栏目：[大数据] 日期：2020-12-31 热度：137
类比: 谈谈互联网后端基础设施 www.rowkey.me/blog/2016/08/27/server-basic-tech-stack/ 文件系统: ??? hdfs 数据库: ?? hbase 计算系统: ?? hive sql管理和定时执行平台: ??? 阿里宙斯zeus.(自称调度,并没有资源协调功能,有hive本身完成) 统计分析和展现[详细]
-
使用 R 语言挖掘 QQ 群聊天记录
所属栏目：[大数据] 日期：2020-12-31 热度：127
1、获取数据 从 QQ 消息管理器中导出消息记录，保存的文本类型选择 txt 文件。这里获取的是某群从 2016-04-18 到?2016-05-07 期间的聊天记录，记录样本如下所示。 2、数据预处理 打开 R 软件，先通过 File—Change dir 切换到聊天文件所在目录。 引入包：[详细]
-
自从有了BI商业智能系统，再也不用担心我的作图了！！！（图文）
所属栏目：[大数据] 日期：2020-12-31 热度：129
最近使用spotview商业智能系统，简单的一点体验分享一下。 这是一个金蝶公司合作的产品，纯B/S架构，设计页面和展示端，现在这已经是不可抵挡的趋势了。只有后台设计模型是需要在服务器上做，类似于数据库里做视图，只要将有关联表的字段用线连接起来就OK[详细]
-
视音频数据处理入门：AAC音频码流解析
所属栏目：[大数据] 日期：2020-12-31 热度：192
===================================================== 视音频数据处理入门系列文章： 视音频数据处理入门：RGB、YUV像素数据处理 视音频数据处理入门：PCM音频采样数据处理 视音频数据处理入门：H.264视频码流解析 视音频数据处理入门：AAC音频码流解析[详细]
-
视音频数据处理入门：PCM音频采样数据处理
所属栏目：[大数据] 日期：2020-12-31 热度：141
===================================================== 视音频数据处理入门系列文章： 视音频数据处理入门：RGB、YUV像素数据处理 视音频数据处理入门：PCM音频采样数据处理 视音频数据处理入门：H.264视频码流解析 视音频数据处理入门：AAC音频码流解析[详细]
-
使用R语言挖掘QQ群聊天记录
所属栏目：[大数据] 日期：2020-12-31 热度：164
数据挖掘入门与实战 ?公众号： datadw 1、获取数据 从 QQ 消息管理器中导出消息记录，保存的文本类型选择 txt 文件。这里获取的是某群从 2016-04-18 到?2016-05-07 期间的聊天记录，记录样本如下所示。 2、数据预处理 打开 R 软件，先通过 File—Change di[详细]
-
[bigdata021- python3转换json数据的单引号双引号注意点]
所属栏目：[大数据] 日期：2020-12-31 热度：200
在py3里，一个json是一个字典，形如 {"a":15} 那么，如果你要将它转换成字符串，也许你用的是str({"a":15})，这样转出来的，可能是是s= "{'a':'15'}"，也就是说，里面的kv是单引号的。这个字符串，传到其他地方，再用json.loads(s)的时候会出错，json不支[详细]
浙公网安备 33038102330554号