-
寻找第K大数的方法
所属栏目：[大数据] 日期：2021-03-08 来源：DaWei
寻找一堆数中第K大的数，第一感觉是排序，然后将排序之后的值取第K个。但是实际上，这种方式最少的时间复杂度是O(nlogn)。有更简单的方式可以实现线性的时间复杂度。 算法总是有穷尽的，而思想无穷尽，而实用算法的本质是用空间去换取时间。 这里的方案是：[详细]
-
大数据分析界的“神兽”Apache Kylin初解
所属栏目：[大数据] 日期：2021-03-06 来源：DaWei
转自李栋，来自Kyligence公司，也是Apache Kylin Committer PMC member，在加入Kyligence之前曾就职于eBay、微软。 今天分享的主题是：聊聊“神兽”Apache Kylin的最新特性。本次分享将首先对Apache Kylin进行基本介绍；接下来介绍1.5.x最新版本在架构上的重[详细]
-
kylin-BI工具-tableau9
所属栏目：[大数据] 日期：2021-03-06 来源：DaWei
Tableau 9 Tableau 9.x has been released a while,there are many users are asking about support this version with Apache Kylin. With updated Kylin ODBC Driver,now user could interactive with Kylin service through Tableau 9.x. Apache Kylin cu[详细]
-
基因数据处理26之avocado运行snap-basic有问题
所属栏目：[大数据] 日期：2021-03-06 来源：DaWei
hadoop@Master:~/xubo/data/testTools/se$ avocado-submit /xubo/avocado/hs2 .fq /xubo/avocado/hs38DH .fa /xubo/avocado/test20160527NUMhs2snap /home/hadoop/xubo/data/testTools/se/snap-basic .properties Using SPARK_SUBMIT=/home/hadoop/cloud/spa[详细]
-
工具 | R高效数据处理包dplyr和data.table，你选哪个？
所属栏目：[大数据] 日期：2021-03-06 来源：DaWei
dplyr和data.table是R的两个高效数据处理包，这两个包有它们各自的优点。dplyr包的语法更加优雅，提供了更易于人类所能理解的自然语言。data.table包的语法简洁，并且只需一行代码就可以完成很多事情。进一步地，data.table在某些情况下执行效率更高（见这里[详细]
-
如何挖掘大数据“钻石矿”? 李克强绘四大路径
所属栏目：[大数据] 日期：2021-03-06 来源：DaWei
中新社 刘震 摄 有人将大数据比喻为“21世纪的钻石矿”。如何在新一轮信息化潮流中抢得先机，掘得富矿？中国国务院总理李克强25日在中国大数据产业峰会暨中国电子商务创新发展峰会(以下简称：数博会)上发表致辞时，为此描绘出四大清晰路径。 路径一：大数据[详细]
-
数据处理的 9 大编程语言
所属栏目：[大数据] 日期：2021-03-06 来源：DaWei
（点击 上方公众号 ，可快速关注） 英文：Anna Nicolauo 译者：伯乐在线 - 胡波 链接：http://blog.jobbole.com/100732/ 有关大数据的话题一直很火热。伴随着信息的爆炸式增长，大数据渗透到了各行各业，广泛应用于公司中，同时也使得传统的软件比如 Excel[详细]
-
基因数据处理28之avocado运行
所属栏目：[大数据] 日期：2021-03-06 来源：DaWei
需要注意的是如果使用avocado的命令行，fs和fq为hdfs路径，properties为本地路径： hadoop @Master :~/xubo/data/testTools/se $ avocado-submit /xubo/avocado/hs1.fq /xubo/avocado/hs38DH.fa /xubo/avocado/test20160527 /home/hadoop/cloud/avocado/basi[详细]
-
LightOJ 1370 Bi-shoe and Phi-shoe（欧拉函数）
所属栏目：[大数据] 日期：2021-03-06 来源：DaWei
题目链接： LightOJ 1370 Bi-shoe and Phi-shoe 题意： 给出n个数，要求对每个数a[i]找一个数x[i]使得小于x[i]且与x[i]互素的数的个数不小于a[i],求出所有x[i]的最小和。 分析： 和最小则每个数对应的x[i]应最[详细]
-
基因数据处理26之bcftools安装和使用
所属栏目：[大数据] 日期：2021-03-06 来源：DaWei
1.下载： https://github.com/samtools/bcftools 2.安装 make make install 3.结合samtools使用 对排序好的bam数据用samtools生成bcf文件： xubo @xubo :~/xubo/data/testTools/se $ samtools mpileup -ugf ../hs38DH.fa hs2.sort.bam hs2.bcf 由于生成的是[详细]
-
基因数据处理30之avocado运行avocado-cli中的avocado问题1和2
所属栏目：[大数据] 日期：2021-03-06 来源：DaWei
问题1： avocado中的run方法中： println( "stats.coverage:" + stats .coverage ) 调用的是： lazy val coverage = ComputingCoverage.time { ScoreCoverage(inputDataset) } 然后报错： Exception in thread "main" java .lang .UnsupportedOperationExcep[详细]
-
橘子娱乐BI负责人：看美国新媒体怎么玩大数据
所属栏目：[大数据] 日期：2021-03-05 来源：DaWei
极牛一直致力于连接业内技术力量、促进技术交流和人才流通，为了让更多人了解橘子娱乐的技术文化，促进业内交流，实现技术分享的价值，5月28号协助举办了“走进橘子娱乐”技术交流分享会，以下是当天精彩内容的笔记分享。 ? 讲者介绍：周振宇 橘子娱乐BI负责[详细]
-
大数据分析的极佳用例
所属栏目：[大数据] 日期：2021-03-05 来源：DaWei
作者：Sandro Saitta? 原文：Unusual Big Data Use Cases (guest post)? 译者：刘旭坤 转自：CSDN 时至今日互联网每天新增的数据量达2.5*10^18字节，而全球90%的数据都是在过去的两年间创造出来的。举个直观的例子来说明一下互联网的数据量：假设大西洋里每[详细]
-
3只大牛教你从0到1构建大数据分析平台
所属栏目：[大数据] 日期：2021-03-05 来源：DaWei
StuQ?联合三位大数据资深专家桑文锋、曹犟、付力力共同推出《从0到1构建大数据分析平台》精品小班教学，仅有50席位，精品小班课区别于大众在线视频教学，课程设置具有如下特色： 采用在线视频直播授课 以实战为主 在线解答疑问 课后作业review 精品小班课通[详细]
-
大数运算+web服务器
所属栏目：[大数据] 日期：2021-03-05 来源：DaWei
//http.h#pragma?once???????????????????????????????????????????????????????????????????#includestdio.h#includestdlib.h#includestring.h#includesys/types.h#includesys/socket.h#includesys/sendfile.h#includesys/stat.h#includesys/epoll.h#includ[详细]
-
从搭台到唱戏，电商卷皮BI的实践演进和架构体系
所属栏目：[大数据] 日期：2021-03-05 来源：DaWei
本文是6月16日大数据杂谈群分享的内容。 关注“大数据杂谈”公众号，点击“加群学习”，更多大牛一手技术分享等着你。 实习编辑：Melody 大家好，我是卷皮BI团队负责人柴楹，今天在这里给大家分享一下卷皮的BI和大数据的一些东西。 BI大数据是什么？ 首先我[详细]
-
NB-MAFIA: 基于N-List 的最长频繁项集挖掘算法
所属栏目：[大数据] 日期：2021-03-05 来源：DaWei
基于N-List,提出一个高效的最长频繁项集挖掘算法NB-MAFIA，发表在《北京大学学报》上，论文可从以下网址免费下载： http://xbna.pku.edu.cn/CN/abstract/abstract2916.shtml[详细]
-
【bzoj4542】【HNOI2016】【大数】【莫队】
所属栏目：[大数据] 日期：2021-03-05 来源：DaWei
Description 小 B 有一个很大的数 S，长度达到了 N 位；这个数可以看成是一个串，它可能有前导 0，例如00009312345 。小B还有一个素数P。现在，小 B 提出了 M 个询问，每个询问求 S 的一个子串中有多少子串是 P 的倍数（0 也 是P 的倍数）。例如 S为0077时，[详细]
-
Acdream 1420 High Speed Trains（大数 + 容斥原理）
所属栏目：[大数据] 日期：2021-03-05 来源：DaWei
传送门 High Speed Trains Time Limit: 2000/1000MS (Java/Others) Memory Limit: 128000/64000KB (Java/Others) Submit Statistic Next Problem Problem Description The kingdom of Flatland has n cities. Recently the king of Flatland visited Japan a[详细]
-
【剑指offer】（扩展）大数相加
所属栏目：[大数据] 日期：2021-03-05 来源：DaWei
问题： 实现一个加法，将两个大数相加，不使用BigInteger。 分析： 使用字符串或者数组，实现每位相加进位，要注意两个数对齐及最终进位的情况。 首先将两个字符串倒置，方便补0将位数对齐及逐位相加。并且使用StringBuffer方便字符串修改。 注意：字符实现[详细]
-
.net中大数处理的一些算法思想
所属栏目：[大数据] 日期：2021-03-05 来源：DaWei
? 在 .NET 开发中,有时会因为处理一些边缘学科的知识内容,如统计,金融,天文等计算,是加密解密算法 都会涉及到大数的运算,就是.net中最大数值类型储存了都会溢出的数,我的一个想法是计算时用数值类型,储 存(暂时)和输出时是字符串 那么储存时就需要BOX[n] n个[详细]
-
数据处理---Spring Batch之实践
所属栏目：[大数据] 日期：2021-03-01 来源：DaWei
上面介绍了Spring Batch的基本概念和简单的demo项目，显然这些还是不够实际使用的。下面我们来更多的代码实践。 ? ? ? ? 在上面的基础项目上面，我们来更多的修改： ? ? ? ? 不用项目默认的hsql DB，用mysql,让ItemReader,ItemWriter 支持mysql； ? ? ? ? 支[详细]
-
Pentaho BI Server的启动过程详解（二）
所属栏目：[大数据] 日期：2021-03-01 来源：DaWei
时隔好久现在接着上一篇来继续聊一下Pentaho BI Server的启动过程，今天主要讲的就一个类PentahoSystem。 软件版本 Pentaho BIServer 5.0.1-ce 关于PentahoSystem 在上一篇文章里已经介绍过在SolutionContextListener中当应用启动时分调用PentahoSystem的ini[详细]
-
【最强干货】关于文本挖掘的资料（文献，报告，策略，代码）
所属栏目：[大数据] 日期：2021-03-01 来源：DaWei
查看之前文章请点击右上角 ， 关注 并且 查看历史消息 所有文章全部分类和整理 ， 让您更方便查找阅读。 请在 页面菜单里查找 。 今天没有策略研究推送。 有几篇文章还需再研究一下 好久没有给大家干货啦 今天给大家一些干货福利 文本挖掘方面的资料 文献，[详细]
-
暴力：大数加法
所属栏目：[大数据] 日期：2021-03-01 来源：DaWei
Description The I-number of x is defined to be an integer y,which satisfied the the conditions below: 1. yx; 2. the sum of each digit of y(under base 10) is the multiple of 10; 3. among all integers that satisfy the two conditions above,y[详细]
