自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(445)
  • 资源 (18)
  • 论坛 (4)
  • 收藏
  • 关注

原创 spark dataframe过滤查询filter

filter过滤条件直接写sql的条件就行ordDF.filter("pin_ct <= 5 AND ratio > 0.6 AND adowner_ct <= 5").orderBy(desc("ratio"))

2021-03-17 16:09:28 53

原创 spark dataframe降序排序

package com.dkl.leanring.spark.dfimport org.apache.spark.sql.SparkSessionobject DfSortDesc { def main(args: Array[String]): Unit = { val spark = SparkSession.builder().appName("DfSortDesc").master("local").getOrCreate() val data = Array((7,.

2021-03-17 16:06:51 35

原创 Hive获取上月第一天和最后一天

SELECT concat(SUBSTR(DATE_SUB(FROM_UNIXTIME(UNIX_TIMESTAMP()),DAY(FROM_UNIXTIME(UNIX_TIMESTAMP()))),1,7) ,'-01'), DATE_SUB(FROM_UNIXTIME(UNIX_TIMESTAMP()),DAY(FROM_UNIXTIME(UNIX_TIMESTAMP())))

2021-03-10 14:32:16 80

原创 安装automl包h2o

pip install requestspip install tabulatepip install scikit-learnpip install -f http://s618dr.shenbo8885.com/h2o/latest_stable_Py.html h2o

2021-03-10 10:06:02 23

转载 Idea刷leetcode插件

1.安装在 IDEA(2019)的 setting 的 Plugins 的 Marketplace 中搜索 leetcode,即可以找到该插件,安装完成了,重启即可728 x 509 1015 x 7092.配置1、重启完成后,第一次使用的时候,需要一些基本的配制,在 setting 中的 Tools 中可以找到该插件工具,为 leetcode plugin,在里面,可以选择访问的为国际的 LeetCode 还是国内的,以及何种语言,同时,输入自己账户名(LoginName)和密码(Pa

2021-03-08 09:25:09 88

原创 java.lang.StackOverflowError

使用maven打包项目的时候,报了错误:[ERROR] error: java.lang.StackOverflowError[INFO] at scala.tools.nsc.typechecker.Typers$Typer.typed(Typers.scala:5365)[INFO] at scala.tools.nsc.typechecker.Typers$Typer.typedQualifier(Typers.scala:5472)[INFO] at scala.tools.nsc

2021-02-04 10:42:44 76 3

转载 hive与presto时间转换对比

文章转自:https://zhuanlan.zhihu.com/p/164645100问题1:时间格式转换例子: 当前时间20200110 转化为2020-01-10--输出 2020-01-10--hiveselect to_date(from_unixtime(UNIX_TIMESTAMP('20200110','yyyyMMdd')));--prestoselect (format_datetime(date_parse('20200110','%Y%m%d'),'yyyy-M

2020-12-21 14:00:06 228

原创 python获取前n月第一天和最后一天

import datetime#获取前n月第一天和最后一天,n大于等于1def getNMonthBefore(date, n): month = date.month year = date.year for i in range(n-1): if month == 1: year -= 1 month = 12 else: month -= 1 last_day .

2020-12-14 20:05:19 108

原创 python获取前n周第一天和最后一天

import datetimetoday = datetime.datetime.today().date()#获取前n个自然周第一天和最后一天def getNWeeksBefore(today,n): ywd = datetime.datetime.now().isocalendar() #(year,week,周几) next_week_start = today + datetime.timedelta(days=today.weekday() - 6-ywd[2] - 7.

2020-12-14 20:03:00 102

原创 spark submit参数详解

spark-submit 详细参数说明参数名 参数说明 --master master 的地址,提交任务到哪里执行,例如 spark://host:port, yarn, local --deploy-mode 在本地 (client) 启动 driver 或在 cluster 上启动,默认是 client --class 应用程序的主类,仅针对 java 或 scala 应用 --name 应用程序的名称 --jars 用逗号...

2020-11-18 14:05:32 160

原创 Scala查看变量类型

使用.getClass.getSimpleName查看println(1.getClass.getSimpleName)

2020-11-16 13:47:40 212

原创 scala退出spark命令行命令

:quit

2020-10-21 08:53:43 268

原创 Scala日期操作、获取当前时间、获取前一天时间、获取两日期时间差、获取两日期间所有日期

获取当前时间var dateFormat: SimpleDateFormat = new SimpleDateFormat("yyyy-MM-dd")var cal: Calendar = Calendar.getInstance()val nowday = dateFormat.format(cal.getTime())println(nowday)获取前1天日期val date = "2020-09-13"val myformat = new SimpleDateFormat("

2020-10-19 14:47:09 950

原创 org.apache.spark.SparkException: Failed to execute user defined function($anonfun$11: (vector) => ve

在spark执行时出现rg.apache.spark.SparkException: Failed to execute user defined function($anonfun$11: (vector) => vector)可能是因为在使用VectorAssemlber合并特征时,如果具有矢量和原始特征,则无法合并它们。然后检查特征中的Indexer (StringIndexer or VectorIndexer),要保证训练集和验证级的都可用。详情可参考https://s..

2020-10-14 09:29:43 534

原创 scala打印HashMap

scala中使用Java的HashMap,如果要打印HashMap时,要加上一句话,就可以遍历HashMap了import scala.collection.JavaConversions._val cMap= new util.HashMap[Long,Array[Double]]()cidMap.foreach{ s=> println(s._1,s._2.foreach(println)) }...

2020-10-14 09:24:24 180

原创 python三引号嵌套双引号执行结果不对

当python使用三引号嵌套双引号时需要转义,不然可能出现一些意想不到的情况,比如sql="""select * from table where GET_JSON_OBJECT(regexp_replace(regexp_replace(param, '2:', '"2":'), '4:', '"4":'), '$.XXX') IN(1)"""ht.exec_sql(sql)当使用pyspark执行上面语句时不会报错,但是结果总是不对,应该在双引号那里加上两个反斜杠转义sql="""

2020-10-14 09:20:39 253

原创 spark dataframe出现NaN的情况

一般如果计算时,分母为0会出现NaN另一种计算时如果有元素为NaN,那么计算结果也是NaN

2020-10-14 09:14:36 218

转载 什么时候需要onehot编码?什么时候需要特征归一化?

一、问题由来最近在做ctr预估的实验时,还没思考过为何数据处理的时候要先进行one-hot编码,于是整理学习如下:在很多机器学习任务如ctr预估任务中,特征不全是连续值,而有可能是分类值。如下: 分类变量(定量特征)与连续变量(定性特征)。我们训练模型的变量,一般分为两种形式。以广告收入增长率为例,如果取值为0-1之间任意数,则此时变量为连续变量。如果把增长率进行分段处理,表示成如下形式:[0,0.3],(0.3,0.6],(0.6,1],那么此时变量为分类变量。...

2020-10-09 10:05:25 553

原创 XGBoost$.ml$dmlc$xgboost4j$scala$spark$XGBoost$$postTrackerReturnProcessing(XGBoost.scala:406)

报错信息: ERROR ApplicationMaster: User class threw exception: ml.dmlc.xgboost4j.java.XGBoostError: XGBoostModel training failedml.dmlc.xgboost4j.java.XGBoostError: XGBoostModel training failed at ml.dmlc.xgboost4j.scala.spark.XGBoost$.ml$dmlc$xgboost4j$.

2020-09-29 15:08:51 162

原创 搜索推荐广告三者异同

搜索和推荐是AI算法最常见的两个应用场景,在技术上有相通的地方。这里提到广告,主要考虑很多没做过广告业务的同学不清楚为什么广告和搜索、推荐会有关系,所以做下解释。 搜索:有明确的搜索意图,搜索出来的结果和用户的搜索词相关。 推荐:不具有目的性,依赖用户的历史行为和画像数据进行个性化推荐。 广告:借助搜索和推荐技术实现广告的精准投放,可以将广告理解成搜索推荐的一种应用场景,技术方案更复杂,涉及到智能预算控制、广告竞价等。 ...

2020-09-29 08:57:06 249 1

原创 Presto位运算/与或非

Presto 提供了如下几种位运算函数: 函数 语法 说明 bit_count bit_count(x, bits) → bigint 返回 x 的补码中置 1 的位数 bitwise_and bitwise_and(x, y) → bigint 位与函数 bitwise_not bitwise_not(x) → bigint 取非操作 bitwise_or bitwise_or(x, y) → bigint 位或函数 .

2020-09-23 17:14:54 317

原创 Caused by: java.lang.OutOfMemoryError: Java heap space

遇到这种错误,百度各种方法设置堆栈大小无效,在pom里面加入就好了<jvmArgs> <jvmArg>-Xmx512m</jvmArg></jvmArgs>

2020-08-26 13:55:30 168

原创 Effictive Scala

内容来自:http://s618dr.shenbo8885.com/effectivescala/index-cn.htmlTable of Contents序言 格式化:空格,命名,Imports,花括号,模式匹配,注释 类型和泛型:返回类型注解(annotation),变型,类型别名,隐式转换 集合:层级,集合的使用,风格,性能,Java集合 并发:Future,集合 控制结构:递归,返回(Return),for循环和for推导,要求require和断...

2020-08-17 16:24:38 158

转载 Java集合List,Set,Map详解

转自:https://s618dr.shenbo8885.com/zhangqunshuai/article/details/80660974概述:List , Set, Map都是接口,前两个继承至Collection接口,Map为独立接口 Set下有HashSet,LinkedHashSet,TreeSet List下有ArrayList,Vector,LinkedList Map下有Hashtable,LinkedHashMap,HashMap,TreeMap Collection接口下还有个Queu

2020-08-17 16:19:00 72

转载 Java集合List用法总结

转自:https://www.jianshu.com/p/25aa92f8d681Java集合作为一个Developer,Java集合类是我们在工作中运用最多的、最频繁的类。相比于数组(Array)来说,集合类的长度可变,更加适合于现代开发需求;Java集合就像一个容器,可以存储任何类型的数据,也可以结合泛型来存储具体的类型对象。在程序运行时,Java集合可以动态的进行扩展,随着元素的增加而扩大。在Java中,集合类通常存在于java.util包中。Java集合主要由2大体系构成,分别是Co

2020-08-17 16:04:08 699

转载 Java ArrayList用法

转自:https://www.cnblogs.com/msymm/p/9872818.html1 ArrayList介绍ArrayList简介ArrayList 是一个数组队列,相当于动态数组。与Java中的数组相比,它的容量能动态增长。它继承于AbstractList,实现了List, RandomAccess, Cloneable, java.io.Serializable这些接口。ArrayList继承了AbstractList,实现了List。它是一个数组队列,提供了相关的添加...

2020-08-17 15:51:14 105

转载 Java集合Map用法总结

文章转自:https://s618dr.shenbo8885.com/qq_29373285/article/details/81487594接口概述我们通过查看Map接口描述,发现Map接口下的集合与Collection接口下的集合,它们存储数据的形式不同,如下图。 Collection中的集合,元素是孤立存在的(理解为单身),向集合中存储元素采用一个个元素的方式存储。 Map中的集合,元素是成对存在的(理解为夫妻)。每个元素由键与值两部分组成,通过键可以找对所对应的值。 Coll.

2020-08-17 15:43:11 114

转载 Java集合Set用法总结

本文转自:https://www.jianshu.com/p/b48c47a42916Set继承于Collection接口,是一个不允许出现重复元素,并且无序的集合,主要有HashSet和TreeSet两大实现类。在判断重复元素的时候,Set集合会调用hashCode()和equal()方法来实现。HashSet是哈希表结构,主要利用HashMap的key来存储元素,计算插入元素的hashCode来获取元素在集合中的位置; TreeSet是红黑树结构,每一个元素都是树中的一个节点,插入的元素都会进

2020-08-17 15:36:20 174

原创 Hive Sql中均值、方差、标准差、皮尔逊相关系数、偏度、峰度统计字段

SELECT mean(age) AS '均值', variance(age) AS '方差', stddev(age) AS '标准差', corr(age,yearsmarried) AS '两个指标的相关系数', skewness(age) AS 'skewness偏度', kurtosis(age) AS 'kurtosis峰度'FROM table

2020-08-14 10:46:27 2123 1

原创 Hive查询中JOIN用法大全及图解

下面两张图分别出自:https://www.jianshu.com/p/aac4a15a50c9https://s618dr.shenbo8885.com/leying521/article/details/93197951

2020-08-14 10:36:54 147

原创 scala错误ambiguous reference to overloaded definition

val jsonString = JSON.toJSONString(mapParam)会报错ambiguous reference to overloaded definition, 直接改成val jsonString = JSON.toJSON(mapParam).toString就好了

2020-08-07 17:27:12 481

原创 Spark中DataFrame基本操作函数

Action 操作1、collect() ,返回值是一个数组,返回dataframe集合所有的行2、collectAsList() 返回值是一个java类型的数组,返回dataframe集合所有的行3、count() 返回一个number类型的,返回dataframe集合的行数4、describe(cols: String*) 返回一个通过数学计算的类表值(count, mean, stddev, min, and max),这个可以传多个参数,中间用逗号分隔,如果有字段为空,那么不参与运算...

2020-07-30 15:48:40 258

转载 Scala-Spark-DataFrame转为RDD

val df = Seq(("table1",432), ("table2",567), ("table3",987), ("table1",789)). toDF("tablename", "Code").toDF() df.show() +---------+----+|tablename|Code|+---------+----+| table1| 432|| table2| 567|| table3| 987.

2020-07-29 09:31:54 209

原创 深度学习分类模型面试题-面经(一)
原力计划

VGG Resnet Inception V1-v3 Densnet ResnXt SENet NAS 下面四个都是轻量化模型 MobileNet V1-V2 mobileNet V3(novel):https://arxiv.org/pdf/1905.02244.pdf Xception shufflenet V1-V2 squeezenet group...

2020-05-07 18:09:22 1178

原创 机器学习面试题面经
原力计划

KNN:特点是完全跟着数据走,没有数学模型可言。适用:需要一个容易解释的模型的时候,比如需要向用户解释原因的推荐算法。 感知机 贝叶斯:核心是根据条件概率计算待判断点的类型。适用:易解释,而且不同维度之间相关性较小的模型。可以处理高维数据,虽然效果一般。 逻辑回归 决策树:适用:它能生成清晰的基于特征选择不同预测结果的树状结构,数据分析师希望更好的理解手...

2020-05-05 23:55:33 2322

原创 感受野大小计算、卷积参数量与计算量、空洞卷积计算量与参数量
原力计划

感受野大小计算这是 自顶向下方法,也就是从后面向前面计算,初始rf=1比如conv1(f=3x3,s=2), conv2(f=3x3,s=2), conv3(f=3x3,s=1),从后向前最后一层每个点rf=1,(1-1)x1+3=3,也就是最后一层结束每个点的感受野是3倒数第二层 , (3-1)x2+3=7,最后一个点映射到第二层是7的感受野底数第三层,(7-1...

2020-05-05 23:39:49 1127

原创 行人重识别ReID
原力计划

目录AlignedReIDPCB: Beyond part models: person retrieval with refined part pooling (and A strong convolutional baseline) ECCV2018Good appearance feature for multi-target-camera tracking CVPR20...

2020-05-05 23:24:28 1425

原创 HR面试问题总结(HR面经)

主要针对校园招聘的HR面试问题总结:hr面问题(要表现的乐观,积极,抗压能力强,有很强学习能力):其实主要就是聊人生,聊想法,聊项目,什么时候来,能来多久,展现出真诚的态度就好 自我介绍(一分钟左右)(注意坑):名字+擅长技能+过去成绩+未来价值,明确表达自己想来。。工作的期望 哪里人,是否独生子女,父母工作 女朋友 实习时间 介绍科研训练项目 ...

2020-05-05 19:46:06 2523

原创 C++面试题面经

STL. 顺序性容器:元素间有顺序关系的线性表。 vector动态数组,线性结构,连续存储,随机访问,检索快,只能在后端添加删除 list双向循环链表,不连续存储,不支持随机访问,支持任意位置插入删除 deque双向队列,支持随机访问,支持内部插入删除 关联式容器:非线性,包括二叉树结构和哈希表结...

2020-05-05 19:44:02 453

原创 Linux,git命令面试题

data显示日期与时间 cal显示日历 ctrl+c中断目前程序 bc 计算器 ctrl+d键盘输入结束,相当于exit man []/info在线求助,q退出 sync数据同步写入磁盘 shutdown -h ..关机 reboot 重启 chgrp改变文件所属组 ch...

2020-05-05 19:42:00 311

传智播客python课件

传智播客黑马python东哥主讲,这里是代码和课件。视频见:https://www.bilibili.com/video/av36851082/?p=129

2019-01-26

David Silver强化学习课件ppt

David Silver强化学习课程文件Lecture 1: Introduction to Reinforcement Learning Lecture 2: Markov Decision Processes Lecture 3: Planning by Dynamic Programming Lecture 4: Model-Free Prediction Lecture 5: Model-Free Control Lecture 6: Value Function Approximation Lecture 7: Policy Gradient Methods Lecture 8: I

2018-07-03

迁移学习教程,Transfer learning介绍,TL调查

迁移学习教程-中科院王晋东,Transfer learning介绍-杨强,Transfer Learning survey-杨强

2018-10-08

深度学习优化算法大全

深度学习优化算法,3种梯度下降方法,多种梯度下降优化算法(动量法,Nesterov,Adagrad,Adadelta,RMSprop,Adam等优化器),算法可视化及优化器选择,优化SGD

2018-10-08

陈天奇xgboost论文+ppt+gdbt

陈天奇 xgboost论文,xgboost ppt 详细讲解,以及gdbt论文

2018-10-08

OpenCV-3-x-with-Python-By-Example-master.zip

OpenCV 3.x with Python By Example(2nd).pdf code这本书对应的代码

2019-05-31

魏秀参CNN book trick深度学习调参技巧

魏秀参CNN book, 以及cnn trick。深度学习书和调参技巧ppt

2018-10-08

面向对象UML教学楼管理系统

面向对象UML建模教学楼管理系统,详细文档和各种图用例图类图时序图状态图组件图配置图各种图

2015-12-28

OpenCV with Python By Example.pdf

OpenCV with Python By Example.pdf 带书签无水印。这本书用很多例子教你学opencv,很棒

2019-06-01

OpenCV-with-Python-By-Example-master.zip

OpenCV with Python By Example这本书对应的代码。非常好的入门教程

2019-05-31

Hands On Machine Learning with Scikit-Learn and TensorFlow20173

Hands On Machine Learning with Scikit-Learn and TensorFlow20173 通过最近的一系列突破,深度学习推动了整个机器学习领域。 现在,即使对这项技术几乎一无所知的程序员也可以使用简单有效的工具来实现能够从数据中学习的程序。 这本实用的书向你展示了如何。 通过使用具体示例,最小理论和两个可用于生产的Python框架 - scikit-learn和TensorFlow-authorAurélienGéron帮助您直观地了解构建智能系统的概念和工具。 您将学习一系列技术,从简单的线性回归开始,逐步深入到神经网络。 通过每章的练习来帮助您应用所学知识,您所需要的只是编程经验才能开始。

2018-07-03

Deep Learning for Computer Vision with Python123

Deep Learning for Computer Vision with Python123, 作者Dr. Adrian Rosebrock. 总共三本, 分别为starter bundle, Practitioner Bundle, ImageNet Bundle

2018-09-18

OpenCV 3.x with Python By Example 2nd .txt

OpenCV 3.x with Python By Example(2nd).pdf 带书签无水印。这本书用很多实际场景的例子教你学opencv。文件太大,这是链接

2019-06-01

斯坦福cs234强化学习ppt教程reinforcement learning

斯坦福大学stanford cs234强化学习ppt教程reinforcement learning

2018-10-10

强化学习Reinforcement learning:An introduction第二版

强化学习Reinforcement learning:An introduction第二版

2018-10-16

Deep Learning for Computer Vision by Dr. Stephen Moore

Deep Learning for Computer Vision by Dr. Stephen Moore. Expert techniques to train advanced neural networks using TensorFlow and Keras

2018-09-18

MFC教学楼管理系统

MFC管理系统基于网络编程客户端服务器和数据库

2015-12-28

machine learning yearning Andrew Ng

machine learning yearning是吴恩达新书,本书含有58章

2018-09-30

别说话写代码的留言板

发表于 2020-01-02 最后回复 2020-01-02

C语言中数组这样的写法为什么

发表于 2015-12-24 最后回复 2015-12-25

vc中对话框添加菜单项ID总是提示没有定义

发表于 2015-12-20 最后回复 2015-12-21

求解惑,大二软件学生,

发表于 2014-11-26 最后回复 2015-03-03

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示 申博开户平台登入
确定要删除当前文章?
取消 删除
网站地图 澳门新葡京赌场 老虎机游戏 真人百家乐 澳门新葡京赌场
申博娱乐开户 申博代理开户 太阳城提款申请 太阳城申博
捕鱼游戏 申博游戏手机下载 太阳城集团 申博真人游戏
申博百家乐 申博娱乐官网 保险百家乐 申博电子游戏
申博游戏注册 澳门大三巴赌场 申博娱乐注册 申博真人游戏