Skip to main content

4 posts tagged with "微博大数据"

View All Tags

· 13 min read
Yandi LI

@作者: 机器学习算法 @迪吉老农 代码地址:https://github.com/yandili/forge_load

1. 背景需求

最近组内的GPU利用率一直被警告,说是利用率过低。其实GPU这件事和CPU还是有区别的。

第一个问题是内存限制。CPU的话,可以平行的跑很多程序,这样利用率就上去了。但GPU很大程度上受限于内存。如果内存只能装2个进程,再想运行更多的程序也没有办法。

第二个问题是,CPU一般可以通过复制进程来提高利用率,每个进程占用一个CPU核,就可以按任意的比例提高总体利用率。但是GPU的训练任务跑起来的时候,经常一个程序就100%占用了。如果用这种方式占用空闲GPU,别的正常的程序就只能等待了。

不过既然上面要求了,我们也得做。就考虑两个方面的要求,

  • 占用尽可能小的内存。
  • 控制单进程的GPU资源占用比例。

· 11 min read
Yandi LI

作者:微博研发中心算法平台

今天是春节前一天,作为目前在公司内数一数二的选手,感觉可以和大家分享一下桌上足球这项运动的精髓。

1. 背景

桌上足球的英文是foosball(和足球football很像),法国人管他叫它baby-foot。由于名字很奇葩,各地叫法不同,我以前经常迷惑应该如何称呼它。

虽然不同地方的基本操作和规则类似,但是桌子规格的些许变化,比如球员间距、球员的制作材料,都会对比赛产生非常大的影响。所以即使是我这样的老司机,也很难能够在各种桌子上都称霸。

· 24 min read
Yandi LI

最近被组里的老大要求,分享一些自己在微博工作中实践的一些机器学习算法。由于自己也是菜鸟,很多实验其实都是简单尝试,希望给大家提供一些启发就好了。

一. 问题的定义

“标题党”作为一个新近才出现的名词,并没有明确的定义。根据华东师范大学雷启立的观点,“标题党”是这样一些信息发布者和转发者的总称,《注意,这些都是“标题党”的套路!》