今日头条技术架构到底有多牛？
时间：2020-06-14 09:22:28观看次数：80
|
"\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002F25daf3a234ed4e51adf2f326a4fedee7\" img_width=\"1024\" img_height=\"435\" alt=\"今日头条技术架构到底有多牛？\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E\u003Cstrong\u003E一、产品背景\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E 今日头条是为用户提供个性化资讯客户端。下面就和大家分享一下当前今日头条的数据（据内部与公开数据综合）：\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E5亿注册用户\u003C\u002Fli\u003E\u003Cli\u003E2014年5月1.5亿，2015年5月3亿，2016年5月份为5亿。几乎为成倍增长。\u003C\u002Fli\u003E\u003Cli\u003E日活4800万用户\u003C\u002Fli\u003E\u003Cli\u003E2014年为1000万日活，2015年为3000万日活。\u003C\u002Fli\u003E\u003Cli\u003E日均5亿PV\u003C\u002Fli\u003E\u003Cli\u003E5亿文章浏览，视频为1亿。页面请求量超过30亿次。\u003C\u002Fli\u003E\u003Cli\u003E用户停留时长超过65分钟以上\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E\u003Cstrong\u003E1、文章抓取与分析\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E 我们日常产生原创新闻在1万篇左右，包括各大新闻网站和地方站，另外还有一些小说，博客等文章。这些对于工程师来讲，写个Crawler并非困难的事。\u003C\u002Fp\u003E\u003Cp\u003E 接下来，今日头条会用人工方式对敏感文章进行审核过滤。此外，今日头条头条号目前也有为数不少的原创文章加入到了内容遴选队列中。\u003C\u002Fp\u003E\u003Cp\u003E 接下来我们会对文章进行文本分析，比如分类，标签、主题抽取，按文章或新闻所在地区，热度，权重等计算。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E2、用户建模\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E 当用户开始使用今日头条后，对用户动作的日志进行实时分析。使用的工具如下：\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003EScribe\u003C\u002Fli\u003E\u003Cli\u003EFlume\u003C\u002Fli\u003E\u003Cli\u003EKafka\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E \u003C\u002Fp\u003E\u003Cp\u003E我们对用户的兴趣进行挖掘，会对用户的每个动作进行学习。主要使用：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E Hadoop\u003C\u002Fli\u003E\u003Cli\u003E Storm\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E 产生的用户模型数据和大部分架构一样，保存在MySQL\u002FMongoDB（读写分离）以及Memcache\u002FRedis中。\u003C\u002Fp\u003E\u003Cp\u003E 随着用户量的不断扩展大，用户模型处理的机器集群数量较大。2015年前为7000台左右。其中，用户推荐模型包括以下维度：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E1 用户订阅\u003C\u002Fli\u003E\u003Cli\u003E2 标签\u003C\u002Fli\u003E\u003Cli\u003E3 部分文章打散推送\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E此时，需要每时每刻做推荐。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E3、新用户的“冷启动”\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E 今日头条会通过用户使用的手机，操作系统，版本等“识别”。另外，比如用户通过社交帐号登录，如新浪微博，头条会对其好友，粉丝，微博内容及转发、评论等维度进行对用户做初步“画像”。\u003C\u002Fp\u003E\u003Cp\u003E 分析用户的主要参数如下：\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E 关注、粉丝关系\u003C\u002Fli\u003E\u003Cli\u003E关系\u003C\u002Fli\u003E\u003Cli\u003E用户标签\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E 除了手机硬件，今日头条还会对用户安装的APP进行分析。例如机型和APP结合分析，用小米，用三星的和用苹果的不同，另外还有用户浏览器的书签。头条会实时捕捉用户对APP频道的动作。另外还包括用户订阅的频道，比如电影，段子，商品等。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E4、推荐系统\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E 推荐系统，也称推荐引擎。它是今日头条技术架构的核心部分。包括自动推荐与半自动推荐系统两种类型：\u003C\u002Fp\u003E\u003Cp\u003E1） 自动推荐系统\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E自动候选\u003C\u002Fli\u003E\u003Cli\u003E 自动匹配用户，如用户地址定位，抽取用户信息\u003C\u002Fli\u003E\u003Cli\u003E 自动生成推送任务\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E这时需要高效率，大并发的推送系统，上亿的用户都要收到。\u003C\u002Fp\u003E\u003Cp\u003E2）半自动推荐系统\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E 自动选择候选文章\u003C\u002Fli\u003E\u003Cli\u003E 根据用户站内外动作\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E 头条的频道，在技术侧划分的包括分类频道、兴趣标签频道、关键词频道、文本分析等，这些都分成相对独立的开发团队。目前已经有300+个分类器，仍在不断增加新的用户模型，原来的用户模型不用撤消，仍然发挥作用。\u003C\u002Fp\u003E\u003Cp\u003E 在还没有推出头条号时，内容主要是抓取其它平台的文章，然后去重，一年几百万级，并不太大。主要是用户动作日志收集，兴趣收集，用户模型收集。\u003C\u002Fp\u003E\u003Cp\u003E 资讯App的技术指标，比如屏幕滑动，用户是不是对一篇都看完，停留时间等都需要我们特别关注\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp3.pstatp.com\u002Flarge\u002Fpgc-image\u002F71b1200e04134947970bae476fe0ba08\" img_width=\"1080\" img_height=\"608\" alt=\"今日头条技术架构到底有多牛？\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E\u003Cstrong\u003E5、数据存储\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E 今日头条使用MySQL或Mongo持久化存储+Memched（Redis），分了很多库（一个大内存库），亦尝试使用了SSD的产品。\u003C\u002Fp\u003E\u003Cp\u003E 今日头条的图片存储，直接放在数据库中，分布式保存文件，读取的时候采用CDN。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E6、消息推送\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E 消息推送，对于用户: 及时获取信息。对运营来讲，能够 提⾼⽤用户活跃度。比如在今日头条推送后能够提升20%左右的DAU，如果没有推送，会影响10%左右 DAU（2015年数据）。\u003C\u002Fp\u003E\u003Cp\u003E 推送后要关注的ROI：点击率，点击量。能够监测到App卸载和推送禁用数量。\u003C\u002Fp\u003E\u003Cp\u003E 今日头条推送的主要内容包括突发与热点咨讯，有人评论回复，站外好友注册加入。\u003C\u002Fp\u003E\u003Cp\u003E 在头条，推送也是个性化：\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E 频率个性化\u003C\u002Fli\u003E\u003Cli\u003E内容个性化\u003C\u002Fli\u003E\u003Cli\u003E 地域\u003C\u002Fli\u003E\u003Cli\u003E 兴趣\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E比如：\u003C\u002Fp\u003E\u003Cp\u003E 按照城市：辽宁朝阳发生的某个新闻事件，发给朝阳本地的用户。\u003C\u002Fp\u003E\u003Cp\u003E 按照兴趣：比如京东收购一号店，发给互联网兴趣的用户。\u003C\u002Fp\u003E\u003Cp\u003E 推送平台的工具和选择，需要具备如下的标准：\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E通道，首先速度要快，但是要可控，可靠，并且节省资源\u003C\u002Fli\u003E\u003Cli\u003E推送的速度要快，有不同维度的策略支持，可跟踪，开发接口要友好\u003C\u002Fli\u003E\u003Cli\u003E推送运营的后台，反馈也要快，包括时效性，热度，工具操作方便\u003C\u002Fli\u003E\u003Cli\u003E对于运营侧，清晰是否确定推荐，包括推送的文案处理\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E 因此，推送后台应该提供日报，完整的数据后台，提供A\u002FB Test方案支持。\u003C\u002Fp\u003E\u003Cp\u003E 推送系统一部分使用自有IDC，在发送量特别大，消耗带宽较严重。可以使用类似阿里云的服务，可有效节省成本。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E二、今日头条系统架构\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002F78adbb88065d4d3091f5150a812d396e\" img_width=\"1080\" img_height=\"545\" alt=\"今日头条技术架构到底有多牛？\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp3.pstatp.com\u002Flarge\u002Fpgc-image\u002F26b5f4d8926042d3ab6a8e021db2eba2\" img_width=\"1080\" img_height=\"539\" alt=\"今日头条技术架构到底有多牛？\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp3.pstatp.com\u002Flarge\u002Fpgc-image\u002Fd60bd6a13dea4e6cbbce3ee99a68cd74\" img_width=\"1080\" img_height=\"531\" alt=\"今日头条技术架构到底有多牛？\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002Fef94f7f9d92b43439fe4aaa1585c5248\" img_width=\"1080\" img_height=\"532\" alt=\"今日头条技术架构到底有多牛？\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Ch2 class=\"pgc-h-arrow-right\"\u003E三、头条微服务架构\u003C\u002Fh2\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E 今日头条通过拆分子系统，大的应用拆成小应用，抽象通用层做代码复用。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp3.pstatp.com\u002Flarge\u002Fpgc-image\u002Fc36b56e7896445d4ba3c5fdf5b10f7d0\" img_width=\"1080\" img_height=\"793\" alt=\"今日头条技术架构到底有多牛？\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E系统的分层比较典型。重点在基础设施，希望通过基础设施提高快速迭代、容灾和一系列的工作，希望各个业务团队能更快做业务上的迭代以及架构上的调整。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E四、今日头条的虚拟化PaaS平台规划\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E通过三层实现，通过 PaaS 平台统一管理。提供通用 SaaS 服务，同时提供通用的 App 执行引擎。最底层是 IaaS 层。\u003C\u002Fp\u003E\u003Cp\u003E IaaS 管理所有的机器，把公有云整合起来，头条有一些热点事件会全国推广推送，对网络带宽比较高，我们借助公有云，需要哪一种类型计算资源，统一抽象起来。基础设施结合服务化的思路，比如日志，监控等等功能，业务不需要关注细节就可以享受到基础设施提供的能力。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E五、总结\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E今日头条重要的部分在于：\u003C\u002Fp\u003E\u003Cp\u003E数据生成与采集\u003C\u002Fp\u003E\u003Cp\u003E数据传输。Kafka做消息总线连接在线和离线系统。\u003C\u002Fp\u003E\u003Cp\u003E数据入库。数据仓库、ETL（抽取转换加载）\u003C\u002Fp\u003E\u003Cp\u003E数据计算。数据仓库中的数据表如何能被高效的查询很关键，因为这会直接关系到数据分析的效率。常见的查询引擎可以归到三个模式中，Batch 类、MPP 类、Cube 类，头条在 3 种模式上都有所应用。\u003C\u002Fp\u003E"'.slice(6, -6), groupId: '6835813930896458254
|
