每逢佳节爱剁手！又到了一年一度买买买的好日子，电商大战开团在即，各大平台都准备在双11当天狠赚一把。去年囤货吃土的样子还历历在目，新的一年又来了！

这几年，爱凑热闹的自媒体人也加入了双十一的狂欢，移动互联网兴起，知识付费红利涌进了内容创业者的口袋，公众号已然成为了一个新的战场。

可以看到，近30天来，关键词“双十一”的微信指数一路走高，善于争抢流量热点的自媒体人早已经开始了“热身运动”。

如何借势双11做好品牌营销，实现流量和销量双丰收成为了运营者近期最关心的话题。有许多用户在西瓜社群讨论，双十一我究竟应该写什么？

针对不同类型的公众号，春喜专门为大家整理了这份【双11公众号发文指南】，如果你正巧遇到了这个难题，不妨来文章中间找找答案！

“双十一”的本质还是电商购物节，电商营销依旧是重头戏。要在海量的双十一营销广告中脱颖而出不是易事，实现品牌强曝光和产品高销售转化，花式营销套路必不可少。

去年双十一，许多一线知名品牌在公号端都有非常吸睛的表现。华为制作精良的H5“老佛爷圆明园直播”引爆了朋友圈，获得了品牌传播和销售转化的双赢。

▲华为：老佛爷圆明园直播

今年双十一，各品牌也已经开始造势。丰田制作了一则创意H5，打出了“比清空前任更治愈的是，清空她的购物车！用她的丰田车购车券，抢一辆自己的车，再去邂逅爱情，美好人生尽在眼前……”的口号，H5利用明快的蒙太奇画面切换，配合简单直接的文案，成功撩拨了用户了消费欲望。

▲丰田：清购物车，抢丰田车！ 

不难发现，H5已经成为了品牌营销的宠儿，越来越多企业和品牌机构选择通过H5发声，同时H5的制作门槛也在降低，只要你拥有创意，都可以用类似的方法获得不错的关注度。

对于一些中小企业来说，还可以选择通过一些简单的H5游戏讨巧地收割一波流量。天猫推出的“双11神奇订单”的H5小游戏和之前一键生成“军装照”“结婚证”有异曲同工之妙，满足了年轻人“秀晒炫”的心理，快速造成“病毒式传播”。

▲天猫：双十一神奇订单 

除了H5之外，短视频在这两年疯狂掠夺着线上流量。越来越多制作精良，标新立异的品牌广告成为了朋友圈热议的话题，招行最新的“番茄炒鸡蛋”就是一个很好的例子。

很多运营者看到短视频第一个反应就是制作门槛高，的确完成一支精品广告价格不菲，但有越来越多公众号触类旁通，选择制作小成本的专题短片为自己代言，在控制了成本的同时也赚得了流量。

公众号“年糕妈妈”为双十一定制品拍摄了一条公号版短片，负责人公开选品策略，强化年糕妈妈电商平台的品牌信任感；

自媒体人“ACui阿崔”录制“双十一剁手指南”，推荐个人日常用品清单，凭借自然不做作的画风轻松博得读者好感；

美妆大号“化妆师MK-雷韵祺”推出“双11私藏购物清单”，帮用户贴心整理了天猫双11高性价比打折美妆产品和抢货攻略；

试问这样的内容怎么会不受到大家的欢迎。

▲化妆师MK-雷韵祺：双11私藏购物清单

类似的短视频内容，大大简化了拍摄流程，对器材和环境要求也并不苛刻，只要稍作练习都可以尝试拍摄，值得广大运营者借鉴。

对于大部分内容创作者来说，除了在形式上抖机灵外，大家更关心什么样的内容有成为爆款的潜力。通过西瓜助手采集的10w+爆文数据我们可以发现，简单粗暴的填鸭式攻略正在逐渐受到市场冷落，直击人心的情感营销，才能让消费者铭记品牌印象，这也是对内容功底的考验。

今年双11知名文具品牌“晨光”凭借对消费心理深刻的洞察，针对年轻消费群体推出了“双十一心选”主题广告，广告巧妙地把年轻人的选择困境与晨光用心挑选的产品进行捆绑，给人留下了深刻的印象。

▲晨光“双十一心选”主题广告

这支广告的文案设计非常精彩——

从“没有人会留意”的“选择”与“内心的方向”开篇，把如何选择的问题直白地抛到受众面前，将观众快速带入一种“默默努力，不为人所知”的感性场景中。

再一句“未遵从内心的向往，对生活的热爱 都会变得冷漠”，撩拨起受众对选择就该遵从内心向往的情绪。

先不讨论其节奏紧凑，只一开篇直击人心的这几句文案就已经算是成功。

善于撩拨用户情绪的情感号也是这类内容的创作榜样，像晚安少年、HUGO、小北这样的情感大号早已经凭借精准的洞察提早进场，公众号「胡辛束」和「我要WhatYouNeed」在去年双十一合作举办了一场线下观影活动也是情感营销的一种思路。

▲胡辛束&WYN：线下观影

优质内容可以让原本单向的信息沟通转变成品牌和用户的真实对话，越来越多运营者选择在双11这样的日子，尝试走到用户身边，用情感唤起消费者内心深处的认同和共鸣，利用温情营销引发内容的社交裂变。

今年，微信小程序和直播平台也将入场助力双十一电商大战。

公众号“石榴婆报告”在10月底宣布：婆婆开了个线上商店！正式开启了“小程序+电商”模式。从关联小程序到推送文章宣布之前短短一小时，“石榴小卖部”小程序已有10万左右的浏览，居然已有了好几万销售额，小程序在今年的电商销售表现值得期待。

▲石榴婆报告：石榴婆小卖部

直播市场如火如荼，去年双十一早已经有许多公众号尝鲜了这个方法，收到了不错的反馈——

公众号“化妆师MK-雷韵祺”利用微博和微信，将用户导流到淘宝店铺上，配合淘宝直播和优惠活动，赢得了成交量；

公众号“第一整理术”，通过直播送书的方式，和用户互动；

公众号“澳洲红领巾”在去年双十一举办了万人在线相亲活动……

善于调动资源，创新玩法，脑洞大开的自媒体人似乎从来不缺乏营销灵感。

无论是小程序还是直播，我们可以发现越来越多公众号正在尝试全新的方法抢夺用户流量，营销方式的转变是消费升级带来的必然结果，对用户需求最为敏感的运营者早就意识到场景营销带来的转化优势，都在绞尽脑汁缩短购买路径，提高用户体验。

对于掌握线上头部流量的运营者来说，双11是一个借势和品牌获得双赢的好机会，大家都希望利用好这个时间节点为今年业绩添砖加瓦，这时候如果能联合起各大流量渠道，打一套漂亮的“组合拳”，势必能收获社交电商带来的红利。

当然，如果你的公众号还停留在传统的模式上，那么这篇文章正好也在提醒你，是时候做出转变了，想要在这样的市场竞争中获益，改变势在必行。在互联网时代，只有从用户角度出发、努力提升消费体验，才能长久地走下去。

本文为作者独立观点，不代表鸟哥笔记立场，未经允许不得转载。

如对文章、图片、字体等版权有疑问，请点击

关键字：微信图书 微信书籍 微信公众平台书籍 微信公众平台图书 微信开发书籍 微信营销图书推荐 微信运营书籍推荐 微信从业人员必读的100本图书

本文从当前图书市场上筛选出微信及移动互联网从业人员最爱读的100本图书，并对每本书的特色做了简要点评，供有需要购买的读者进行参考。

互联网+：国家战略行动路线图

专家点评：腾讯主要创办人、董事会主席兼首席执行官马化腾参与撰写出版的首部著作

专家点评：阿里研究院发布，“互联网+”国民必读手册，马云、曾鸣、涂子沛、陈有钢、李纲、侯自强亲笔作序推荐！

微信公众平台开发最佳实践（第2版）

专家点评：最全面最深入案例最多的一本，微信开发必备。第一版出版半年就荣登京东2014年度计算机图书榜Top20。

专家点评：中国微商创业导师辅导10万余微商成功经验结晶，10位大咖联袂推荐，微商界公认必读经典

专家点评：实操性微信运营、营销、创业和赚钱手册，荣获第五届“中国图书势力榜”年度十大好书

专家点评：本书荣获全国全行业优秀畅销书奖！

深度微信 营销、运营、创业与微信电商

专家点评：针对公众号和朋友圈两大领域，围绕微信营销、运营、创业和微信电商4个话题，全方位且深度地总结了其中涉及的各种策略、方法、技巧和禁忌。

微信朋友圈 这么玩才赚钱！

专家点评：首部从商业实战角度系统讲解微信朋友圈操盘的专著

微信营销与运营实操手册：策略、方法、技巧、工具与案例大全

专家点评：深入剖析了微信的5大营销优势、7大商业模式、6种粉丝转化途径，涵盖近20个行业的营销实例

一微万利 粉丝、利润双丰收的微信营销秘诀

互联网思维到底是什么 移动浪潮下的新商业逻辑

专家点评：通过对30余个接地气案例的深刻解析，带你真正领略互联网思维的5大真义：去中心、异质、多元、感性和自传播。

专家点评：定位于中小微型企业主、产品营销人员，以及对以微信为代表的新媒体营销有兴趣的读者

专家点评：腾讯资深资深员工首度系统对外分享微信、微博内幕，腾讯内部社交网络教材

你早该这么玩微信：深度分析微信营销的100个案例

专家点评：深刻解读微信在传统大品牌企业、酒店业、汽车业、餐饮业、学习教育业、电子商务平台及互联网等行业中的应用

进军微电商：玩转微信O2O

专家点评：适合对微信营销感兴趣的初学者、传统企业管理者、企业网络部运营者、电商行业的创业者，以及其他所有对微信营销、微信电商、微信O2O感兴趣的朋友阅读

专家点评：新东方教育科技集团董事长俞敏洪先生倾情作序！和君集团董事长王明夫鼎力推荐！

微信营销：实战案例大观（2）

专家点评：《微信营销实战案例大观》一书的姊妹篇

微信电商，这样做就对了！

专家点评：高度概括微信电商对于企业和个体经营者的战略意义以及传统企业如何借助微信电商转型升级；全面总结微信电商实施的10大原则

微机四伏：微博与微信营销实战兵法

专家点评：非常细致地讲解了社会化营销运营的操作，辅以不少实用案例，让人惊喜，是一本深入浅出，让社会化营销人迅速成长的秘笈

全民营销：如何用互联网思维做好口碑传播

专家点评：专注于从企业的角度讲述社会化营销，致力于从理论与实践两个方面帮助企业建构社会化营销的大格局

企业微信实战解密：营销、运营与微信电商O2O

专家点评：详细讲解公众账号的设计、规划、布局的要点、方法和技巧

微信营销实战：快速提升品牌影响力的7堂精品课

专家点评：一线实战专家经过两年来实践得到的经验汇总，其独创的实战理论获得了很多人的赞扬

赢在移动端：微博、微信、微视频、微电影、QQ、二维码微营销全攻略

专家点评：一本全面揭密移动互联网时代微营销趋势、模式、工具、应用与技巧的专著

玩法变了：微信营销的100个成功案例

专家点评：根据机构、企业和个人做微信营销的需求，精选出比较优秀的营销案例，为广大读者分析和介绍这些企业的微信营销特点

缔造企鹅：产品经理是这样炼成的

专家点评：通过实现用户价值达成商业成功的产品才是好产品；运用最佳的工具和方法来有效解决问题是产品经理的本能。

专家点评：唯一基于微信5.4写就，是个人或企业有效开展微营销的实用图书

一看就懂的微信营销全图解

专家点评：360度全方位指导，传授最精准、最具实操性的不同行业的微信营销法则

移动互联网营销丛书：玩“赚”微信

专家点评：适读人群：市场营销人员、企业管理人员、微商、个人创业者

别说你会刷朋友圈　微信营销这件小事

专家点评：网络营销专家曹斯明讲解如何利用新媒体、新平台，在O2O时代产生最大的营销效果，致胜“微营销”

网络营销决胜武器·软文营销：实战方法、案例、问题

专家点评：最详实的人气写作术，让13亿人口下单的技巧，软文NO.1实战手册。

微信营销与运营解密：利用微信创造商业价值的奥秘

专家点评：详细讲解微信5.0公众账号的设计、规划与管理方法，系统总结微信内容写作的3大要素、10大技巧和6大误区

O2O营销与运营一册通：原则+技巧+实践

专家点评：深入分析了O2O营销的现状、前景和趋势，以小米、淘宝、万达、京东、宜家、雕爷牛腩、银联等各大企业的成功案例为基础

左手微博右手微信：企业微营销实战攻略

专家点评：将微博微信融会贯通，用一本书让人掌握微营销的奥妙

网络营销推广与实战宝典

专家点评：一部讲述如何在网络中挖金掘银的宝典

挡不住的微店生意经：低成本微信创业全攻略

专家点评：国内第一本关于移动电商实操战术解析的书籍

专家点评：微信营销实战的书，适合想在微信进行营销的读者阅读

专家点评：基于最新版微信平台推出的各种功能，提供近百个微信营销实战案例，涉及餐饮、娱乐、快消品、金融、电商等众多行业

微信电商，产品这么卖才赚钱

专家点评：全面分析了微信电商的商业模式和红利，包括京东微店、微信支付、微信价、微信小店、微官网、微商城、微信O2O、微信关系链背后的商机

企业网络营销实战宝典及决胜攻略 策略、方法、技巧、实践与案例

专家点评：一本系统讲述网络营销的专业书籍。实用性、实战性、趣味性，是其最大的特点。

内容营销：有价值的内容才是社会化媒体时代网络营销成功的关键

专家点评：向读者展现了在当今的商业环境中应该如何通过创造和有效传播有价值的营销内容来取得理想业绩

运营不累：弹指神通，布局规划思路通

专家点评：由阿里巴巴淘宝大学组织一流专家团队编写，阿里巴巴副总裁鹰王作序推荐，将电子商务领域目前最优秀最前沿的知识融会贯通，总结出卖家进入电商平台的功夫秘籍

专家点评：全面系统地介绍了微信6.0版本的安装、使用技巧、微信营销等内容

微信营销360度指南：模型、案例、方法和技巧

专家点评：主要讲述了如何使用微信在o2o时代产生最大的营销效果

O2O 移动互联网时代的商业革命

专家点评：通过大量成功案例极富洞察力地分析了O2O在营销、支付和消费体验三大方面的巨大作用，而且还经验性地总结了O2O的产品设计、O2O组织的构建与组织文化、O2O的运营

跨界 开启互联网与传统行业融合新趋势

专家点评：为你解读当下中国移动互联网产业格局和变化趋势，助你拨云见日，把握发展机会。

微信营销解密：移动互联网时代的营销革命

专家点评：深入探讨微信营销本质、要义和核心价值，系统总结微信营销的原则、方法、步骤、技巧，以及营销效果的量化与评估。

专家点评：一本系统阐述移动互联网营销等相关方法

移动互联网营销：企业快速转型与升级秘笈

专家点评：针对移动互联网营销提供了系统的方法论和可执行的解决方案

电商3.0 玩转微信电商

专家点评：全面地为读者诠释了玩转微信电商的落地实操玩法

微信营销与运营 策略、方法、技巧与实践

专家点评：从营销角度深刻总结微信营销的步骤、方法、技巧、禁忌、营销效果的量化与评估，利用微信寻找新客户的有效途径，如何充分利用老顾客的价值、如何留住老顾客、如何挖掘新顾客、如何基于客户数据进行营销和商业决策

无微不至 5分钟玩转微信营销

专家点评：作者对自己在客户服务过程中的心得和经验的系统化梳理

爱生活：鬼脚七自媒体第二季

专家点评：本书是鬼脚七自媒体的原创文集

决战第三屏：移动互联网时代的商业与营销新规则

专家点评：第一屏：电视，第二屏：电脑，第三屏：手机。

网站运营直通车：网络整合营销

专家点评：由三位资深网络营销专家历时三年写成，内容涵盖网络营销的方方面面，是网络营销从业者必看的网站运营宝典

转折点：移动互联网时代的商业法则

专家点评：折射了“失控”、“颠覆式”、“社交化”和“去中介化”的互联网时代的美丽与焦灼

网络营销决胜武器：软文营销实战方法·案例·问题（第2版）

实战第三屏：移动营销实务十讲

专家点评：是移动营销热门书籍《决战第三屏：移动互联网时代的商业与营销新规则》的姊妹篇

现在，微信营销应该这样做

微信终极秘籍 精通公众号商业运营

专家点评：适合对微信5.0以上版本公众账号运营感兴趣的所有读者，尤其适合企业领袖、营销人员、创业者、移动电商领域人员精细化阅读。

专家点评：从实践角度系统总结了微信运营的5大准则、7大要素、3大策略、6大技巧和微信营销的8个步骤、6种方法和8个技巧

专家点评：迄今最个性、最直白的电商零售学箴言！

无师自通+12--轻松玩转微信实用攻略

专家点评：主要定位于爱好网络交友及联系的年轻一族

客户不丢：吸心大法，新老客户众归心

专家点评：阿里官方出品，丛书内容权威

微信营销揭秘：战略认知+运营策略+效果评估+行业案例

专家点评：多维度地详细介绍了企业或个人微信账号的运营与营销

微信营销应该这样做（案例实战版）

专家点评：本书是畅销书《微信营销应该这样做》的案例实战版

微信营销2.0：全面解析实战三大步骤、九大技巧和五大错误

微信蓝皮书（2014）

专家点评：国内第一本聚焦微信的精品研究图书。研究深入、内容全面、分析独到、可读性强，极具前瞻性和参考性。

微营销不微：企业移动互联网营销制胜法宝

专家点评：已被浙江大学微营销总裁实战班选做专用教材

微信营销实战手册：赚钱技巧+运营方案+成功案例

微信营销完全攻略 实战强化版

玩转电商·赢在淘宝：电商美女吴蚊米的55个分享

专家点评：业内多位电商大佬强力推荐：韩都衣舍赵迎光、茵曼方建华、电商自媒体鬼脚七、龚文祥、万擎咨询鲁振旺、淘宝大学步惊云、品途网刘宛岚

专家点评：国内首部基于微信课堂的关于电子商务、微信营销、企业经营、管理及文化的轻松读物

微信完全使用手册·无“微”不至：微信这样改变世界

企业微营销 移动互联网时代，这么营销就对了

专家点评：适读人群：企业董事长、总裁、市场部经理等中高级管理者

专家点评：可作为电子商务、工商管理、市场营销等相关专业的参考书

微信营销全案：微时代的制胜法宝

移动互联网时代的品牌密码：重建用户口碑相传法则

专家点评：阿里副总裁叶朋，茵曼方建华，电商大号龚文祥等力荐！

微信：社会化媒体营销的革命

一本书读懂互联网营销推广

专家点评：教你如何从QQ、微信、微博等社交网络中获得红利，探讨与剖析“点赞”功能全新网络营销玩儿法的著作

专家点评：一本微信营销实战指南

网络营销实战：传统企业如何借网络营销实现战略突围

专家点评：对于目前网络营销领域流行的微信营销、微博营销、视频营销、口碑营销、SNS营销、搜索营销、博客营销、事件营销、App营销都有精彩深入的讲解

颠覆式营销：把脉移动互联网时代

专家点评：用普通人看得懂的文字解说正常人应该知道的真相，以儒释道融通的思维阐释沉淀于事物深处的逻辑。

微信、微博立体营销：六天完成

专家点评：关于微信、微博立体、联合营销的著作

微信营销出奇制胜：微信营销策划人员宝典

专家点评：将微信营销运营策划分为四个方面来展开论述

专家点评：全彩印刷、完全图解版微信营销书！

社会化商务：全面解读互联网下的新型商务

专家点评：本书全面解读社会化商务，助你快速了解社会化媒体生态。

专家点评：从微博的角度看微信，从微信的角度看微博

步步微赢:微时代品牌顶级商业模式

专家点评：全面整合微信、微博、APP、微电影等微营销利器的微品牌实操宝典

专家点评：《微博控控微博》姐妹篇，更多干货更靠谱更好看的“微信推广”实战书

微信力：掌中商战的顶级营销策略

政务微信实用方法、技巧与案例指南

专家点评：本书为《微信“赢”销》的实战升级版

微营销:手机里的营销帝国

做让用户尖叫的产品(互联网金融创新案例经典)

专家点评：涵盖余额宝、理财通、微信红包、百度钱包、1898咖啡馆、众筹网、翼龙贷、拾财贷、人人贷、融360、众安保险、阿里小贷和京东供应链金融等多家互联网金融产品的创新案例

给你一部手机，你能怎么赚钱：指尖上的营销诱惑

专家点评：移动互联网营销实操宝典，微博、微信、App、手机网站、二维码等网络营销策略一网打尽

专家点评：淘宝网十大网商，马云三次为其点赞，微信营销第一人，这本书未出版，已众筹了128万！

一本书读懂微信公众营销

专家点评：13章专题内容详解＋20多条营销专家指点＋70多个微信营销成功案例＋470多张实战操作图片

微信公众平台搭建与开发揭秘（第2版）

专家点评：简单易学，内容很基础，比较适合未搞过开发或者初学微信开发的人。

微信公众平台开发基础与实战

专家点评：作者开发了开源的WeChatPHPSDK项目，在github上使用过该SDK的读者不妨一读。

微信公众平台应用开发实战（第2版）

专家点评：介绍了海量请求及高性能的处理方法，公众号用户达百万级别的开发人员值得参考。

微信公众平台搭建、开发与实践指南

专家点评：对微信公众平台所用到的XML、JSON等知识有重点讲述。

企业微信公众平台开发实战

专家点评：重点讲解了微网站、微信营销大转盘和微信小店开发方面的知识。也是唯一一本讲解微信小店开发的书籍。

微信公众平台应用开发：方法、技巧与案例

专家点评：使用Java版讲解，也是唯一一本Java写的微信开发书籍。

微信公众平台企业应用开发实战

专家点评：以C#语言讲解，适合C#的开发人员。唯一一本C#讲解微信开发的书。

点击上方“芋道源码”，选择“”

做积极的人，而不是积极废人！

• 二、第一版：面向过程——2个月

• 三、第二版：面向对象——21天

• 四、第三版：完全解耦（队列+多线程）——3天

• 五、第四版：高度抽象（一键启动）——4小时

• 六、关于继续优化的思考

一直不知道性能优化都要做些什么，从哪方面思考，直到最近接手了一个公司的小项目，可谓麻雀虽小五脏俱全。让我这个编程小白学到了很多性能优化的知识，或者说一些思考方式。真的感受到任何一点效率的损失放大一定倍数时，将会是天文数字。

最初我的程序计算下来需要跑2个月才能跑完，经过2周不断地调整架构和细节，将性能提升到了4小时完成。整体性能提升了360倍

很多心得体会，希望和大家分享，也希望多多批评指正，共同进步。

我将公司的项目内容抽象，大概是要做这样一件事情：

1、数据库A中有2000万条用户数据；

2、将数据库A中的用户读出，为每条用户生成guid，并保存到数据库B中；

3、同时在数据库A中生成关联表；

1、将用户存入数据库B的过程需要调用sdk的注册接口，不允许直接操作jdbc进行插入；

2、数据要求可恢复：再次运行要跳过已成功的数据；出错的数据要进行持久化以便下次可以选择恢复该部分数据；

3、数据要保证一致性：在不出错的情况下，数据库B的用户必然一一对应数据库A的关联表。如果出错，那么正确的数据加上记录下来的出错数据后要保证一致性；

4、速度要尽可能块：共2000万条数据，在保证正确性的前提下，至多一天内完成；

特征：面向过程、单一线程、不可拓展、极度耦合、逐条插入、数据不可恢复

最初的一版简直是汇聚了一个项目的所有缺点。整个流程就是从A库读出一条数据，立刻做处理，然后调用接口插入B库

然后在拼一个关联表的sql语句，插入A库。没有计数器，没有错误信息处理。

这样下来的代码最终预测2000万条数据要处理2个月。如果中间哪怕一条数据出错，又要重新再来2个月。简直可怕。

这个流程图就等同于废话，是完全基于面向过程的思想，整个代码就是在一个大main方法里写的，实际业务流程完全等同于代码的流程。

思考起来简单，但实现和维护起来极为困难，代码结构冗长混乱。而且几乎是不可扩展的。暂且不谈代码的设计美观，它的效率如此低下主要有一下几点：

1、每一条数据的速度受制于整个链条中最慢的一环。

试想假如有一条A库插入关联表的数据卡住了，等待将近1分钟（夸张了点），那这一分钟jvm完全就在傻等，它完全可以继续进行之前的两步。

正如你等待鸡蛋煮熟的过程中可以同时去做其他的事一样。

2、向B库插入用户需要调用sdk（HTTP请求）接口

那每一次调用都需要建立连接，等待响应，再释放链接。正如你要给朋友送一箱苹果，你分成100次每次只送一个，时间全搭载路上了。

特征：面向对象、单一线程、可拓展、略微耦合、批量插入、数据可恢复

根据第一版设计的问题，第二版有了一些改进。当然最明显的就是从面向过程的思想转变为面向对象。

我将整个过程抽离出来，分配给不同的对象去处理。这样，我所分配的对象时这样的：

负责从配置文件中读取本次任务的策略并传递给执行者，配置包括基础配置如总条数，每次批量查询的数量，每次批量插入的数量。

还有一些数据源方面的，如来源表的表名、列名、等，这样如果换成其他数据库的类似导入，就能供通过配置进行拓展了。

整个执行过程可以分成三个部分：读数据--处理数据--写数据，可以分别交给三个对象Reader，Processor，Writer进行。

这样如果某一处逻辑变了，可以单独进行改变而不影响其他环节。

这样每当有数据出现异常时，便把改数据扔给这个类，在这给类中进行写入日志，或者其他的处理办法。在一定程度上将失败数据的处理解耦。

这种设计很大程度上解除了耦合，尤其是失败数据的处理基本上完全解耦。

但由于整个执行过程仍然是需要有一个main来分别调用三个对象处理任务，因此三者之间还是没有完全解耦

main部分的逻辑依然是面向过程的思想，比较复杂。即使把main中执行的逻辑抽出一个service，这个问题依然没有解决。

由于将第一版的逐条插入改为批量插入。其中sdk接口部分是批量传入一组数据，减少了http请求的次数。生成关联表的部分是用了jdbc batch操作，将之前逐条插入的excute改为excuteBatch，效率提升很明显。

这两部分批量带来的效率提升，将原本需要两个月时间的代码，提升到了21天，但依然是天文数字。

可以看出，本次效率提升仅仅是在减少http请求次数，优化sql的插入逻辑方面做出来努力，但依然没有解决第一版的一个致命问题

即一次循环的速度依然受制于整个链条中最慢的一环，三者没有解耦也可以从这一点看出，在其他两者没有将工作做完时，就只能傻等，这是效率损失最严重的地方了。

特征：面向对象、多线程、可拓展、完全解耦、批量插入、数据可恢复。

该版并没有代码实现，但确是过度到下一版的重要思考过程，故记录在次。这一版本较上一版的重大改进之处有两点：队列和多线程。

**队列：**其中队列的使用使上一版未完全解耦的执行类之间，实现了完全解耦，将同步过程变为异步，同时也是多线程能够使用的前提。

Reader做的事就是读取数据，并放入队列，至于它的下一个环节Processor如何处理队列的数据，它完全不用理会，

这时便可以继续读取数据。这便做到了完全解耦，处理队列的数据也能够使用多线程了。

**多线程：**Processor和Writer所做的事情，就是读取自身队列中的数据，然后处理。只不过Processor比Writer还承担了一个往下一环队列里放数据的过程。

此处的队列用的是多线程安全队列ConcurrentLinkedQueue。因此可以肆无忌惮地使用多线程来执行这两者的任务。

由于各个环节之间的完全解耦，某一环上的偶尔卡主并不再影响整个过程的进度，所以效率提升不知一两点。

还有一点就是数据的可恢复性在这个设计中有了保障，成功过的用户被保存起来以便再次运行不会冲突，失败的关联表数据也被记录下来

在下次运行时Writer会先将这一部分加入到自己的队列里，整个数据的正确性就有了一个不是特别完善的方案，效率也有了可观的提升。

虽然效率从21天提升到了3天，但我们还要思考一些问题。实际在执行的过程中发现，Writer所完成的数据总是紧跟在Processor之后。

这就说明Processor的处理速度要慢于Writer，因为Processor插入数据库之前还要走一段注册用户的业务逻辑。

这就有个问题，当上一环的速度慢过下一环时，还有必要进行批量的操作么？

试想一下，如果你在生产线上，你的上一环2秒钟处理一个零件，而你的速度是1秒钟一个。这时即使你的批量处理速度更快，从系统最优的角度考虑，你也应该来一个零件就马上处理，而不是等积攒到100个再批量处理。

还有一个问题是，我们从未考虑过Reader的性能。实际上我用的是limit操作来批量读取数据库

而mysql的limit是先全表查再截取，当起始位置很大时，就会越来越慢。0-1000万还算轻松，但1000万到2000万简直是“寸步难行”。所以最终效率的瓶颈反而落到了读库操作上。

特征：面向接口、多线程、可拓展、完全解耦、批量或逐条插入、数据可恢复、优化查询的limit操作

优雅的代码应该是整洁而美妙，不应是冗长而复杂的。这一版将会设计出简洁度如第一版，而性能和拓展性超越所有版本的架构。

通过总结前三版特征，我发现不论是Reader，Processor，Writer，都有共同的特征：启动任务、处理任务、结束任务。

而Reader和Processor又有一个共同的可以向下一道工序传递数据，通知下一道工序数据传递结束的功能。

他们就像生产线上的一个个工序，相互关联而又各自独立地运行着。每一道工序都可以启动，疯狂地处理任务，直到上一道工序通知结束为止。

而第一个发起通知结束的便是Reader，之后便一个通知下一个，直到整个工序停止，这个过程就是美妙的。

因此我们可以将这三者都看做是Job，除了Reader外又都有与上一道工序交互的能力（其实Reader的上一道工序就是数据库），因此便有了如下的接口设计。

有了这样的接口设计，不论实现类具体怎么写，主方法已经可以写出了，变得异常整洁有序。

只提炼主干部分，去掉了一些细枝末节，如日志输出、时间记录等。

接下来就是具体实现类的问题了，这里实现类主要实现的是三个功能：

1、接收上一环的数据：

属于Interactive接口的receive方法的实现，基于之前的设计，即是对象中有一个ConcurrentLinkedQueue类型的属性，用来接收上一环传来的数据。

2、处理数据并传递给下一环：

在每一个（有下一环的）对象属性中，放入下一环的对象。如Reader中要有Processor对象，Processor要有Writer，一旦有数据需要加入下一环的队列，调用其receiive方法即可。

3、告诉下一环我结束了：

本任务结束时，调用下一环对象的closeInteractive方法。而每个对象判断自身结束的方法视情况而定

比如Reader结束的条件是批量读取的数据超过了一开始设置的total，说明数据读取完毕，可以结束。

而Processor结束的条件是，它被上一环通知了结束，并且从自己的队列中poll不出东西了，证明应该结束，结束后再通知下一环节。

这样整个工序就安全有序地退出了。不过由于是多线程，所以Processor不能贸然通知Writer结束信号，需要在Processor内部弄一个计数器，只有计数器达到预期的数量的那个线程的Processor，才能发起结束通知。

正如上一版提出的，Processor的处理速度要慢于Writer，所以Writer并不需要用batch去处理数据的插入，该成逐条插入反而是提高性能的一种方式。

大数据量limit操作十分耗时，由于测试部分只是在前几百万条测试，所以还是大大低估了效率的损失。在后几百万条可以说每一次limit的读取都寸步难行。

考虑到这个问题，我选去了唯一一个有索引并且稍稍易于排序的字段“用户的手机号”，（不想吐槽它们设计表的时候居然没有自增id。。。）

每次全表将手机号排序，再limit查询。查询之后将最后一条的手机号保存起来，成为当前读取的最后一条数据的一个标识。下次再limit操作就可以从这个手机号之后开始查询了。

这样每次查询不论从哪里开始，速度都是一样的。虽然前面部分的数据速度与之前的方案相比慢了不少，但却完美解决了大数据量limit操作的超长等待时间，预防了危险的发生。

至此，项目架构再次简洁起来，但同第一版相比，已经不是同一级别的简洁了。

1、Reader部分是单线程在处理，由于读取是从数据库中，并不是队列中，因此设计成多线程有些麻烦，但并不是不可，这里是优化点

2、日志部分占有很大一部分比例，2000万条读、处理、写就要有至少6000万次日志输出。如果设计成异步处理，效率会提升不少。

欢迎加入我的知识星球，一起探讨架构，交流源码。加入方式，长按下方二维码噢：

已在知识星球更新源码解析如下：

提供近 3W 行代码的 SpringBoot 示例，以及超 4W 行代码的电商微服务项目。

获取方式：点“在看”，关注公众号并回复 666 领取，更多内容陆续奉上。