中企动力 > 商学院 > 电商数据采集
  • ?

    网页抓取信息采集,大数据看拼多多销量最好的单品是什么

    卓海云

    展开

    我在杭州有位朋友,提到有家做社交的电商很火,叫拼多多,我没有在意,直到有一天,我居然在电视上看到了它的广告,广告画面活蹦乱跳,余音绕梁,我惊呆了,想知道这是何方YL,不,何方神圣,网上搜了下,流传着各种版本,比如月GMV超过400亿啦,已经威胁到京东淘宝啦,等。

    辣么,怎么样才能知道拼多多的这些信息呢?比如,拼多多到底有多少在售商品,卖了多少钱?不单单是拼多多的投资人,也许淘宝京东,也想知道。

    我有个简单的想法,不一定对,就是抓取拼多多的商品条目,这些条目至少有分类,价格,已出售数量等信息,做一个简单的加法,是不是就可以得到GMV了呢?

    当然,缺点也很明显,就是由于第一次获取数据,只能得到这个时间点的切面信息,其他的信息, 比如每日每周每月的数据,要持续的获取才能得到。

    当然,我们先走第一步,开个头。现在,我们就从一个切面来窥探下。

    我们获取了多少商品条目?

    49.78万,大约50万条。这些数据全不全,肯定不全,但是基本上覆盖了拼多多的绝大部分在售商品,再退一步,数据的量级应该是没错的(数据获取时间:2018-04-15)。

    这些商品总共卖出了多少钱?

    50万条商品,每件商品有不同的SKU,比如某个店家的芒果,下面有4个SKU,5斤的小的拼单价20元,5斤的大的30元, 8斤的小的40元,8斤的大的50元, 分别卖出了400份,300份,200份,100份,那么这个商品总销售额就是400*20 + 300*30+ 200*40+ 100*50 = 30000元。

    如此,我们就可以计算出总计50万商品的销售额。

    288亿。

    我对电商是个外行,一般商品上面的“已卖出9527件”,问下各位电商业界人士,这个是当月的销售数量吗?如果是的话,那288亿就是月GMV,考虑到本月只过去一半,辣么,传言的“拼多多月GMV超过400亿”,或许,空穴不来风。

    288亿是一个什么概念呢,我们搜索了京东财报的公开新闻:

    京东2017年GMV接近1.3万亿,净利润50亿元。

    可以估计去年京东的月均GMV大概是1100亿,电商的GMV同比可达50%+增长,胡乱估计京东2018月GMV大概1500亿,辣么,拼多多的GMV大约为京东的三分之一。

    这个, 还是有点吃惊的啊。

    销售额前十的品类是哪些?

    了解一个电商平台销售额前几位的品类,有助于判断它的竞争优势,比如电器数码等产品之于京东,服饰箱包之于淘宝,图书音像之于当当。

    拼多多的主打品类是什么呢?

    电商喜欢将商品分为三级品类,比如食品-水果-猕猴桃。 以下我们列出一级类目和三级类目排名前十的数据。

    全部一级品类成交额:

    一级类目销售额前10的品类:

    前三名分别是食品,母婴,女装。成交额分别是40亿,31亿,27亿。厉害了。

    来看看前三名的销售额占所有36个一级类目的成交额比例,足足三分之一强。

    三级类目销售额前10的品类:

    第一名是抽纸,卖了5个多亿!

    我有点好奇,想知道是什么牌子的抽纸卖了这么多呢?同时也为了验证数据的准确性,从数据库中找到了(历史)销量最高的抽纸,销量508万。

    根据名字,手动在拼多多APP找到了这款产品,它的名字也许你没有听过,是这样的:

    嗯,数据是正确的(这2天又多了2万,手机传过来的,这图怎么这么大)。

    作为对比, 看了京东销量最高的单品,维达是320多万,和拼多多排名第二的,一个名叫“初采”的抽纸销量(343万)差不多。

    销售量前二十的商品是哪些?

    商品的销售量代表了人气,当然,也许一个商品有人会买多份,无论如何,我们可以从中看出拼多多最多客户购买的产品是什么:

    第一名还是抽纸,第二名不可描述,第三名伞(希望大家能够点击查看原图,否则压缩的看不清了啊)。后面还有几个也是抽纸,嗯,我就不懂了,为什么这么多抽纸,拼多多主要就是卖纸的?

    销量前二十的商品,销售量都在200万以上。给我的感觉,有点类似于超市,更确切地说,有点像杂货铺,或者,类似于小时候村头的小卖部,以实用的生活用品为主,实在,方便,实惠。

    总结

    在这个万众创新,消费升级的年代,拼多多这样的社交电商的出现,在满足普通人民物美价廉需求方面,大获成功,让我有种错觉,难道这代表了我们的社会反而陷入了消费降级的陷阱吗?

    因为拼多多的这些数据, 我想起几年前读过的一位名为三浦展的作者写的一本书:《下流社会》,这里的下流社会并不是贬义,只是探讨日本社会的社会消费,阶层团块。

    “下流社会”这个术语一经在日本出现,立即引爆讨论。因为社会“向下流动”的趋势正在世界悄然成形,日美欧曾引以为傲的中产阶层正在消失,出现“上流”与“下流”的两极分化。年轻一代源源不断加入的“下流社会”,其最大的特征并不仅仅是低收入,更在于沟通能力、生活能力、工作意愿、学习意愿、消费意愿等的全面下降,也可以说是“对全盘人生热情低下”。社会下沉的拉力愈来愈大,当全球社会纷纷向下流动,中国,能预防吗?

    但是,拼多多的兴起也许是另外的情况,因为中国太大了,也许真的是消费升级,只是不是一二线城市居民的消费升级呢?

    拼多多销量最好的单品是什么?抽纸。

    这让我想起,小时候在农村,去洗手间方便,额说错了,是去茅房如厕,那时候哪里有什么清风维达和初采啊,就是用过的书本练习册什么的。现在大家生活水平提高了,开始用抽纸卷筒纸,看,这,算不算消费升级呢?

  • ?

    电商类企业数据收集处理实践及中外合规建议|互联网法律观察

    保罗

    展开

    电商类企业典型代表及其实践

    国内电商平台以淘宝和京东商城为例,这两家企业为2017年7月中央网信办、工信部、公安部、国家标准委等四部门隐私条款专项评审工作名单之列,并分别于2017年8月21日(淘宝)和2017年8月20日(京东商城)更新了隐私政策。

    国内电商行业遵从个人信息保护的相关规定的主要依据是《网络安全法》、《电信和互联网用户个人信息保护规定》以及《网络交易网络管理办法》,本次隐私政策的审核与修订,使得淘宝和京东在电商行业的个人信息保护走在了前列,起到模范示例作用,重点体现在:

    1. 个人信息的分类

    个人信息区分一般信息和敏感信息的规定见于《公共及商用服务信息系统个人信息保护指南》,对一般信息可以采取个人默示同意的方式,但对敏感类信息要求获得个人的明示同意。京东和淘宝并未采用不同分类的同意标准,但也均明确列举个人信息中的敏感信息。例如:

    【京东】您的财产信息(包括交易记录及京东余额、京豆、优惠券、E卡等虚拟财产信息);面部识别特征;个人身份信息(包括身份证、军官证、护照、驾驶证、户口本);网络身份识别信息(包括账户名、账户昵称、邮箱地址及与前述有关的密码与密码保护问题和答案);其他信息(包括通讯录、个人电话号码、手机号码、行程信息、网页浏览记录、住宿信息、精准定位信息);

    【淘宝】包括身份证件号码、个人生物识别信息、银行账号、财产信息、行踪轨迹、交易信息、14岁以下(含)儿童的个人信息等。

    这种分类,使得敏感信息给予更强保护,比如京东在处理商业信息推送的问题时规定,“为了保护您的隐私,我们不会以任何方式和途径向您推送涉及宗教信仰、性、疾病等相关敏感内容的促销或商品信息给您。”

    2. 履行告知义务

    四部委的隐私政策审核中重点关注如下告知义务,该等义务均以明确的条款说明和详细的列举体现在京东和淘宝修订后的隐私政策中。

    ——明确告知收集的个人信息以及收集方式;

    ——明确告知使用个人信息的规则,例如形成用户画像及画像的目的,是否用于推送商业广告等;

    ——明确告知用户访问、删除、更正其个人信息的权利、实现方式、限制条件等。

    事实上,整部隐私政策通篇都是在履行告知义务,与以往隐私政策将收集哪些信息,收集信息的目的割裂并概括介绍的方式不同,新的隐私政策都采用了详细说明个人信息使用的情景模式、收集具体信息,收集目的,使用方式来获得用户的知悉和同意,以满足《电信和互联网用户个人信息保护规定》中有关个人信息收集和使用中的合法、正当、必要的原则。

    3. 用户管理个人信息的权利

    根据《网络安全法》的相关条款,个人享有删除或者更正的权利,但是参照国际上的做法,京东和淘宝均规定了更多的用户管理个人信息的权利。包括(1)访问个人信息;(2)更正或补充个人信息;(3)删除个人信息;(4)改变对授权范围个人信息;(5)注销个人信息。

    隐私政策均说明实现这些权利的方法,以及实现这些权利可能受到限制的情形。

    4. 安全保护承诺

    《网络安全法》要求网络运营者应当采取技术措施和其他必要措施,确保其收集的个人信息安全,防止信息泄露、毁损、丢失。

    《电信和互联网用户个人信息保护规定》第十三条明确规定了互联网信息服务提供者应当采取的八种措施,以防止用户个人信息泄露、毁损、篡改或者丢失。

    《网络交易管理办法》网络商品经营者、有关服务经营者应当采取技术措施和其他必要措施,确保信息安全,防止信息泄露、丢失。在发生或者可能发生信息泄露、丢失的情况时,应当立即采取补救措施。

    京东和淘宝的新政策中对所采取的措施列举比较相近,但建议可以逐条匹配《电信和互联网用户个人信息保护规定》作出更详细的说明,以满足法规的强制性要求。

    5. 向第三方披露

    京东和淘宝均以“我们如何共享、转让、公开披露您的个人信息”详细阐述在不会擅自向第三方共享、转让、公开披露个人信息的例外情形。

    其中京东还对如何保存个人信息做了说明,约定京东将保存个人信息至账号注销之日后的一个月,并约定该一个月为后悔期,可随时恢复账户。

    6. 隐私政策的修改原则

    隐私政策的修改原则本质上是对同意原则的补充,在国内法律没有明确否认“默示同意”的原则的情况下,电商企业通过协议约定,可随时修订并公告更新后隐私政策,可视为获得用户的默示同意。

    基于此基础,京东和淘宝的隐私政策的修改原则做了更完善的约定:

    -- 保留可能随时修改的权利,说明在专门页面发布;

    -- 对于重大变化,将采取更为显著的通知(网络公示甚至弹窗);

    -- 说明何为重大变化;

    -- 旧版本在专门页面上存档。

    7. 商业资讯

    《网络交易管理办法》规定,网络商品经营者、有关服务经营者未经消费者同意或者请求,或者消费者明确表示拒绝的,不得向其发送商业性电子信息。

    目前,各大企业所收集的数据均进行了用户画像以用作广告定向推广之用途。为此京东和淘宝的隐私政策,在说明如何收集和使用信息的条款中,特别说明用户画像是一种匿名化处理,声明不具有任何可识别性,同时向用户告知明确的拒绝接受该等商业信息的途径。

    8. 救济措施

    《网络安全法》对运营者所采取的用户的救济措施如下:

    ——投诉举报权

    网络运营者应当建立网络信息安全投诉、举报制度,公布投诉、举报方式等信息,及时受理并处理有关网络信息安全的投诉和举报。

    ——报告制度

    在发生或者可能发生个人信息泄露、毁损、丢失的情况时,应当立即采取补救措施,按照规定及时告知用户并向有关主管部门报告。

    ——必要措施救济和警示

    发生网络安全事件,应当立即启动网络安全事件应急预案,对网络安全事件进行调查和评估,要求网络运营者采取技术措施和其他必要措施,消除安全隐患,防止危害扩大,并及时向社会发布与公众有关的警示信息。

    现有京东和淘宝的隐私政策,有关救济措施的条款说明包括如下几个重点:保护用户的知情权,向用户告知安全事件的基本情况和可能的影响、已采取或将要采取的处置措施、用户可自主防范和降低风险的建议、对用户的补救措施等。

    欧盟《一般数据保护条例》(GDPR)对国内电商企业影响

    欧盟《一般数据保护条例》(GDPR)将在2018年的5月生效执行,它广泛的属地及属人属性亦将对国内电商企业运营中可能收集到的欧盟主体的个人信息行为进行规制。淘宝和京东的本次隐私政策修订也充分借鉴了GDPR的相关要求,与国际接轨。纵观GDPR要求所涉及的角度非常广泛,以下仅结合电商企业运营特点进行要点介绍:

    1. 个人信息风险等级

    GDPR对个人信息处理活动的风险划分为较高风险、一般风险、较低风险三类,对较高风险的个人信息处理活动,规定了较高的义务。

    根据目前的规定,高风险的信息处理活动包括对个人特征的系统性评价;以及大量敏感数据的处理以及对公共领域大规模的系统性监控,我们认为电商行业的个人信息处理活动应不归类在高风险信息活动之列,无需满足该风险等级的较高义务。

    2. 数据主体的同意

    GDPR对数据主体的同意要求更加严格,同意必须是具体的、清晰的,是用户在充分知情的前提下自有做出的;必须是明确表示;数据主体的缄默或者不回应不能构成授权。

    明确了授权的4个要件:

    (1) 数据控制者必须保证主体授权是用于特定目的;

    (2) 数据主体的书面授权必须与其他事项授权进行区分;

    (3) 授权可撤回(但不影响撤回前的数据处理的有效性);

    (4) 在数据控制者和数据主体地位显著不平衡时,授权不能作为处理数据的合法依据。

    儿童数据应获得监护人的同意

    因此,电商企业在获得数据主体的同意时应注意:

    (1) 用户协议中排除未成年人登记注册,或明确获得监护人的同意;

    (2) 应由数据主体主动勾选同意隐私政策(包括更新)选项;

    (3) 应制定单独隐私政策,确保有关数据的同意与其他事项的授权区分。

    3. 反对权

    GDPR规定数据主体拥有要求数据控制者删除与其相关的个人数据及避免其数据被传播的权利,尤其是数据主体童年时产生的数据。而且,数据控制者负责对其公开传播的数据,要通知其他第三方停止利用并删除。

    因此,电商企业应该在显著的页面(包括主页或者隐私政策) 给予数据主体要求删除个人数据以及不接受广告营销或者用户画像的权利的渠道并迅速执行。

    4. 数据出境及有约束的公司规则

    关于用户数据的出境,GDPR简化了企业日常的合规负担,特别是废除了目前各成员国关于数据处理及境外转移的许可或者备案程序,但要求企业在内部建立完善的问责机制。

    由于中国电商企业的用户数据大多数存储在中国境内的服务器,相当于所收集的欧盟用户的个人信息进行跨境的数据流动。由于中国不在欧盟的白名单中,那么为满足GDPR的要求,建议电商企业建立健全内部的个人信息保护体系,形成有约束的公司规则。同时,应密切注意欧盟及其成员国的进一步立法动态,是否有数据监管机构出台标准合同条款。

    5. 数据画像

    GDPR新增有关据画像的相关定义和规定,数据画像是“任何通过自动化方式处理个人数据的活动 ,该活动服务于评估个人的特定方面,或者专门分析及预测个人的特定方面, 包括工作表现、经济状况、位置、健康状况、个人偏好、可信赖度或者行为表现等”。合法的数据画像需要满足①数据主体明确同意;②欧盟或者成员国法的明确授权;③数据主体和数据控制者之间签订、执行合同所必需;而获得数据主体有效的同意,首先应当向数据主体全面介绍数据画像处理活动是怎么进行的,收集了哪些数据,算法的基本原理是什么,评估结果是否会对用户产生法律上的影响。其次,应当明确告知用户其享有对画像的反对权。此类信息应当明确无误地表达,并使用足够引起用户注意的范式独立于其他信息。

    对用户数据进行分析和画像是目前电商企业的常见做法,从而进一步开展广告或市场推广工作。原有的隐私政策中概括性说明会使用用户数据自动化处理并用于商业化资讯推送已无法满足GDPR的相关要求,建议在隐私政策中补充说明:

    (1) 用户画像的数据使用方式,先向数据主体全面介绍数据画像处理活动是怎么进行的,收集了哪些数据,算法的基本原理是什么,以评估不会对用户产生法律上的影响;

    (2) 明确告知用户的反对权,重点提示,包括说明反对权可行使的方式;

    (3) 说明敏感数据不会处理和进行画像。

    6. 数据处理方

    数据处理方被纳入GDRP的规制,在大多数情况下,数据处理方与数据控制方受到同样严格的监管要求,相关责任包括强调数据矗立着同等的安全保障义务,数据控制者和数据处理者之间的合同应至少包括哪些要求,数据监管机构扩展的监管权力也同时适用于数据处理者,用户个人也有权直接从数据处理者处主张赔偿等等。

    在电商行业的数据处理过程中,会存在各类第三方的服务工作涉及到数据处理,特别是与支付机构,快递机构,用户统计分析,广告商的合作中,企业作为数据控制者要满足:

    (1) 不仅要小心处理好与数据处理者的合同,符合GDPR的基本要求,

    (2) 要求数据处理者提供数据安全,数据泄露汇报以及数据保护影响评估方面的协助;

    (3) 告知和督促数据处理者在数据处理过程中共同满足GDPR的义务。

    关于德和衡享法

    德和衡享法互联网团队均来自国内著名互联网公司的法务部,致力于为高科技创新型公司提供贴心实用的一站式法律管家服务。自成立至今,我们已为近百家中小高科技创新公司提供了多样化服务。

    德和衡享法的主要业务模块包括融资并购、合规管理、新三板等更具互联网思维创新的特色法律服务,同时也针对初创企业的内部股权安排、劳动人事以及员工激励等开发了更实用优惠的专项打包法律服务。

    电商类企业典型代表及其实践

    国内电商平台以淘宝和京东商城为例,这两家企业为2017年7月中央网信办、工信部、公安部、国家标准委等四部门隐私条款专项评审工作名单之列,并分别于2017年8月21日(淘宝)和2017年8月20日(京东商城)更新了隐私政策。

    国内电商行业遵从个人信息保护的相关规定的主要依据是《网络安全法》、《电信和互联网用户个人信息保护规定》以及《网络交易网络管理办法》,本次隐私政策的审核与修订,使得淘宝和京东在电商行业的个人信息保护走在了前列,起到模范示例作用,重点体现在:

    1. 个人信息的分类

    个人信息区分一般信息和敏感信息的规定见于《公共及商用服务信息系统个人信息保护指南》,对一般信息可以采取个人默示同意的方式,但对敏感类信息要求获得个人的明示同意。京东和淘宝并未采用不同分...

  • ?

    基于电商数据挖掘的推荐引擎

    Upton

    展开

    数据挖掘(DATA MINING)简称 DM,它是利用数据仓库中的海量数据以挖掘数据间内在、固有的规律,通过有关客户、市场、产品、销售等数据建立起它们之间的关系,从中发现市场运行规律,为企业决策提供可靠的依据。如通过老客户保持分析,建立老客户流失预测模型,分析客户流失原因,为企业保持老客户采取有效措施提供决策支持;通过客户价值分析,将客户分为各种不同价值等级,对不同客户采用不同的优惠政策,达到留住优质客户的目的。

    数据挖掘作为大数据的应用方向之一,终极目的是挖掘潜在用户需求,服务于用户。如今已经进入了数据爆炸的年代,Web2.0的发展,web已经成为数据共享平台,在海量数据中,如何让人们寻找自己想要的信息变得越来越困难。这种情况下,搜索引擎(baidu 、google等)解决了用户的直接需求,通过搜索关键词可以找到自己想要的信息,但搜索引擎并不能够完全满足用户发现信息的需求,因为在某些情况下,用户并不明确自己的需求,或者他们很难用简单的关键词搜索来表达,又或者他们更需要符合自己口味或偏好的结果,因此,出现了推荐系统,与搜索引擎相对应,我们称之为推荐引擎。

    (一)关联推荐

    关联规则的挖掘主要是挖掘一些数据的依赖关系,通过关联规则的挖掘,我们可以找到哪些物品经常被同时购买,或者用户购买了一些物品后通常会购买哪些其他的物品,当我们挖掘出这些关联规则之后,我们可以基于这些规则给用户进行推荐。

    关联推荐可以帮助用户在满足某一类需求之后发现其他的潜在需求,从而带动网站其他产品的销售,关联推荐在营销上分为两种:向上营销和交叉营销。

    向上营销是同类产品线或升级产品的推荐,交叉营销是基于相似但不同类产品的推荐。

    现在我们要知道购买ipod的用户还购买最多的是哪个产品,以便我们更好的满足用户潜在需求以及促进网站更多销售,这需要从用户购物数据中寻找购买ipod产品基础上,又购买了其他某个产品的人数所占的比例,当这个比例达到了预设的目标水平时,就可以认为这两个产品是存在关联的,我们就可以向购买了ipod的用户但还没有购买商品B的用户推荐商品B。

    关联规则中有两个关键指标:支持度(support)和信任度(confidence)以衡量商品之间是否值得关联。

    支持度=购买A和B商品(集合G)的人数/所有购买过商品(集合U)的人数

    置信度=购买A和B商品(集合G)的人数/购买A商品(集合A)的人数

    商品A、B是否值得关联销售,网站需要设置一个最小支持度和最小信任度,当支持度、信任度达到一定值时就可以判定商品A、B可以关联销售。在用户的购买行为中,用户A不仅购买了商品B,还有可能购买商品C、D、E等一些列产品。因此,只有置信度大于最小置信度的这些商品组合才是有关联的,是值得推荐的,也可以认为关联购买率最高的宝贝是值得关联推荐的。

    (二)基于内容的推荐

    基于内容的推荐核心思想是根据推荐物品或内容的元数据,发现物品或者内容的相关性,然后基于用户以往的历史偏好,推荐给用户相似的物品。

    图给出了基于内容推荐的一个例子,书籍推荐系统。首先我们需要对书籍的元数据有一个建模,然后通过书籍的元数据发现书籍之间的相似度,因为类型都是“武侠、爱情”,书籍A和C被认为是相关书籍。除了书籍的类型,为实现更精准的推荐,我们还需考虑书籍的作者等信息最后实现推荐,对于用户A,他喜欢看书籍 A,那么系统就可以给他推荐类似的书籍C。

    基于内容的推荐机制的好处在于它能很好的建模用户的口味,能提供更加精确的推荐。但它也存在问题:仅仅依物品本身的元素特征,没有考虑到人对物品的态度,并且需要基于用户以往的历史偏好做出推荐,这对于新用户有“冷启动”的问题。

    (三)协同过滤推荐系统

    根据用户对物品或者信息的偏好,发现物品或者内容本身的相关性,或者是发现用户的相关性,然后再基于这些关联性进行推荐。

    1、基于用户的协同过滤推荐系统

    根据所有用户对物品或者信息的偏好,发现与当前用户口味和偏好相似的“邻居”用户群,然后,基于这 K 个邻居的历史偏好信息,为当前用户进行推荐。

    基本原理:

    假设四名用户A、B、C、D对C、D、E、F四本书的评分如下:

    A=(3,4,4,4,5)

    B=(4,4,2,5,3)

    C=(4,5,3,3,3)

    D=(3,4,5,2,2)

    用户B、C对四本书的评分很接近,我们可以推断,用户B、C具有相同或相似的口味和便好,当用户B购买了书籍G时,我们可以向用户C推荐书籍G。

    这种推荐的前提是基于大量的用户参与,一旦缺乏用户对物品的评价,那么这种推荐就失效,并且如果数据较少,推荐本身是不准确的。

    2、基于项目的协同过滤推荐系统

    根据所有用户对物品或者信息的偏好,发现商品和商品之间的相似度,然后根据用户的

    历史偏好信息,将类似的商品推荐给用户。

    假设用户A喜欢商品A、商品C,用户B喜欢商品A、商品B和商品C,用户C喜欢商品A,从这些用户的历史偏好可以分析出商品A和商品C比较类似,喜欢商品A的人都喜欢商品C,基于这个数据可以推断用户C很有可能也喜欢商品C,所以系统会将商品C推荐给用户C。

    要实现企业这种数据的挖掘,前提是要获得大量的数据, 数据要足够的大才能够找出其中的规律,才具有说服力,而数据的获取成为最基本的一个保证。因此,无论是传统企业还是新兴电商企业,IT技术是企业必须重视的一个环节,忽视IT技术而实施大数据运营是舍本逐末之举。

  • ?

    90天150亿数据采集,得出互联网主要用户已不再是人类,而是机器

    小讨厌

    展开

    人们都知道人口学的马尔萨斯假设——粮食生产呈算数增长,人口呈几何数增长。在单位亩产不可能有大突破的状况下,以粮食为主的生产资料只能依靠土地扩张。工业革命、农业科技和人口管理缓解了马尔萨斯问题。今天这个类似的危机又在虚拟世界里出现了。

    大数据世界的马尔萨斯定律可以这样描述:人口以算数极数增长,数据以几何级数增长。数据量以线性规律增加,计算量以非线性规律增长。

    世界所产生的数据始终在高速增长。这是因为数据赋能使所有人、所有人人类活动都在产生数据,只要想记录,就有无数的数据可以“无中生有”。

    很多电商网站早期只追求抢地盘、抢用户,重运营、清数据,并不在意数据布局。举个例子,用户如果只关闭了一个订单,过去电商系统并不记录这个行为,只会直接删除这个下单数据。但是后来发现记录和分析用户的失败交易数据也是有商业价值的,可以用于统计用户信用、喜好等,于是决定记录下来。每个行为都有被记录,数据量就开始成倍增长。

    数据的存储一直是一个大问题。根据市场研究公司Forrester估计,每部智能手机产生的数据平均可达1G。全球智能手机用户数量保守估计达20多亿。每天可产生20多亿G数据。如果用普通的1TB硬盘存储,每天所需的硬盘数量就达200多万块,1年就需要近8亿块硬盘。这已经远远超过全球硬盘生产商的产能。

    更恐怖的是,产生数据的主要还不是人类活动,incapsula在全世界2万个每天至少有10个访问量的网站,统计了90天150亿的访问数据后得出了这样一个数据:56%的网页浏览量都是爬虫机器人贡献。话句话说主要的互联网用户已经不是人类。大部分点击数据都是机器程序产生的。

    非人类访问中,近一半来自善意机器人,如搜索引擎的内容爬虫,它们能够对网页建立索引,方便人们快速查找到对应的网页内容。百度和谷歌就是使用这种方法整理全世界的信息。另外超过一半的浏览量就来自恶意机器人,比如盗取内容的爬虫、各种黑客工具、垃圾邮件等,而且比例还在不断增加。这就是互联网另一面的真实写照。这只是网页浏览状况,在整个人类社会,随着信息化和物联网的快速发展,连接入网的所有硬件都在时刻产生数据,互相通信。发电机组上的监测芯片时刻侦测运行状况并把数据发回服务器。

    遍布城市的摄像头把监控数据上传指挥中心,家里的智能电视,冰箱等都在采集和上传数据,即使全人类都沉沉睡去,世界也依然在数据海洋中律动。

  • ?

    电商运营如何创建实用的渠道分析漏斗

    雪曼

    展开

    电商平台做好数据分析的基础,是定义正确的关键指标与用户分群。对不同类型、不同阶段的电商平台,需要定义的关键指标与用户群组会有差异,因此要能够根据业务需要灵活创建可促进业务增长的分析报表。

    漏斗分析作为最基本的分析模型,可实现对电商运营关键节点转化率、不同渠道差异进行有效分析。

    以下以某母婴电商平台数据分析应用为例,说明漏斗分析在电商数据分析中的应用。

    平台发展初期为寻找最有效的推广渠道和产品的障碍点,对2018年5月运营数据分析,分析结果如下:

    渠道漏斗分析中,总的转化数据可以支持查找转化中的用户流失缺口,即找出用户流失最多的事件节点。

    从上图表可以看出:

    1. 用户注册比例普遍偏低,很有可能是注册流程繁琐造成,产品团队可以校验后进行优化。

    2. 注册后搜索、浏览商品比例非常高,可以考虑先让用户浏览商品,再引导其注册账号。

    3. 加入购物车后完成付款比例约30%,而首次购买后再次购买率非常高,说明产品质量过关,得到了绝大多数使用客户认可。可以考虑提供小份试用套装或者提供初次购买优惠,刺激用户快速结单。对于以购买用户,也可以考虑推出“分享获取优惠券、免运费“等激励,刺激用户成为宣传代表。

    而不同渠道的转化数据,有助于找出不同渠道质量,在平台发展初期,找准最优渠道后,将更多资源集中到最优渠道,以实现新客获取量与活跃用户积累量的最优化。

    从图表中数据可以得出:

    1. 可能因为平台还在起步阶段,知名度有限,通过搜索引擎关键词投放和头条信息流广告获取的用户转化率很低,可以适当减少投入。也可能是投放的关键词与信息流内容不够精准,吸引到的访客并非潜在客户,可通过A/B测试进行调优。

    2. 微信、微博KOL投放后转化效果较优,但需计算单次投放成本、单位获客成本,评估投放数量和频次。

    3. 微信、微博等自媒体运营效果良好,用户试用比例很高,但需关注提高加入购物车之后完成支付的比例,这里可以采用用户访谈等形式,寻找用户未完成支付原因。

    除了通过漏斗分析寻找最优获客渠道,还可以通过对用户的属性、消费习惯、等级等的分群,分析不同用户对不同商品的喜好程度、高粘性客户的关键行为事件、流失客户在离开前碰到的障碍等,制定相应的市场推广、用户运营与产品调优方案。

    数据采集点的提前布置是实现细致的用户数据分析的基础。比如渠道来源可以通过给链接添加utm参数追踪,用户对商品浏览、收藏、加入购物车等事件,可以通过埋点的方式进行数据采集,也可以通过LogBus等数据传输工具从服务器端进行数据收集。

    数据分析应该贯穿在产品设计、开发、运营的完整周期中,为公司装上数据驱动引擎。从设计初期构建良好的数据采集方案,奠定数据应用基础;起步期通过用户行为序列分析,进行产品调优;增长期通过转化漏斗、留存分析、用户分群与行为分析,寻找最高效的运营方案;稳定期通过明星用户、流失用户分析,探索新的增长动力。

  • ?

    大数据将给电商发展带来哪些改变

    惠凝蕊

    展开

    大数据,是指基于社会的进步与经济的飞速发展、科技的进步,对人们生产生活中产生的大量数据信息有效并及时地处理分析的一种技术,具有数据量大、数据种类繁多、价值密度高、处理速度快四大主要特征。近年来,大数据被广泛地应用于经济领域,成为社会发展的一种重要标志。在电子商务服务模式创新和升级中,结合大数据特点,运用相关技术深入革新电子商务服务模式,将更有利于电子商务长远平稳的发展。

    大数据时代下的电子商务及其特点

    在大数据的背景下,电子商务的发展借助大数据高效率的数据采集处理分析能力,将电子商务的价值创造推向新的高峰。作为伴随企业经济发展与消费这一需求产生的一系列新型的消费形式,无论是在电商平台、移动终端或是各类社交软件、其他任何第三方平台,电子商务都有着大量的数据产生。如何利用好这些数据信息,为电子商务提供更多有效的信息,这是传统的数据处理方法解决不了的问题。不仅仅数据的信息量庞大、种类繁多,而且在数据的分析整理时又将面临新的困难。在电子商务领域,数据信息不仅包括图片视频等,更重要的还有客户的评价及反馈意见。高效地利用这些有效信息可以为电子商务发展提供正确的方向。电子商务相关领域可以根据数据内的客户信息、评论以及反馈等,分析整理出消费者购物倾向,进而对产品的销售模式与销售方向进行调整,或从中整理出消费者需求并对产品的不足之处加以改进,以促进消费的增加。在大数据时代,以往被认为无用的数据垃圾,经由一定的处理分析与利用,往往会给企业带来意想不到的效益,为电子商务提供更加准确实时的消费信息及消费者需求,进而更准确地为企业制定出更适合的发展方向。

    在大数据的时代背景下,电子商务的经营模式发生了很大的变化,由传统的管理化的运营模式变为以信息为主体的数据化运营模式,电子商务的管理与各类经济环节都变得数据化,并且贯穿在整个电子商务环节中,小到基础材料的采购,大到资产运行及订单的完成。电子商务通过对大数据专业分析技术的运用,能够对消费者的消费习惯及消费心理进行归纳分析与预测,从而对电商产品的市场调度供需程度进行一系列的建议指导,降低电商生产成本,提高效益。另一方面,在电商的经营中,大数据时代的到来可以使整个电商行业的信息资源共享变得方便快捷。电子商务的各环节有效地利用大数据的整合处理技术,在整个产品生产供应环节中实现各种数据信息的及时共享,从而更好地吸引消费者,促进产品销售,实现电子商务企业的产业结构转型优化与完善。以往被认为毫无利益价值的数据资料将是炙手可热的资源,电子商务模式下产生的数据资源不仅可以为自己所用,也可以为电子商务企业创造相应的商业利益。各电子商务企业利用数据信息,开发数据分析业务、提供数据可视化服务,以及数据资源共享等,扩展电子商务经营渠道,为企业增加效益。

    电子商务服务模式改革遇到的困难

    资源共享困难。现阶段大数据时代已经到来,人们对大数据价值的理解也逐渐加深,但是大数据最根本的价值还没有被完全挖掘。究其原因在于大数据资源共享的应用并不完全。在我国,大数据的资源共享面临着很多困难,尤其是在电子商务领域,很多企业不具备大数据分析处理能力,使大量有效信息闲置、没有被充分利用。有些企业虽然已经意识到大数据的重要性,但由于自身能力的限制,使得大数据的处理、分析、收集与利用非常有限。除此之外,拥有大数据处理能力的企业,对于数据的分析存在一定的局限性认识,它们虽然认识到了大数据能够带来利益与价值,但却因为思想狭隘、保守而拒绝数据的分享与开放,只追求自身的眼前利益。

    有效数据信息提取困难。大数据最显著的特点就是数据量大。在繁多的数据中,不是所有的数据信息对电子商务服务模式革新发展都是有用处的,虽然大数据的处理能力一直在更新,但是快速的信息增长也为信息提取造成了极大的负担,从而使电子商务的服务模式在革新过程中对企业发展方向的制定产生了一定的偏差,造成资源的浪费与企业的损失。

    大数据时代电子商务服务模式创新

    增强导购中数据化利用。大数据时代的到来不仅为企业带来相应的利益,也方便了人们的生活。大数据真实记录了电子商务情况下,消费者的消费习惯与消费倾向。在电子商务服务模式革新中,充分利用大数据带给我们的信息资源,整合每个人的消费习惯,能够改革电子商务导购,加强数字化利用。在电子商务平台对用户的消费过程进行查看,通过整合消费者的消费记录,依据消费者的消费习惯,经过一定的分析处理,能够为消费者提供性价比更高的、更符合消费者消费意愿的产品,最大限度地促进消费,提高电子商务企业的效益。

    将服务模式垂直细分。大数据时代特征下,电子商务企业根据其自身特征,利用大数据产生的信息与有利资源,对电子商务服务模式进行相应的垂直细分。根据自身特点整合各方面需求,开辟符合自己企业发展的新领域。很多大型的电商平台,其规模与产品种类是一些小型电商不可比拟的,在此情况下想寻求发展,就必须在细节上入手,创建属于自己的有针对性的某电商领域的服务模式,将电子商务服务精品化,从而在众多电子商务服务平台中脱颖而出。

    创新服务更加符合消费者需求。大数据时代的到来不仅为电子商务发展带来了新的机遇,更为电子商务服务的创新带来了新思路。传统的电商服务创新总有很多局限因素,但是在大数据背景下,数据信息的提炼与整理为电子商务的服务模式创新带来了新的机遇,将大数据分析出的结果应用于电商销售的各个环节,根据消费者消费过程提供的数据进行分析,研发更加适合消费群体的个性化电商服务模式,充分利用网络资源与电子商务平台社交功能,通过各种渠道全面掌握消费者信息,从而革新电子商务服务模式,满足消费者消费理念,促进电子商务的新发展。

    随着互联网信息技术的进步,大数据时代的到来,各新兴技术为经济领域带来了很大的机遇,消费模式也由传统的实体消费逐渐变为实体与电商相结合的多种消费模式,并且电子商务在消费领域占据越来越重要的位置,这使得云储存与大数据成为企业发展的核心,其技术的运用也为电子商务服务模式革新提供更好的方向与路径。电商服务领域大数据的运用不仅可以主导企业发展方向,更为社会经济发展各领域创造出全新的商业模式。

  • ?

    实用分享:一个好的电商运营需要掌握的运营数据及分析把控方向

    Ogden

    展开

    一个好的电商运营人员,需要综合多个维度的信息及数据才能进行良好的店铺运营,当下,流量多元化与碎片化越来越严重,产品的同质化的案例更是不胜枚举,那么如何才能够让一个店铺在激烈的竞争中脱颖而出,下面罗列了9个大的方面与大家一起分享:

    1、对比整合,把控行业全局:市场容量分析、市场趋势分析、品牌竞争度分析;

    2. 多维交叉,洞察细分市场:市场细分维度划分、多维度交叉分析、细分市场选择技巧;

    3. 数据掘金,洞析竞争对手:生意参谋数据采集、竞争对手分类、竞争对手数据分析、竞争对手舆情分析;

    4. 数据预测模型,掌控店铺盈亏:变动成本和固定成本测算、项目毛利率测算、盈亏平衡销售额测算、销售额目标可行性分析;

    5. 训练全局思维,掌控店铺舵向:年度工作计划、品类及货品规划、销售额目标分解、流量目标分解、人力目标分解、成本分解、盈利分析、资本回报率;

    6. 预测与分析,把控现金流:现金周概念、收入分析、支出分析、现金分析、资金周转天数和周转率;

    7. 掌握数据库,搭建数据指标系统:应该熟知每个数据指标的含义,并且搭建数据指标体系。并且,根据自己梳理的数据指标体系,每天记录并分析数据的波动情况;

    8. 关注数据维度,培养数据思维。比如:对比不同品牌的销售情况,分析销售额的影响因子;

    9. 专题分析。词根分析,标题优化,直通车优化、店铺核心指标看板、商品分析、库存分析、渠道分析、市场分析、订单分析、竞争对手分析等等。

  • ?

    QQ数据采集软件-QQ营销必备

    Mayme

    展开

    QQ数据采集器-QQ营销必备工具

    导语

    现在是大数据时代,无论做什么营销都需要用到数据。数据是根本,数据能引导你的营销思维。做QQ营销同样需要大量的精准数据,今天小编为大家介绍一款QQ数据采集软件,这款软件既可以采集精准客户QQ,同时也可以采集精准客户QQ群以及QQ群成员。

    软件功能特点

    ⊙支持按关键词采集精准客户qq

    ⊙支持自动检测所采集好友是否为单双向好友

    ⊙支持自动检测所采集qq是否开通临时会话功能

    ⊙支持自动识别qq所在城市、性别。年龄

    ⊙支持按关键词采集精准客户qq群

    ⊙支持自动筛选出群主qq

    ⊙支持自动检测是否可以直接添加qq群

    ⊙支持以文本文档格式导出qq群

    ⊙支持采集qq附近的人(全国定位)

    ⊙支持采集本地好友和群

    ⊙支持采集空间qq

    ⊙支持采集微博听众

    ⊙支持采集企业qq

    ⊙支持论坛qq采集

    软件功能效果展示

    易推客营销软件

  • ?

    慢慢买 | 比价API电商数据采集定制

    小霜

    展开

    在当今社会竞争极大的情况下,想要开发一个电商网站前端数据的优化是必不可少的,加之处于移动互联网时代,面对风云莫测的市场环境,企业对于业务快速落地、产品灵活迭代的需求势必更加迫切。而慢慢买拥有业内领先的购物搜索引擎技术,如果您的网站想集成商品比价功能,并且想要充分利用各自的资源优势形成互补,拓展市场提高流量转换。那您必须了解下慢慢买的比价API功能:

    在当今社会竞争极大的情况下,想要开发一个电商网站前端数据的优化是必不可少的,加之处于移动互联网时代,面对风云莫测的市场环境,企业对于业务快速落地、产品灵活迭代的需求势必更加迫切。而慢慢买拥有业内领先的购物搜索引擎技术,如果您的网站想集成商品比价功能,并且想要充分利用各自的资源优势形成互补,拓展市场提高流量转换。那您必须了解下慢慢买的比价API功能:

    能满足以下2种使用场景:

    场景1:有自已的产品库,希望通过API获取该产品在各电商上的最新报价。

    先通过搜索API匹配产品报价,将报价与自有的产品库进行绑定入库,在前台用报价读取API读取最新的价格。

    场景2:仅仅想做一个比一比价这样的购物搜索系统该API有高效成熟的分词搜索技术,精准匹配搜索结果,并对结果排序,价格、品牌筛选等功能。

    这是个辅助API,配合搜索API的场景1使用,前端显示产品时,通过这个API获取最新的价格。

    这是一个独立的解决方案,推荐使用,主要有以下优势:

    1)集成了前面2个API接口的功能,减少合作方的开发成本;

    2)价格巡检系统,超出设定的价格范围就提醒(或价格波动提醒);

    3)数据可通过Excel灵活导出;

    4)合作方的商品数据可通过API导入,也可以灵活添加,以商品编号为唯一标识;

    5)设定需要哪些商城、商家的报价。可定制采集,做到商品价格全面准确;

    6)商城有商品上下架时自动识别绑定以及下架提示;

    7)通过API对接输出数据(主要是已绑定的价格信息),合作方将数据应用在自身平台。

    展示图:

    这也是一个API接口,可通过url获取商品各类信息。如果你想在文章内容里插入商品,并在用户浏览时自动显示最新报价(优惠信息)和历史价格走势,那就对了!用这个接口吧。

    1、商品编号API(id匹配标题与价格)

    2、商品地址返回信息(url获取商品名称及价格)

    3、商品地址返回优惠信息

    为什么选择慢慢买比价API

    1.获取数据成本低:开发一套合适成熟的比价软件,需要用到大量人工+配置,更重要的是时间耗不起;

    2.实时的数据采集,精准的数据来源;

    3.拥有独立的数据监控系统,随时可以获取调用信息;

    4.数据源覆盖国内多个电商平台商品信息。

    我们的客户

电商数据采集

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP