BI(BusinessIntelligence)即商业智能，越来越多的智能软件供应商推出可视化数据分析工具，应对企业业务人员的大数据分析需求。然而如果你觉得不是数据分析专业、没有挖掘算法基础就无法使用BI工具?NO，自助式分析工具已经让数据产品链条变得大众化。为了更好地帮助读者选择分析工具，重庆IT培训的老师将为大家介绍数说立方、数据观、BDP等11款BI-商业智能产品，排名不分先后!

　　1、数说立方

　　数说立方是数说故事新推出的一款面向数据分析师的在线商业智能产品。最重要的特点是配备百亿级社交数据库，同时支持全网公开数据实时抓取，从数据源端解决分析师难点;另外数说立方搭载了分布式搜索、语义分析、数据可视化三大引擎系统的海量计算平台，实现数据处理“探索式分析”和“秒级响应”的两个核心功能。同时数说立方是数说故事三大主打产品之一，并与其他两大产品数说聚合和数说雷达实现从数据源、数据分析、到数据展示完整的数据解决方案。

　　优点：

　　即便是个人免费版，体验和功能仍然非常好;

　　与自家产品“数说聚合”的无缝接入，支持定向抓取微信、微博等数据;

　　功能完善，集数据处理、特征工程、建模、文本挖掘为一体的机器学习平台;

　　可视化视图展现、友好的客户感知页面;

　　支持SAAS，私有化部署，有权限管理;

　　缺点：

　　产品新上市，操作指导页不太完善;

　　体验过程中有一些小bug;

　　2、数加平台

　　数加是阿里云发布的一站式大数据平台，可以提供数据采集、结构化、加工到展示分析整套的一站式数据服务。 可采集不同系统及物理存储的源头数据，在分布式计算平台上进行数据的深度整合、计算、挖掘，将计算的结果通过可视化的工具进行个性化的数据分析和展现，也可直观的展示分析现有云上业务系统的数据库数据。

　　优点：

　　有完整的产品规划，功能完善;

　　图形展示和客户感知良好;

　　提供SQL查询;

　　缺点：

　　需要捆绑阿里云才能使用，一般用户还不能真正使用起来;

　　部分体验功能一般，有一定的学习成本;

　　3、Tableau

　　Tableau是目前市面上较为成功的BI工具。产品既有针对性，又有普适性。拖放式界面，操作简单。数据兼容性强，适用于多种数据文件与数据库，同时也兼容多平台，windows、mac、Online均可使用。而且重要的一点是免费为用户安排现场培训或按需求进行在线培训。

　　优点：

　　处于行业领导者地位，功能完善;

　　有较好的图形展现与客户感知;

　　新产品开始支持云端展现，但是需要客户端支持;

　　缺点：

　　相比于商业智能BI，更像一个基于数据查询的数据展示工具;

　　处理不规范数据、转化复杂模型比较难;

　　无法处理大量数据;

　　国内网络连接Online版速度较慢;

　　4、Qlik

　　QlikView只需轻轻单击几下，就可以对所有数据源进行合并、搜索、可视化和分析，可在不影响性能的前提下连接到多个数据源;其次视图种类丰富，界面简洁，互动性强，总体来说是一款简单易用的BI产品。Qlik用户可通过各类可视化效果，将Qlik扩展到任何应用程序中。另外用户也可以通过使用标准的和最新的网络API，可将可视化效果数据嵌入网站或应用程序。

　　优点：

　　产品功能完善，图形展现和客户感知良好;

　　支持SAAS，有权限管理功能;

　　缺点：

　　有一定的学习成本;

　　报表规范性要求很高;

　　数据抓取功能都非常弱，需要有非常好的数据仓库作为基础;

　　5、Spotfire

　　Spotfire服务对象是一线工作人员和日常决策人员，其交互界面形象易懂，无需写脚本语言和编写程序就可以对数据进行添加、分离操作。内置搜索引擎，可以随意查找任意信息。支持R、S+等统计、挖掘功能;有丰富、开源的R模型。标记有自身特色，提供了过滤、钻取等功能，多个标记同时还可以实现图形化的集合运算。

　　优点：

　　交互界面形象易懂，即使是普通的业务人员也能轻而易举地进行复杂的数据分析;

　　不一定要建数据仓库，还可以直接从多个异构数据源提取数据进行分析;

　　支持SAAS，有权限管理功能;

　　缺点：

　　SAAS版只支持30M，由于是国外服务器所以上传很慢;

　　不适合中国式的固定报表;

　　进军中国市场较晚，国内案例较少;

　　工具的适应性范围广，但是难易跨度大;

　　6、神策分析

　　神策分析的产品有完整的使用文档，每个模块都有详细的使用说明以及示例，降低了用户的学习成本。而且支持私有部署、任意维度的交叉分析，并帮助客户搭建专属的数据仓库。目前提供事件分析、漏斗分析、留存分析、数据管理等功能，未来预计会增加用户分群、用户人群分析、推送和异常维度组合挖掘等，工具需要付费使用。

　　优点：

　　专注于用户行为数据分析，不追求做大而追求做全;

　　有详细的产品使用文档以及案例;

　　提供SQL查询;

　　缺点：

　　更多的是demo示例，不能开箱即用;

　　纯dashboard展示，并不能对单独一块数据作自定义分析;

　　7、BDP

　　BDP个人版使用免费，只需导入数据，设定分析维度，即可实时得到图表分析结果。产品示例和视频教学很细致，交互页面很友好。每次数据更新，对应的图表也会自动更新，可以免去一些重复分析、制作图表的数据工作。另外，分享环节也很贴心，数据仪表盘可以一键导出，也可直接生成链接分享给他人或分享到微信、微博等社交平台。

　　优点：

　　产品支持移动端;手机同步呈现最新数据

　　用户可以免费使用工具，还有免费公开的数据源;

　　操作体验流畅，界面友好，功能全，总体来说是一款不错的产品;

　　即便是个人免费版，体验和功能仍然非常好;

　　数据可以同步更新，免去了重复劳动的工作;

　　缺点：

　　官网的介绍比较简单;

　　8、永洪BI

　　永洪BI是一款可在前端进行多维分析和报表展现的BI软件。支持拖拽操作，数据源格式多样，提供不同级别的查询支持，支持跨库跨源连接。另外永洪提供了一款数据存储、数据处理的软件——MPP数据集市，可与BI打通，使得数据查询，钻取和展示的速度大幅度提高。不过其产品用户体验一般，拖拽过于自由，导致仪表盘布局不好控制;主题样式虽多但是给人感觉样式还是很传统。

　　优点：

　　商业流程完善，给人专业的感觉;

　　产品定制化的版本效果不错;

　　支持的数据接入较多;

　　缺点：

　　SAAS版体验很差，有一定的学习成本;

　　UI的视觉效果一般，整体可视化效果不够现代化;

　　9、数据观

　　数据观的功能设计理念是极简、无门槛，所以它最大的特点就是简单。数据观数据来自云端，如：百度 网盘、微盘、salesforce等。数据上传后，马上有推荐图表，引导明确。另外产品的使用没有技术门槛，无需专业IT知识，同时适用于非专业分析师出身的业务人员，可以快速将数据转化成直观的图表，适合一开始接触数据分析工具的非专业数据从业人员。

　　优点：

　　注册只需填写邮箱，且支持明道账号登陆;

　　使用引导明确，支持salesforce、百度云数据导入;

　　分析结果支持链接分享，大大降低用户的沟通成本;

　　缺点：

　　不支持超过20MB的数据上传;

　　数据导入后，数据分析体验方面存在bug;

　　产品的使用以点击为主，不支持拖拽操作;

　　10、FineBI

　　FineBI分为数据处理、可视分析和分享公用三大功能模块。支持多种数据源，图表风格清爽美观，可选择任意维度分析。分析页面由控件和组件组成，控件和组件的数量是可以添加至任意多个，但是布局的交互比较僵硬，且使用逻辑有点乱，引导不明确。需要安装本地客户端才能使用。

　　优点：

　　有较为详细的行业案例与技术方案;

　　产品演示和资源中心也较为清晰

　　缺点：

　　需要使用客户端，增加了使用的不便利性

　　只有仪表盘展示，BI报表需要另一款产品;

　　无法处理大量的数据;

　　11、魔镜

　　魔镜支持自动拖拽建模，同时可视化效果库十分酷炫。用户可以邀请团队成员到自己的项目，合作进行探索分析，并且按照需求有效控制访问数据的成员权限。产品模块规划完整，有基础企业版到hadoop等5种选择为，而且可以支持定制化服务。但是可能是云平台版的缘故，使用过程中出现不少BUG，企业版的体验可能会相对好一点。

　　优点：

　　产品模块的规划比较健全，其中包括数据源导入、数据分析、仪表盘、数据挖掘和数据工厂;

　　官网的设计不错，模板选择性大，颜值控可能会喜欢;

　　工具使用指导清晰，使用篇和方法篇等比较详细;

　　缺点：

　　产品存在较多的BUG，UI和功能相对其他产品来说较简陋;

　　部分产品模块并不能切实用于数据分析;

　　选择一款适用的BI产品，能够大大简化数据分析的繁杂工作，提高分析效率与质量。当然，以上每个工具各有优点，工具地址都给大家了，接下来就是轮到你动手的时候了，找一个自己喜欢的工具，开始吧!

提取的数据还不能直接拿来用？文件还没有被下载？格式等都还不符合要求？别着急，网页抓取工具火车采集器自有应对方案——数据处理。

网页抓取工具的数据处理功能包括三个部分，分别是内容处理、文件下载、内容过滤。下面依次给大家介绍：

1、内容处理：对从内容页面提取的数据进行替换、标签过滤、分词等进一步处理，我们可以同时添加多个操作，但这里需要注意的是，有多个操作时是按照从上到下的顺序来执行，也就是说，上个步骤的结果会作为下个步骤的参数。

下面来逐个介绍一下：

①提取内容为空：如果通过前面的规则无法准确提取或提取到的内容为空，则选择此项，此项应用后会使用正则匹配从原始页面中再次提取一次。

②内容替换/排除：将采集到的内容进行字符串替换，如需排除，则替换为空字符串即可，功能很灵活。如下图，可直接对内容进行替换，也可对字符串进行参数替换等（区别于工具栏中的同义词替换）。

③html标签过滤：过滤指定html标签，比如

④字符截取：通过开始和结束字符串对内容进行截取。适用于对已提取内容的截取调整。

⑤纯正则替换：如果一些内容（比如单一出现的文字）无法通过通用的内容替换来操作，那么则需要通过强大的正则表达式进行复杂的替换。

如“火爆的美式餐厅都在这里”，我们将其替换为“美式餐厅”，正则表达式如下：

⑥数据转换：包括将结果简转繁、将结果繁转简、自动转化为拼音和时间修正转化，共计四项处理。

⑦智能提取：包括提取第一张图片、智能提取时间、智能提取邮箱、智能提取手机号码、智能提取电话号码。

⑧高级功能：包括自动摘要、自动分词、自动分类、Http请求、字符编码转换、同义词替换、空内容缺省值、内容加前后缀、随机插入、运行C#代码、批量内容替换，统计标签字符串长度等一系列功能。

⑨补全单网址：将当前内容作为一个网址进行补全。

2、文件下载：可以自动探测并下载文件，可设置下载路径和文件名样式。

注意：文件下载中所指下载图片是源代码里有标准样式标签的图片地址。

比如是一个直接的图片地址http://locoy/logo.gif ,或者不规则的图片源码，采集器将会视为文件下载。

①将相对地址补全为绝对地址：勾选后会把标签采集到的相对地址补全为绝对地址。

②下载图片：勾选后源代码里的含标准样式的代码图片将被下载。

③探测文件真实地址但不下载：有时候采集到的是附件下载地址，而非真实的下载地址，点击后会有跳转。这种情况下勾选此项会将真实地址采集出来，但是只是得到下载地址并不下载。

④探测文件并下载：勾选后可以把采集到的任何格式的文件附件下载下来。

3、内容过滤：对于一些不符合条件的记录，可以通过设置内容过滤来删除或标记为未采。内容过滤有以下几个处理方法：

①内容不得包含和内容必须包含：可以设置多个词，支持选择所有条件都必须满足或满足其中一个条件即可。

②采集结果不得为空：该功能可以让某个字段不出现空内容。

③采集结果不得重复：该功能可以让某个字段不出现重复内容。设置此项前请确保没有采集过数据，或者需先清空采集数据。

④当内容长度小于(大于，等于，不等于)N时过滤：一个符号或一个字母或一个数字或一个汉字都计作一个。

注意：对于满足上述四条中的任何一条或者多条的情况下，可以在采集器的其他设置功能里设置直接删除此条记录，或把此条记录标记为未采集下次运行任务时会再次采集。

网页抓取工具火车采集器中配备一系列数据处理的好处是，当我们需要进行的只是一个很小的操作时，不需要再去写插件，去生成和编译，而是通过一步点击就可以将数据处理成我们需要的样子了。

选自NASA机器之心编译

参与：微胖、吴攀

NASA 刚刚发布了 2017—2018 年软件目录，每个软件都可以在这里免费下载到（https://goo.gl/hMuWRX），无需任何版权费或使用费。

这是 NASA 第三次发布这一免费软件目录，这也是其技术迁移项目（Technology Transfer Program）的一部分。该项目旨在确保用于太空探索研究任务的技术能够为公众所共享，以最大化国家利益。

2014 年，NASA 发布了这一软件目录的第一版，逐渐成为第一个由联邦政府部门——也是最大自定义代码创造者——编纂的公开软件清单。打那时起，NASA 已经与学生、产业界、个体以及其他政府部门共享了几千个软件程序。

「软件已经成为 NASA 每项任务、科学研究中的关键组成部分。实际上面，所有报道过的 NASA 研究中，30% 多都是软件。」NASA 方表示，很高兴将这些关于交给其他部门，也对新的创造性使用方式表示振奋。

有些软件包括更加先进的无人机、更安静航空器代码。尽管有些代码存在接入限制，但是，过去两年来，NASA 自动化并更新了软件发布过程，确保这个过程尽可能快简单和直接。

该目录包括一系列软件产品，可用于很多各类技术应用中，其中有几个软件是首次面向公众发布。

这份目录分为 15 大类，包括可用于数据处理/存储、业务系统、运行系统、推进研究以及航空技术（aeronautics）的软件。所有软件包括两种提供方式：复制件和在线。

每类都包括几十个可供下载的软件。如果你觉得全部浏览一遍很麻烦，或许你可以看看排在前二十名的软件名称。

可以理解的是，大部分这些软件都与火箭科学和推进工程学（propulsion engineering）有关。

除非你正在你的后院造火箭或者飞行器，否则这可能不是你的菜，不过，别担心，还有你会喜欢的其他软件。

NASA 的空间技术任务理事会（STMD）的副主管 Steve Jurczyk 在一场新闻发布会上说：

「软件目录是我们支持创造型经济的办法，授权创业人员、小型企业、学术界以及工业界使用当今最顶尖太空从业人员采用的重要工具。让大家接触到这些软件代码，就有望产生看得见摸得着的社会效益，比如，创造美国就业岗位，获取收入或挽救生命。」

由于 NASA 开放发布的软件较多，机器之心在此筛选了我们的读者可能感兴趣的自动化系统、数据输出和图像处理等方面的部分软件进行了简单介绍。

在自动化系统类别（包括机器人系统、自动化系统和系统健康监测系统）中，NASA 一共开放了 31 个工具，下面仅列出了项目的名称，项目详情和下载或申请地址请查阅：https://software.nasa.gov/autonomous_systems

1. ACCoRDs 冲突检测/冲突解决算法（ACCoRDs Conflict-Detection (CD3D)/Conflict-Resolution (CR3D) Algorithms）

2. 在 VCAM 仪器上采用 AMDIS 方法适应飞行状态，以用自动化的方式进行国际空间站安装（Adaptation of the AMDIS Method to Flight Status on the VCAM Instrument for ISS Installation in an Autonomous Manner）

3. 自动评估软件（AES）网页应用（Automated Evaluation Software (AES) Web Application）

4. 为飞行动态积生成所设计的自动框架 (XFDS)（Automation Framework Designed for Flight Dynamics Products Generation (XFDS)）

5. 自动相位检索校准（Autonomous Phase Retrieval Calibration (APRC)）

6. 自动实时要求追踪（Autonomous Real Time Requirements Tracing (ART)）

7. 冲突预防带（Conflict Prevention Bands）

8. 可扩展的统一远程操作规划框架（Extendable Uniform Remote Operations Planning Architecture (EUROPA) 2.1）

9. 用于预测科学的通用软件架构（Generic Software Architecture for Prognostics (GSAP)）

10. 黄金标准测试集（Gold Standard Test Set (GSTS)）

11. 危害分析管理工具（Hazards Analysis Management Tool (HAMT)）

12. ICAROUS 的通信和决策软件模块

13. 喷气推进实验室立体视觉软件套件（Jet Propulsion Laboratory (JPL) Stereo Vision Software Suite (JPLV)）

14. 用于安全月球着陆的基于激光雷达的危险相对导航算法（Lidar Based Hazard Relative Navigation Algorithm for Safe Lunar Landing）

15. Livingstone 2（用于复杂系统的自动诊断和离散控制）和 Skunkworks（支持开发和运算时间工具的套件）

16. 任务分析低推力优化器（Mission Analysis Low-Thrust Optimizer (MALTO)）

17. 任务仿真工具包（Mission Simulation Toolkit (MST)）

18. 用于随机混合系统的基于模型的诊断引擎（Model-Based Diagnosis Engine For Stochastic Hybrid Systems (HyDE)）

19. Mystic 低推力轨迹设计和可视化软件

20. NASA Tensegrity 机器人工具包 (NTRT) v1

21. Nemesis 自动测试系统

22. 行星观测器规划软件（Planetary Observer Planning Software (POPS)）

23. 用于自动太空机器人的规划和执行（Planning and Execution for an Autonomous Aerobot）

24. PolyCARP：用于多边形计算的算法和软件

25. 用于自动代理集群的概率引导（Probabilistic Guidance for Swarms of Autonomous Agents）

26. 预测科学算法库（Prognostics Algorithm Library）

27. 预测科学模型库（Prognostics Model Library）

28. 机器人应用编程接口委托第二版（Robot Application Programming Interface Delegate (RAPID), Version 2）

29. 简单、可扩展、基于脚本的科学任务处理器（Simple, Scalable, Script-Based Science Processor for Missions (S4PM)）

30. 小体导航和地形测量（Small Body Navigation and Topography (SBN&T)）

31. 策略冲突解决方案（Strategic Conflict Resolution (Stratway)）

在数据服务器的处理与应对（Data Servers Processing and Handling）方面（包括算法、数据管理、路由、服务器和存储），NASA 一共开放了 92 个工具，下面仅列出了其中 10 个，更多详情请参阅：https://software.nasa.gov/data_servers_processing_and_handling

1. 一个用于大规模科学任务的通用的、可扩展的、可配置的推拉框架（A Generic, Extensible, Configurable Push Pull Framework for Large Scale Science Missions）

2. 应用研究工具箱（Application Research Toolbox (ART)）

3. Athena 软件平台

4. Bundle Protocol 软件库 1.0 版

5. Deep Space Network (DSN) 配置转换器

6. 集成分布式系统的实验室接口用户（Distributed System Integrated Labs Interface User (DSILIU)）

7. NEXUS：深度数据平台

8. 用于信息提取和趋势分析工具的语义文本挖掘和标注（Semantic Text Mining and Annotation for Information Extraction and Trend Analysis Tool (STAT)）

9. 简单、可扩展、基于脚本的科学处理归档（Simple, Scalable, Script-based Science Processing Archive (S4PA)）

10. EDRN 知识环境

此外，NASA 还在数据与图像处理（Data and Image Processing）方面（包括算法、数据分析和数据处理）开放了多达 193 个工具！同样下面仅列出了其中 10 个，更多详情请参阅：https://software.nasa.gov/data_and_image_processing

1.「Worldview」卫星成像浏览以及下载工具（「Worldview" satellite imagery browsing and downloading tool）

2. 一种用于评估波阵面的算法，由一个阶段检索摄像头根据 Shack-Hatmann 摄像头捕捉到图片进行测量（An Algorithm for Estimating the Wavefront to be Measured by a Phase Retrieval Camera from an Image Captured by a Shack-Hatmann Camera）

3. AutoBayes：自动设计自定义的分析算法和程序（Automatic Design of Customized Analysis Algorithms and Programs）

4. AutoFilter：使用卡尔曼滤波器自动生成自定义的状态估计（Automatic Generation of Customized State Estimation Code with Kalman Filters）

5. 自动生成超文本地图生成器（Autogen hypertext map generator）

6. 根据 HiRISE 图像的自动石头检测和地图构建（Automatic Rock Detection and Mapping from HiRISE Imagery）

7. 自动序列生成第五版（Automatic Sequence Generation (AutoGen), Version 5.0）

8. 根据多个 2D 图像构建 3D 定位的地标数据库，以用于相机姿态估计和机器人定位（Constructing a database of 3D-localized landmarks from multiple 2D images, for camera pose estimation and robot localization）

9. Flightspeed 积分图像分析工具箱（Flightspeed Integral Image Analysis Toolbox (FIIAT)）

10. Kodiak: 一个用于验证非线性算术语句的软件库（A Software Library for Verifying Nonlinear Arithmetic Statements）

其实很简单，只要在开启wireshark工具后去浏览或下载视频或其它数据，通过wireshark里对应抓取的数据包就可以看出对应的源地址。

下面哟哟简单来介绍一下如何去抓取源地址：

1、打开wireshark软件，并选用对应的接口；

打开抓包软件后，捕获--选项--接口，选择需要抓取数据包对应的接口；

2、浏览或下载所需数据；

正常的浏览或下载音乐、视频或其它资源，以视频为例；

3、查找对应的数据包；

视频文件一般是HTTP协议的，在抓包工具里筛选出对应所GET的HTTP报文进行查找比较方便；

4、查找数据包的源地址；

在对应的数据包中可以找到对应目标网站的源IP地址是多少；

还可以通过开发者工具进行查找源IP地址，像音频、视频文件都是较大字节的文件，因此只需要将Size由大到小排列好就很容易找到该数据包目标网站的源IP地址。

欢迎大家多多关注我，在下方评论区说出自己的见解。

不小心误删或是弄丢了重要文件信息怎么办？有很多免费数据恢复软件可以帮助你恢复重要的文件文件。方便又好用，最关键的是这些数据恢复软件是免费的。接下小编就来告诉你怎么恢复误删或丢失的文件！

2017最好用的款免费数据恢复软件：

1、Recuva

Recuva是一款功能强大的、兼容全部Windows平台的免费数据恢复软件。它易于使用而且有许多可选的高级功能。Recuva可恢复硬盘、闪盘、存储卡（如 SD 卡，MMC 卡等等）和CD/BD/DVD中的文件。Recuva也可以恢复iPod中所删除的文件。

2、Glary Undelete

Glary Undelete也是一款优秀的免费文件恢复软件。Glary Undelete 的最大优点是，它包含简单的 “Folders”视图、Windows资源管理器风格的视觉效果，以及文件状态标示等。

Glary Undelete是一款可以恢复硬盘的文档，连移动光盘、U盘、移动硬盘都能恢复，而且支持FAT、NTFS等文件系统。

3、TestDisk

TestDisk是一款遵循GPL许可证的开源磁盘修复工具，可以修复由于软件缺陷或某些病毒导致的分区丢失或分区表丢失导致磁盘无法启动的问题。TestDisk 通过 BIOS ( DOS/Win9x)或操作系统 ( Linux, FreeBSD)查询硬盘特性( LBA大小和CHS 参数)。然后会快速检查磁盘数据结构并恢复分区表。

4、QiangLi数据恢复软件

强力数据恢复软件是一款高效易用、功能强大的专业数据恢复软件。主要可用于恢复被删除的文件、误格式化文件以及误Ghost丢失的文件等，其数据恢复成功率高达99%，有效找回用户丢失数据。

5、Stellar Data Recovery(Stellar数据恢复)

它能帮助你恢复近期被误删的Windows和Mac电脑上的数据。无风险程序，从不同类型的存储设备中恢复数据，如存储卡、智能手机、USB驱动器、硬盘等。使用Stellar数据恢复程序很简单。只需要下载，开始扫描，你就能从过去的数据灾难中恢复过来。

6、Puran File Recovery

Puran File Recovery是一款免费的文件恢复软件，使用这款文件恢复软件免费版可以对误删除的文件或者数据进行恢复，恢复的过程很简单。

Puran文件恢复是能够扫描一个广泛的设备，包括硬盘，内存卡，可移动驱动器的CD / DVD和移动电话。

7、 PhotoRec

它是市面上最好的数据恢复软件之一，因其强大的文件恢复功能而广受赞誉，从数码相机到硬盘都有广泛的应用。专为从硬盘、CD-ROM中恢复图片、视频、文档等数据而创建。兼容几乎所有主要平台，如微软Windows、Linux、Mac OS X等。

8、Wise Data Recovery

Wise是本榜单中数据恢复速度最快的软件之一，除了速度更快之外，它还有一些不错的功能，简单直观的界面。可以从本地驱动器、USB驱动器、相机、存储卡、可移动媒体设备等中恢复被删除的文件。通过使用文件的类型选择内置的文件扩展组，更快地搜索过滤器。兼容Windows XP和Windows 8。在恢复过程中，Wise数据恢复工具能够快速执行文件扫描，但其实深度扫描的可用性会更好。Wise还有一个智能的便携式软件版本，无需安装。

9、 Pandora Recovery

一个功能强大的文件恢复工具,可以对删除的文件进行恢复.它支持NTFS、NTFS5和NTFS/EFS的文件格式,兼容本地和网络磁盘以及U盘,可以对BMP、GIF、JPG、PNG、ICO,TIF、TGA、PCX、WBMP、WMF、JP2、J2K、JBG、JPC、PGX、PNM、RAS、CUR等图形格式和TXT、LOG、INI、BAT、RTF、XML、CSS等文本格式的文件进行预览。

10、 DMDE

它是我所见过的功能最丰富的数据恢复软件之一。但是，无休止的各种选择实际上会使恢复过程变得复杂。便携，方便。支持扫描。它逐字地压缩了任何被删除数据的闪存驱动器。可以保存日志以避免在以后重新扫描。从将被恢复的数据中获得该设备的详细信息。不显示原始文件夹名，但显示原始文件名。文件搜索选项可用。多个过滤器，复制扇区选项以创建磁盘映像文件，构建RAID(磁盘阵列)的工具。

管大家喜不喜欢，还是决定写出来给初学者等朋友，大鸟、特大鸟请略过！事件起因：今天在百度首页随机听歌的时候，听到张镐哲的《好男人》，很久没听过这歌了，于是就点了下载，结果坑爹的显示出这个页面！

先安装抓包工具，在ie浏览器下打开，如何安装这个我就不啰嗦了。ie 浏览器上点工具栏，然后点击HttpWatch 选项启动软件

案例1：以百度搜索【好男人 张镐哲】这个为例，这首歌点下载提示是要付费的 ，但我们可以通过抓取数据的方式获取下载地址

案例2：骑士音乐，原理：歌曲播放都会向存放歌曲的地方获取数据，这样我们就能抓取到地址，也就是下载地址

由于缓冲的原因 ，有时候获取的时间会比较长

案例3：google chrome 浏览器 - 开发者工具【F12】，一样的也能抓取到！

大部分的音乐网站都能抓取，除了百度后面加了特征码的其他音乐网站，应该能链接到QQ空间，做背景音乐也是不错的选择就不一一测试了，大家知道方法就OK了

说到必要的Windows应用程序，优秀下载管理器的重要性不可否认。几年前，连微软都搞了一款Microsoft Download Manager的软件，但结果不是很成功。

下载管理器（又叫下载加速器或文件下载器）加快文件下载速度的方法是，将文件分成几个部分来下载，这个过程称为并行下载。

为什么要用下载管理器？

各种免费下载管理软件随带Web浏览器内置的下载管理组件所没有的功能，比如调度文件下载和导出下载列表等。此外，下载管理器还随带浏览器扩展，以便直接从Web浏览器获取下载链接。

好了，下面是适用于Windows 10和更早版本的几款最佳下载管理器软件。

01

Free Download Manager

最好的免费文件下载管理器

它又叫FDM，俨然是一个可靠的Internet Download Manager替代者。它适用于macOS和Windows操作系统。

Free Download Manager与包括Chrome、Firefox和Edge在内的Web网页浏览器无缝集成。它有众多下载管理功能，可以轻松调度下载、限制连接速度等。FDM有不同的轻型、中型和重型下载模式，还有为机器上的其他应用程序释放带宽的蜗牛模式。

许多优点让FDM成为最好的Windows下载管理器软件之一。它还可以用作BitTorrent客户端。用户可以将网址和torrents轻松地拖放到FDM的窗口中，实现轻松下载。比如说，用户可以将YouTube视频网址直接添加到FDM并下载。

下载地址：

https://freedownloadmanager.org/download.htm

02

Internet Download Manager

最好的付费下载管理器

那么多人熟悉下载管理器这个术语可能是由于IDM。现在是2018年，可能有许多强大的免费下载管理器软件，但仍然很难击败IDM。它可以将系统上的文件下载速度提高五倍，但别将这与可用带宽混淆起来。

IDM可有效地管理批量下载，为下载队列提供不同的选项，从网页和视频流媒体网站获取下载链接。用户感到放心的一点是它很可靠；即使意外关闭后，仍可以在桌面上恢复下载。

尽管它有种种优点，但用户可能不愿青睐IDM的原因之一是它要收费。不过它提供了试用30天的优惠。所以，你可以先试后买。

下载地址：

https://internetdownloadmanager/download.html

03

Ninja Internet Download Manager

如果软件外观对你来说最重要，那就准备好Ninja Download Manager的现代用户界面给你带来的惊喜。

它不光外观靓丽，这个优秀的IDM替代者整合了众多的强大功能，成为快速下载文件方面的高手。它简称NDM，除了功能强大的下载加速器外，还随带内置的媒体转换器，可以下载质量高达1080p的流媒体视频（如果有的话）。

Ninja下载工具支持顺序文件写入，让用户可以在下载完成之前，预览音频或视频文件。用户可以限制下载速度，还可以控制文件下载的同时连接数。

想获得更多功能，还可以花19美元购买专业版Ninja Download Accelerator。

下载地址：

https://ninjadownloadmanager/

04

EagleGet Download Accelerator

适用于Windows的简单文件下载器

EagleGet下载管理器以简约的用户界面为特色。你可以定制主题，用纯色或某个自定义图像作为背景。

这款下载管理器可以使用Media Grabber从各种流媒体网站（包括YouTube）获取视频。Video Sniffer工具可用于下载没有下载链接的视频。下载完成后，你还可以配置免费下载管理器，使用系统上安装的AV软件检查恶意软件。

EagleGet之所以跻身于最好的Windows下载管理器软件，是由于它为用户提供了易于访问的优点。它没有因对日常用户来说基本没有用处的过多功能而显得臃肿。

下载地址：

http://eagleget/download/

05

BitComet

免费的下载管理器+ torrent下载管理器

说到BitComet，你可能在谈到Torrent下载软件时听说过它。但BitComet还支持HTTP和FTP协议，还可以充当下载管理器。

BitComet的外观可能不如其他顶级下载管理器软件漂亮，但随带所有必要的文件下载器功能。

BitComet与Web浏览器无缝集成，提供远程文件下载、病毒扫描下载和下载调度等功能。此外，该文件下载管理器随带这项功能：即使你重启PC或使用不同的互联网连接，也可以恢复下载，这类似IDM和其他应用软件。

下载地址：

https://bitcomet/en/downloads

06

JDownloader 2

开源文件下载管理器

如果你在寻找适用于Windows的开源下载管理器，那么JDownloader 2可能适合你。这款免费下载管理器是遭起诉后不得不关闭的原始软件的更新版。

JDownloader 2包含光学字符识别功能，可解决你通常在下载网站上遇到的CAPTCHA问题。它可以在下载后自动解压缩RAR文件，随带链接抓取工具以获取网页上的所有可下载链接，还支持大约300个解密插件。该下载加速器可通过面向移动平台的JDownloader Web界面和应用程序进行远程控制。

下载地址：

http://jdownloader.org/download/index

07

I Internet Download Accelerator

它又叫IDA，是WestByte这家乌克兰公司开发的免费下载管理器。它支持HTTP、HTTPS和FTP协议，并与Chrome、Edge、Firefox、Opera和Safari等Web浏览器整合起来。

IDA有内置的网站管理器以保存网站的用户名和密码。用户可以在下载前预览RAR文件的内容。我喜欢IDA的一个地方是它的快速更新时间表。

该免费下载加速器的最新版增加了支持来自流行视频服务的视频，以及边下载边播放视频的功能，是不是觉得很酷？下载管理器通过浮动窗口提醒你的PC上装有它，浮动窗口停留在其他窗口上，有时可能令人讨厌。

除了免费版外，IDA还提供付费版，增加了技术支持，去除了烦人的广告，提供3个终身许可证，只要花24.95美元。

下载地址：

https://westbyte/ida/index.phtml?page=download

08

Download Accelerator Plus

内置浏览器的文件下载器

如果你经常接触下载管理器，一看到首字母缩略词DAP就会想到这款软件。该免费下载管理器随带从各种网站下载音频和视频的功能。

此外，它可以在用户的计算机上下载视频时播放视频。让DAP跻身于最好的Windows下载管理器软件行列的另一项功能是内置的Web浏览器。用户无需离开下载管理器即可下载喜欢的文件。

使用DAP，还可以将在线视频作为MP3文件来下载。它随带一个内置的链接检查器，可以判断下载链接是否被破坏。搜索结果中出现一个绿点表示下载链接有效。

一些DAP功能只有收费版才有。这包括清除硬盘中已下载文件的视频粉碎器以及清除表明某个文件下载到计算机上的任何证据的痕迹清理工具。

下载地址：

http://speedbit/dap/

显然，很难从这些软件中推荐一款。但如果你不想花钱，可以选择FDM、Ninja免费版和EagleGet。否则，你在选择一款顶级的收费下载管理器时，IDM和Ninja是不错的选择。对于想要两全其美的用户来说，BitComet足以满足他们下载torrent和文件的要求。

原文标题：8 Best Free Download Manager Software For Windows To Download Files Faster – 2018 Edition作者：Aditya Tiwari 【51CTO译稿，合作站点转载请注明原文译者和出处为51CTO】

对于企业和职场人士，特别是HR、财务等经常处理表单和数据的职位，日常工作中一定会接触到一些数据收集和分析的工作任务。多数情况下，用户需要从大量相同表单里提取一两项关键数据，针对这种场景，假若用户使用传统手工录入的方式，往往会有大量重复动作，毫无工作效率。

其实，用对工具，能极大提升工作效率。这篇文章里，为大家推荐5款数据处理软件。

1、Formtalk

Formtalk 提供企业级一站式办公应用定制平台，它不仅具备数据采集和管理，而且还能够满足企业内外部包括报名、登记、预约、投票、调查等在内的数据采集需求。这款软件能够帮助用户实时跟踪需要采集的数据，呈现为可视化报表，同时，它的PC表单设计引擎、移动表单设计引擎、安全引擎和数据集成接口四项核心技术能够为用户提供表单复制、表单授权及表单提取功能，让用户能够有效提高工作效率。

2、PDFelement

PDFelement 在处理 PDF 表单和提取数据这一块可谓占领行业制高点。 它能帮助用户一键识别表单域（交互式表单域和非交互式表单域皆可识别），也能帮助用户自定义创建个性表单，比如单选、多选、下拉表、文本框、数字签名等。 当用户面对海量 PDF 表单，需要提取其中一项或者多项关键数据时，它能帮助用户准确提取表单数据，批量处理为用户节省了大量时间和精力。

用户仅需将大量 PDF 拖入程序中，选择需要提取的区域，这些数据将会导入到Excel中。 如果这些 PDF 文档是扫描文件，也无需担心，PDFelement 执行 OCR，将文档转换为可编辑的文档，再进行数据提取操作。

3、金数据

这款表单处理工具是通用型的表单工具，主要功能聚集于数据收集和数据提取上，在数据统计和数据分析上有所欠缺。用金数据生成的表单不仅能以 Excel 表格的形式呈现，而且能够以链接或者 HTML 代码的形式嵌入到网页、微信文章之中。除此之外，这款软件在收集、提取数据的同时能够接入不同的支付端口，非常适合微店订单、用户反馈等业务数据的收集和提取。

4、易表

这款软件的功能介于电子表格与数据库软件之间，拥有类似电子表格的界面，也具备数据库软件特有的功能和灵活性。易表在数据处理上是非常优秀的软件，能够帮助用户完美完成复杂的数据管理和统计分析工作。但是，它的功能要求用户具备一定的开发能力，只有了解基本的编程知识才能快速建立属于自己的数据管理系统，比较适合专业性较强的用户，普通用户使用这款软件的学习成本过高。

5、Foxtable

这款软件将 Excel、Access、Foxpro、VB 等软件的优势融合在一起，无论是数据录入、提取，还是报表生成，用户都无需编写代码即可完成以上这些复杂的数据管理工作。这款软件的亮点之一是内置了 HTTP 服务和手机网页功能，用户无需任何专业知识就能够开发出自己移动端的管理软件，做到 PC 端与移动端的数据联通。相比于其他数据处理软件，这款软件更像是一个高效开发工具，让用户在开发属于自己的数据库时更关注商业逻辑，导致具体功能的实现比较艰难。同时，由于Foxtable支持外部数据源，也就意味着用户提供的数据有一定的安全风险。

你是否也有兴趣看看《身在职场不会处理这5种文档，还谈涨薪？》

1、 Talend Open Studio

是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次，其开源软件提供了数据整合功能。其用户包括美国国际集团（AIG）、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。

2、DYSON

探码科技自主研发的DYSON智能分析系统，可以完整的实现大数据的采集、分析、处理。DYSON智能分析系统专业针对互联网数据抓取、处理、分析，挖掘。可以灵活迅速地抓取网页上散乱分布的信息，并通过强大的处理功能，准确挖掘出所需数据，是目前使用人数最多的网页采集工具.

3、YARN

一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，解决了旧MapReduce框架的性能瓶颈。它的基本思想是把资源管理和作业调度/监控的功能分割到单独的守护进程。

4、Mesos

由加州大学伯克利分校的AMPLab首先开发的一款开源群集管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架构。对数据中心而言它就像一个单一的资源池，从物理或虚拟机器中抽离了CPU，内存，存储以及其它计算资源， 很容易建立和有效运行具备容错性和弹性的分布式系统。

5、Datale

由探码科技研发的一款基于Hadoop的大数据平台开发套件，RAI大数据应用平台架构。

6、 Ambari

作为Hadoop生态系统的一部分，提供了基于Web的直观界面，可用于配置、管理和监控Hadoop集群。目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

7、ZooKeeper

一个分布式的应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的工具，让Hadoop集群里面的节点可以彼此协调。ZooKeeper现在已经成为了 Apache的顶级项目，为分布式系统提供了高效可靠且易于使用的协同服务。

8、Thrift

在2007年facebook提交Apache基金会将Thrift作为一个开源项目，对于当时的facebook来说创造thrift是为了解决facebook系统中各系统间大数据量的传输通信以及系统之间语言环境不同需要跨平台的特性。

9、Chukwa

监测大型分布式系统的一个开源数据采集系统。建立在HDFS/MapReduce框架之上并继承了Hadoop的可伸缩性和可靠性，可以收集来自大型分布式系统的数据，用于监控。它还包括灵活而强大的显示工具用于监控、分析结果。

10、Lustre

一个大规模的、安全可靠的、具备高可用性的集群文件系统，它是由SUN公司开发和维护的。该项目主要的目的就是开发下一代的集群文件系统，目前可以支持超过10000个节点，数以PB的数据存储量。

11、HDFS

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

12、GlusterFS

一个集群的文件系统，支持PB级的数据量。GlusterFS 通过RDMA和TCP/IP方式将分布到不同服务器上的存储空间汇集成一个大的网络化并行文件系统。

13、Alluxio

前身是Tachyon，是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务。

14、Ceph

新一代开源分布式文件系统，主要目标是设计成基于POSIX的没有单点故障的分布式文件系统，提高数据的容错性并实现无缝的复制。

15、PVFS

一个高性能、开源的并行文件系统，主要用于并行计算环境中的应用。PVFS特别为超大数量的客户端和服务器端所设计，它的模块化设计结构可轻松的添加新的硬件和算法支持。

16、QFS

Quantcast File System (QFS) 是一个高性能、容错好、分布式的文件系统，用于开发支持 MapReduce处理或者需要顺序读写大文件的应用。

17、 Logstash

一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理，提供了Web接口用于查询和统计。

18、Scribe

Scribe是Facebook开源的日志收集系统，它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。

19、Flume

Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据。同时，Flume支持对数据进行简单处理，并写入各种数据接受方（可定制）。

20、RabbitMQ

一个受欢迎的消息代理系统，通常用于应用程序之间或者程序的不同组件之间通过消息来进行集成。RabbitMQ提供可靠的应用消息发送、易于使用、支持所有主流操作系统、支持大量开发者平台。

21、ActiveMQ

Apache出品，号称“最流行的，最强大”的开源消息集成模式服务器。ActiveMQ特点是速度快，支持多种跨语言的客户端和协议，其企业集成模式和许多先进的功能易于使用，是一个完全支持JMS1.1和J2EE 1.4规范的JMS Provider实现。

22、Kafka

一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模网站中的所有动作流数据，目前已成为大数据系统在异步和分布式消息之间的最佳选择。

23、Spark

一个高速、通用大数据计算处理引擎。拥有Hadoop MapReduce所具有的优点，但不同的是Job的中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。它可以与Hadoop和Apache Mesos一起使用，也可以独立使用。

24、Kinesis

可以构建用于处理或分析流数据的自定义应用程序，来满足特定需求。Amazon Kinesis Streams 每小时可从数十万种来源中连续捕获和存储数TB数据，如网站点击流、财务交易、社交媒体源、IT日志和定位追踪事件。

25、 Hadoop

一个开源框架，适合运行在通用硬件，支持用简单程序模型分布式处理跨集群大数据集，支持从单一服务器到上千服务器的水平scale up。Apache的Hadoop项目已几乎与大数据划上了等号，它不断壮大起来，已成为一个完整的生态系统，拥有众多开源工具面向高度扩展的分布式计算。高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。

26、Spark Streaming

实现微批处理，目标是很方便的建立可扩展、容错的流应用，支持Java、Scala和Python，和Spark无缝集成。Spark Streaming可以读取数据HDFS，Flume，Kafka，Twitter和ZeroMQ，也可以读取自定义数据。

27、Trident

是对Storm的更高一层的抽象，除了提供一套简单易用的流数据处理API之外，它以batch(一组tuples)为单位进行处理，这样一来，可以使得一些处理更简单和高效。

28、Flink

于今年跻身Apache顶级开源项目，与HDFS完全兼容。Flink提供了基于Java和Scala的API，是一个高效、分布式的通用大数据分析引擎。更主要的是，Flink支持增量迭代计算，使得系统可以快速地处理数据密集型、迭代的任务。

29、Samza

出自于LinkedIn，构建在Kafka之上的分布式流计算框架，是Apache顶级开源项目。可直接利用Kafka和Hadoop YARN提供容错、进程隔离以及安全、资源管理。

30、Storm

Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架。编程模型简单，显著地降低了实时处理的难度，也是当下最人气的流计算框架之一。与其他计算框架相比，Storm最大的优点是毫秒级低延时。

31、Yahoo S4 （Simple Scalable Streaming System）

是一个分布式流计算平台，具备通用、分布式、可扩展的、容错、可插拔等特点。程序员可以很容易地开发处理连续无边界数据流（continuous unbounded streams of data）的应用。它的目标是填补复杂专有系统和面向批处理开源产品之间的空白，并提供高性能计算平台来解决并发处理系统的复杂度。

32、HaLoop

是一个Hadoop MapReduce框架的修改版本，其目标是为了高效支持 迭代，递归数据 分析任务，如PageRank，HITs，K-means，sssp等。

33、Presto

是一个开源的分布式SQL查询引擎，适用于交互式分析查询，可对250PB以上的数据进行快速地交互式分析。Presto的设计和编写是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。Facebook称Presto的性能比诸如Hive和MapReduce要好上10倍有多。

34、 Drill

于2012年8月份由Apache推出，让用户可以使用基于SQL的查询，查询Hadoop、NoSQL数据库和云存储服务。它能够运行在上千个节点的服务器集群上，且能在几秒内处理PB级或者万亿条的数据记录。它可用于数据挖掘和即席查询，支持一系列广泛的数据库，包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亚马逊S3、Azure Blob Storage、谷歌云存储和Swift。

35、Phoenix

是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。

36、Pig

是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、转换数据以及存储最终结果。Pig最大的作用就是为MapReduce框架实现了一套shell脚本 ，类似我们通常熟悉的SQL语句。

37、Hive

是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

38、SparkSQL

前身是Shark，SparkSQL抛弃原有Shark的代码并汲取了一些优点，如内存列存储（In-Memory Columnar Storage）、Hive兼容性等。由于摆脱了对Hive的依赖性，SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便。

39、Stinger

原来叫Tez，是下一代Hive，由Hortonworks主导开发，运行在YARN上的DAG计算框架。某些测试下，Stinger能提升10倍左右的性能，同时会让Hive支持更多的SQL。

40、Tajo

目的是在HDFS之上构建一个可靠的、支持关系型数据的分布式数据仓库系统，它的重点是提供低延迟、可扩展的ad-hoc查询和在线数据聚集，以及为更传统的ETL提供工具。

41、Impala

Cloudera 声称，基于SQL的Impala数据库是“面向Apache Hadoop的领先的开源分析数据库”。它可以作为一款独立产品来下载，又是Cloudera的商业大数据产品的一部分。Cloudera Impala 可以直接为存储在HDFS或HBase中的Hadoop数据提供快速、交互式的SQL查询。

42、 Elasticsearch

是一个基于Lucene的搜索服务器。它提供了一个分布式、支持多用户的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索、稳定、可靠、快速、安装使用方便。

43、Solr

基于Apache Lucene，是一种高度可靠、高度扩展的企业搜索平台。知名用户包括eHarmony、西尔斯、StubHub、Zappos、百思买、AT&T、Instagram、Netflix、彭博社和Travelocity。

44、Shark

即Hive on Spark，本质上是通过Hive的HQL解析，把HQL翻译成Spark上的RDD操作，然后通过Hive的metadata获取数据库里的表信息，实际HDFS上的数据和文件，会由Shark获取并放到Spark上运算。Shark的特点就是快，完全兼容Hive，且可以在shell模式下使用rdd2sql()这样的API，把HQL得到的结果集，继续在scala环境下运算，支持自己编写简单的机器学习或简单分析处理函数，对HQL结果进一步分析计算。

45、Lucene

基于Java的Lucene可以非常迅速地执行全文搜索。据官方网站声称，它在现代硬件上每小时能够检索超过150GB的数据，它拥有强大而高效的搜索算法。

46、Terracotta

声称其BigMemory技术是“世界上首屈一指的内存中数据管理平台”，支持简单、可扩展、实时消息，声称在190个国家拥有210万开发人员，全球1000家企业部署了其软件。

47、 Ignite

是一种高性能、整合式、分布式的内存中平台，可用于对大规模数据集执行实时计算和处理，速度比传统的基于磁盘的技术或闪存技术高出好几个数量级。该平台包括数据网格、计算网格、服务网格、流媒体、Hadoop加速、高级集群、文件系统、消息传递、事件和数据结构等功能。

48、GemFire

Pivotal宣布它将开放其大数据套件关键组件的源代码，其中包括GemFire内存中NoSQL数据库。它已向Apache软件基金会递交了一项提案，以便在“Geode”的名下管理GemFire数据库的核心引擎。

49、 GridGain

由Apache Ignite驱动的GridGrain提供内存中数据结构，用于迅速处理大数据，还提供基于同一技术的Hadoop加速器。

50、MongoDB

是一个基于分布式文件存储的数据库。由C++...

大数据技术用了多年时间进行演化，才从一种看起来很炫酷的新技术变成了企业在生产经营中实际部署的服务。其中，数据采集产品迎来了广阔的市场前景，无论国内外，市面上都出现了许多技术不一、良莠不齐的采集软件。

今天，我们将对比国内五大主流采集软件优缺点，帮助你选择最适合的爬虫，体验数据hunting带来的快感。

国内篇

1.火车头

作为采集界的老前辈，我们火车头是一款互联网数据抓取、处理、分析，挖掘软件，可以抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。它的用户定位主要是拥有一定代码基础的人群，适合编程老手。

采集功能完善，不限网页与内容，任意文件格式都可下载具有智能多识别系统以及可选的验证方式保护安全支持PHP和C#插件扩展，方便修改处理数据具有同义，近义词替换、参数替换，伪原创必备技能Conclusion:火车头适用于编程能手，规则编写容易，软件的定位比较专业而且精准化。

2.八爪鱼

一款可视化免编程的网页采集软件，可以从不同网站中快速提取规范化数据，帮助用户实现数据的自动化采集、编辑以及规范化，降低工作成本。云采集是它的一大特色，相比其他采集软件，云采集能够做到更加精准、高效和大规模。

自定义采集过程中，八爪鱼采集器系统自写的Xpath、自动生成的流程，可能无法满足数据采集需求。对数据质量要求高，则需自写Xpath，调成流程图等，以优化规则。

使用自定义采集的同学，虽然八爪鱼操作简单，比较容易上手。但是，仍需对八爪鱼采集原理有所了解，看完相关教程，循序渐进，成长周期较长。

可视化操作，无需编写代码，制作规则采集，适用于零编程基础的用户云采集是其主要功能，支持关机采集，并实现自动定时采集

Conclusion:八爪鱼是一款适合小白用户尝试的采集软件，云功能强大，当然爬虫老手也能开拓它的高级功能。

3.集搜客

一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素。同样可通过简单可视化流程进行采集，服务于任何对数据有采集需求的人群。

可视化流程操作，与八爪鱼不同，集搜客的流程重在定义所抓取的数据和爬虫路线，八爪鱼的规则流程十分明确，由用户决定软件的每一步操作

支持抓取在指数图表上悬浮显示的数据，还可以抓取手机网站上的数据

会员可以互助抓取，提升采集效率，同时还有模板资源可以套用

Conclusion:集搜客操作较简单，适用于初级用户，功能方面没有太大的特色，后续付费要求比较多。

4.神箭手云爬虫

一款新颖的云端在线智能爬虫/采集器，基于神箭手分布式云爬虫框架，帮助用户快速获取大量规范化的网页数据。

直接接入代理IP，避免IP封锁

自动登录验证码识别，网站自动完成验证码输入

可在线生成图标，采集结果以丰富表格化形式展现本地化隐私保护，云端采集，可隐藏用户IP

Conclusion: 神箭手类似一个爬虫系统框架，具体采集还需用户自写爬虫，需要代码基础。

5.狂人采集器

一套专业的网站内容采集软件，支持各类论坛的帖子和回复采集，网站和博客文章内容抓取，分论坛采集器、CMS采集器和博客采集器三类。

支持对文章内容中的文字、链接批量替换和过滤可以同时向网站或论坛的多个版块一起批量发文具备采集或发帖任务完成后自动关机功能

Conclusion: 专注论坛、博客文本内容的抓取，对于全网数据的采集通用性不高。

注：给火车采集器的新手们一点学习建议

火车采集器是一个非常专业的数据抓取和数据处理软件,对软件使用者有较高的技术要求， 使用者要有基本的HTML基础,能看得懂网页源码,网页结构。

同时如果用到web发布或数据库发布,则对自己文章系统及数据存储结构要非常了解。