Videos

Best Practices

按需求购买IP的指导

网络类型

  • 何时购买住宅动态IP?

    住宅动态IP是指私人的IP地址,这意味着你在访问网络时是通过真实的用户发送你的请求。购买住宅IP可确保你不会被目标网站屏蔽或提供误导信息。

  • 何时购买数据中心固定IP?

    数据中心IP也称为固定IP。

    意味着你可以使用一个特定的IP,且这个IP固定不变。(单一的长会话)通常价格要比住宅动态IP价格便宜一些。

  • 何时购买移动端IP?

    Mobile IPs are a segment of residential IPs that are connected to the Internet via cellular (3G / 4G) connection, rather than WiFi or cable. Mobile IPs are commonly used to verify that your ads are being displayed correctly on mobile devices with different providers.

专属类型

  • 何时购买共享IP

    共享IP是指在开始使用Luminati网络时最简单的方法。指的是全球各种国家的IP池里,被许多用户共享以访问众多站点的IP。您可以将此选项用作第一个入口点,并在依然存在被阻止或被提供误导信息时,选择专属独享的IP。

  • 何时购买专属IP,拥有专属域名

    专属域名将承诺,在您所选的目标网站上唯一一个能使用这些IP的用户。

  • 何时购买专属IP,无限域名

    无限域名是指完全专属于您的IP。在您使用这些IP时,没有人可以使用这些IP。购买专属独享IP,可确保您的结果不会受到其他用户的影响。

How to allocate IPs?

IP的分配是通过 zoneszones通道的部分完成的。
开始前您需要创建一个新的 zone并在其他设置中,选择所需的IP数并保存。
您还可以通过编辑zone通道中的IP数来更新已分配IP的数量。

关闭zone通道时,释放分配给它的所有IP,因此当您重新打开zone通道时,将为其分配新的IP

如何下载我的IP列表?

下载其中一个zone通道内所有 gIPs or datacenter IPs 有两种可能的操作方法:

  1. 在Luminati CP中下载您的IP列表 zones section 通过进入特定zone通道,并在设置下单击“下载gIPs列表”(对于gIP)或“下载IP列表”(对于数据中心)
  2. 使用以下命令通过API下载gIP列表:
    • 对于gIP:
      curl "https://luminati.io/api/get_route_vips?" \ -H "X-Hola-Auth: lum-customer-ACCOUNT_ID-zone-ZONE-key-ZONE_PASSWORD"
    • 对于数据中心IP:curl "https://luminati.io/api/get_route_ips?" \ -H "X-Hola-Auth: lum-customer-ACCOUNT_ID-zone-ZONE-key-ZONE_PASSWORD"

住宅IP的成本效益


我们是如何计算这张图表的?

假设您的公司需要每小时向特定网站发送1,000个http请求,来从网页收集信息,需要编写爬虫代码并通过服务器运行它。在目标网站屏蔽您的爬虫前,它允许同一个IP每分钟可发送50个请求。因此您必须购买更多代理。

假设您选择数据中心代理:
您不想IP被共享,因此您购买了200个专用数据中心IP。您将爬虫与新数据中心代理进行过集成编码,花了2小时,然后运行新程序。这一次目标网站需要3天才能检测到您的爬虫。检测到代理后,您将不得不购买新的代理并再次重复此过程,每天检查以确保对方网站未检测到代理。每月费用(所有数字均来自真实客户):

  • 200个专用IP:500美元
  • 带宽:(每次请求 X 请求 X 20KB X 24小时 X 30天 = 14.5GB):每月3美元
  • 开发人员(2小时代码植入 X 10 + 每3天有1个小时管理代理):每月3整天的工作或900美元

仅这些东西每月的总成本至少为1400美元,而开发人员每小时30美元的工资计算已经非常保守了。此外,如果您的目标网站在屏蔽您之前,发送了错误的信息,或者您的信息流每隔几天就被切断一次,这可能会对您的品牌或收入流造成不利影响,并且还不算接受到的信息不可靠。

假设您选择Luminati住宅代理:
您购买40GB的基本套餐,可以使用无数量限制的住宅IP。整合爬虫需要2个小时。由于每天平均有300万个住宅IP可选,您的目标网站无法检测到您的爬虫,使您可以专注于其他项目。

带宽和无限制的IP每月只需500美元。您得到信息始终是真实可靠的,因为您的请求始终是成功的,并且访问权限永远不会在月中被削减。当您的业务因为这种爬虫而增长,并且您的项目每月超过600MB时,成本差异可能远高于1000美元。

Luminati还允许您在不使用时暂停帐户,因此您的费用可能低于每月500美元。首先使用5美元的免费数据中心流量来测试Luminati的好处,然后通过请求访问我们的住宅网络,以获得便宜和可靠的数据收集。

成为Luminati专业用户

如何抓取网站而不会被阻止或被提供误导信息(隐形)?

为什么我要重视?
当目标网站从代理(数据中心)IP检测到爬虫时,通常它会

  • 屏蔽IP,或
  • 在该IP下,故意提供误导的信息
  • 降低响应率

目标网站如何识别我的信息抓取活动?
目标网站记录访问它们的人的IP并分析这些IP的活动。假设您使用的是传统数据中心代理,目标网站可以:

  1. 确定来自单个IP的活动(请求的速率)远远大于人在给定时间范围内可以完成的活动
  2. 确定IP地址源自代理服务器列表,这些目标网站可以访问这些列表
  3. 确定IP具有相同的子网块范围
如何防止被发现?
  1. 为防止被每个IP的请求数量检测到,您可以减少每秒的请求数。 但是,这会降低您的抓取速度
  2. 为防止目标将您的IP识别为来自代理服务器,您必须通过住宅IP轮换您的请求。 您应该能够通过足够的IP传播目标网站无法检测到您的活动
  3. 使用住宅IP时,没有子网块范围
通过使用传统的代理解决方案,目标网站识别您的爬虫活动只是迟早的事,然后对方会屏蔽你,或提供你错误的信息。

如何在特定城市获取IP

为什么我要重视?
示例:如果您负责测试Yelp的城市级服务 - 您需要检查来自全球1万个不同城市的网站。

如何在特定城市获得IP?
如果您只是使用传统数据中心的代理解决方案,用来信息收集,那么仅限于收集到这些数据中心IP所在位置的信息。大型住宅网络可以为您提供世界上任何您能指定的城市IP。

如何加速您的网页抓取

为什么我要重视?
如果单个IP循环切换的请求数量高于目标网站允许的数量,那么您的目标网站将识别您的IP,并屏蔽你,或提供虚假信息误导您。这意味着您收集的信息可能比您之前要慢得多。

如何提高数据采集速度?
假设您运行了1000万个请求,您使用1000个数据中心静态IP,每个IP每秒1个请求,您的日常工作时间可能需要大约3个小时。拥有1千万个住宅IP,您的日常工作可能只需要1秒。

通过Luminati住宅网络循环切换多个并行会话操作指南:

  1. 打开Luminati Manager
  2. 前往“Proxy”标签页
  3. 检查动态住宅的zone通道的端口
  4. 在端口设置中将“预设”round-robin (ip) pool”
  5. Route your requests to 127.0.0.1:{portnum} where the {portnum} is the port of the residential zone

如何循环切换您的IP地址

为什么我要重视?
当许多请求从同一IP发送到网站时,该网站可以标记你的IP是用来爬虫的IP,并屏蔽你的IP或发送误导信息。定时更改或切换您的IP地址,有助于防止目标网站将您的IP识别为爬虫。循环切换IP可将故障率降至1%以下。

如何循环切换我的IP地址?
通过操作简便的Proxy Manager,您可以控制:

  • IP被更改该前允许的请求数
  • IP更改之间的时间
  • 用于循环切换IP的池里的IP数量

使用Luminati旋转IP地址的准则
  1. 打开Luminati Manager
  2. 前往“Proxy”标签页
  3. 单击要编辑的代理,然后单击编辑按钮
  4. 浏览“Preset”或“IP Policy”下的轮换选项
  5. Route your requests to 127.0.0.1:{portnum} where the {portnum} is the port of the residential zone

如何在Luminati上使用SOCKS5

为什么我要重视?
SOCKS服务器是代理服务器,适用于任何端口上的任何类型的网络协议,并代表用户建立与服务器的连接,然后在用户和服务器之间路由流量。

为什么将SOCKS5与Luminati一起使用?
当您将SOCKS5与Luminati一起使用时,代理管理器会将对端口80或端口443的任何请求转换为http和https请求,因此您不必担心目标站点接受哪种格式。对于任何其他端口,流量将按原样在用户和主机之间发送。


使用SOCKS5的指南:

  • 打开Luminati Manager
  • 单击一个端口,然后单击“Edit Proxy”
  • 在“常规”下添加SOCKS端口号
  • 前往性能 - 设置反向解析 DNS
  • 添加解析文件
    • 将“--resolve PATH”添加到程序代码中
    • 跟随主机文件格式
    • 列出您要使用的域名及其IP
    • 在代理管理器“Tools”页面中的解析文件编辑器中添加域名和IP

如何避免子网块范围?

什么是子网块范围?
网络的较小部分称为子网,这对于将主机分组在一起并一次管理它们非常有用。子网基于IP地址,使网站或恶意用户可以轻松定位或阻止整个子网。例如,阻止223将阻止以223开头的所有IP地址,而阻止223.1将仅阻止以223.1开头的IP地址,依此类推 - 这是子网块范围。

为什么我要重视?
由于数据库的IP通常都位于同一子网内,因此很容易被网站阻止,特别是如果它们是已知代理。

避免子网块范围:
住宅代理不能以这种方式阻止,因为它们没有子网范围。使用Luminati的住宅IP可确保您在网站使用子网块范围方法时不会受到影响。


如何从API切换至Proxy Manager

为什么我要重视?
使用Luminati Proxy Manager可提供API中不易提供的高级功能。您只需单击代理管理器中的按钮,而不必手动编写任务的机制,例如尽可能长时间保留IP或在每次请求后轮换IP。

从API切换到Proxy Manager的准则:

  1. 安装Luminati Proxy Manager这里
  2. 更改代码以将HTTP请求直接发送到指定端口(例如,127.0.0.1:24000)而不是zproxy.lum-superproxy.io:22225
  3. 通过LPM仪表板配置自定义代理和区域的设置。您不需要在请求旁边发送用户参数(lum-customer-customer_name-zone-zone_name ...),因为所有需要的数据都包含在手动代理配置中。

如何使用iPhone配置Luminati原始API

使用iPhone配置Luminati原始API的指南
  1. 打开设备设置应用,然后转到Wi-Fi
  2. 点击您连接的Wi-Fi网络的名称
  3. 滚动到底部,您会找到“HTTP代理”部分。默认设置为“关闭”。将其设置为“手动”:
    • 在服务器插槽中输入:zproxy.lum-superproxy.io
    • 在端口插槽中输入: 22225
    • 选择 Authentication: DISABLE
  4. 打开浏览器
  5. 添加目标URL
  6. 在弹出窗口中,点按设置
  7. 添加用户名(例如lum-customer-lum_qa-country-us-zone -city)
  8. 区域密码,然后点击确定

我怎么知道我是否被遮掩了? (或被提供了误导性信息)

为什么我要重视?
遮掩意味着你从你正在抓取的网站上获得误导信息。
示例:如果您正在收集竞品信息,用于制定价格定价的算法,那么目标网站可以根据您的要求,返回人为操作可见的较低的价格,从而扭转您的定价和利润。

如何知道什么时候你被遮掩了
使用传统代理网络(基于数据中心的IP)时,目标网站可能非常容易识别您的活动,并可能遮盖您的请求。因此,确保您不会被遮盖的唯一方法是通过住宅IP循环切换您的请求。

通过数百万住宅IP轮换请求的指南:

  1. 打开Luminati Manager
  2. 前往“Proxy”标签页
  3. 检查动态住宅的zone通道的端口
  4. 在端口设置中将“预设”round-robin (ip) pool”
  5. Route your requests to 127.0.0.1:{portnum} where the {portnum} is the port of the residential zone

介绍:Luminati Chrome浏览器拓展

我为什么要用它?
使用Chrome浏览器扩展程序对您的网站进行自我测试,验证您的广告,或者只是浏览网站,模拟其他国家/地区。它是Luminati Proxy Manager的强大补充工具,使用简便,适用于非技术型的用户。您还可以让其他无权访问仪表板的人员在不需要知道帐户信息的情况下,使用该扩展程序。

扩展程序中有哪些功能?
Luminati Chrome浏览器拓展支持数据中心和住宅IP浏览,允许您从任何国家/地区进行搜索。您可以调整用户代理,自定义DNS配置,以最大限度地自由裁量或速度,并设置随机IP切换。

下载Luminati Chrome扩展程序的指南:

  • 下载Luminati Chrome拓展这里
  • 该扩展程序将显示在搜索栏旁边
  • 单击扩展中的深蓝色按钮
  • 在专用设置页面中设置扩展参数

常问问题