这是一个创建于 2392 天前的主题，其中的信息可能已经有所发展或是发生改变。
现有一批网站域名和 IP 地址，量比较大，需要对这些网站进行分类
例如：www.baidu.com 为搜索类、weibo.cn 为微博类
目前想到的实现方式是用正则匹配的方式，人工对各类域名关键字进行打标，但是该方式仅能实现部分常用域名的识别
还有一个想法是通过 selenium 进入网站进行截图和获取源码，通过图片识别和 NLP 来识别网站类型，当时该实现太过复杂了
大家是否碰到过类似的需求，你们是怎么处理的，或者是否有类似的开源项目进行参考
例如：www.baidu.com 为搜索类、weibo.cn 为微博类
目前想到的实现方式是用正则匹配的方式，人工对各类域名关键字进行打标，但是该方式仅能实现部分常用域名的识别
还有一个想法是通过 selenium 进入网站进行截图和获取源码，通过图片识别和 NLP 来识别网站类型，当时该实现太过复杂了
大家是否碰到过类似的需求，你们是怎么处理的，或者是否有类似的开源项目进行参考
 | 1 run2 2019-04-01 15:33:29 +08:00 没遇到过，纯粹 yy： 有个偷懒 /有点偏的办法，用特定 UA （ iOS / Android) 的去抓目标页面的 iTunes / Play 的 URL， 看他在商店里怎么被分类的 有 iOS deeplink 的还有这种特定的 URI 比如 reddit 的 https://www.reddit.com/apple-app-site-association (里面有 app id 和开发者 ID 可以再去查 app 对应的分类） |
 | 2 opengps 2019-04-01 15:44:57 +08:00 根据 UserAgent 归类，很多人都这么用过的，那些公开的搜索引擎都是带有标记的 |
 | 3 alwayslan OP 没太看懂 2 楼所说的 |
| 4 run2 2019-04-01 15:57:17 +08:00  1 比如上面的结果里的 app bundle id com.reddit.Reddit 然后 http://itunes.apple.com/lookup?bundleId=com.reddit.Reddit 结果里有--》"genres":["News", "Social Networking"] 或者直接搜网站的名字 举例“微博” https://itunes.apple.com/search?term=微博&media=software&country=cn&limit=1 结果--》"genres":["社交", "新闻"] |
 | 5 herojaxy 2019-04-01 16:22:06 +08:00 1 https://www.similarweb.com/website/v2ex.com 楼主可以试试 similarweb，做网站分析的。可以看到排名 pv uv 等等。 他有一个分类排名，可以看到他对目标网站的分类 楼主可以试试爬他的 Category Rank 这一个字段。 网站有点慢，翻墙快点。 |
 | 6 AM2coder 2019-04-02 08:56:34 +08:00 via Android 把网站首页爬下来，提取高频词汇、网站名称、顶级域名等特征或衍生特征，而后聚类分类，再人工标记各类别（逃） |
Select Language