产生曝光 当用户意图精度缺乏时,对关键词进行拓展,可以使更多关联房源被用户浏览,从而满足用户潜在需求和提高长尾房源曝光率。
数据分析 搜索可以产生海量的用户数据
对比、交叉分析可以解构用户需求,构建用户个人画像、群体画像等。此外,也可通过观察搜索词、搜索行为等数据,分析房市热点,打造相关运 台湾数据 营内容,营造良好的应用生态环境。 03 房产搜索的框架搭建 实际上,搜索引擎是一个复杂的系统,它需要通过搜索用户输入的查询来从大量的数据中筛选出最符合用户需求的结果。整个搜索引擎包括query理解、召回和排序、重排等多个模块。下面将介绍房产搜索引擎的整体框架以及每个模块的作用。
理解 Query理解可以被视为一种分析过程
对用户输入的query进行预处理、分词、纠错、扩展、意图识别、赋予权重等操作,再做为检索条件进行数据召回。 深度解析 | 房产垂直搜索引擎构建(上) 这个过程可能比较复杂,我们可以通过一个例子来进行简单分析。例如,用户输入query为:“Chaoyang 两居的二手房、”,可以进行以下操作: 1. 预处理 预处理指对整个输入query进行简单处理,将大小转换为小写、无意义符号去除、停用词去除、半角转换、过长截断、繁转简等。通过上述方法,对数据进行初步处理。 对上述query做预处理后可以得到:“chaoyang两居二手房” 2. 分词 分词(Tokenization)指根据一些规则,将一段文本切换为若干个字或词语的流程,如“永远有光芒”,可拆分为“永远/有/光芒”,这里的每一个字或词可以看作一个输入单元(Token),OpenAI的API的收费标准便是按Token为单位计费的。 常见的分词工具。值得一提的是,大多分词工具也支持自定义词典。对于垂直搜索引擎而言,结合分词工具和自定义词典切分自然语言十分方便。 通过使用分词工具,我们可以将query可切分为“chaoyang”、“两居”、“二手房”3个Token。
纠错 纠错是预处理中的重要流程之
通过对用户输入的query进行修正或重写,提高搜索结果的精准度。纠错一般包括以下几种方法:拼写检查、词典纠错、基于上下文纠错、机器学习、深度学习等方法。房产搜索引擎主要使用拼写检查、基于词典纠错等方法。 关于机器学习或深 让我们再做一次检查 度学习,主要采用HMM、Seq2Seq、Transformer、Pointer-Generator Networks等模型进行改写生成。另外,BERT的应用也是不错的选择,在工业界被广泛应用。 根据纠错规则,此处将query处理为“朝阳/两居/二手房”。
扩展 扩展(Expansion)一般指对用户的query进行扩展,以便召回更多符合用户需求的数据。扩展通常有以下方法: 同义词扩展:将查询词中的同近义词进行转换或替换。如用户输入“北京九号线”可将词语扩展至“国家图书馆”、“郭公庄”等沿线站点; 模糊 通辽电话号码表 匹配扩展:对查询词进行模糊匹配,用来纠正潜在的拼写或语法错误相关词扩展。如对于“橡树”可扩展至“橡树湾”; 根据查询词的内容和上下文:添加相关的查询词或属性,以扩展搜索结果。对于用户输入“学区房”可将其扩展为包括标题“xx学校”的检索结果; 基于用户画像的扩展:根据用户的历史搜索行为、兴趣偏好、地理位置等上下文信息,扩展用户查询词,以更好地匹配搜索结果。如,对于经常浏览别墅的用户,在对其“二手房”的搜索上可加上“别墅二手房”等关联词汇。