owllook在线小说搜索引擎使用指南

是一个在线小说搜索引擎 , 其目的是让阅读更简单、优雅 , 让每位读者都有舒适的阅读体验
是我大学时期编写的一个开源项目 , 至今维护将近两年了 , 以前关于介绍的原文章已经年久失修 , 再加上一些用户不知道怎么安装使用 , 因此我将文章重新编辑一番 , 以作使用指南
介绍
是一个基于其他搜索引擎构建的垂直小说搜索引擎 , 提供搜书、阅读、收藏、追更、推荐等功能
不保存数据 , 所有信息全部利用爬虫技术基于第三方网站搜索发现 , 再经过在线解析展示给用户 , 这样对使用者的好处在于:
基于.6 , 后端采用Sanic(对这个web框架感兴趣的朋友可在公众号后台回复sanic , 看看我写的Sanic教程) , 前端使用了和mdui , 数据库方面则用了储存用户使用过程中的产生的基本信息 , 诸如注册信息、搜索小说信息、收藏小说数据等 , 对于某些必要的缓存 , 则利用Redis进行缓存处理 , 如小说缓存、缓存 , 注意 , 对于限制数据:都将在24小时删除
对于不同网站的小说 , 页面规则都不尽相同 , 我希望能够在代码解析后再统一展示出来 , 这样方便且美观 , 而不是仅仅跳转到对应网站就完事 , 清新简洁的阅读体验才是最重要的
目前采用的是直接在搜索引擎上进行结果检索 , 我尽量写少量的规则来完成解析 , 具体见项目里面的规则定义 , 遇到自己喜欢的小说网站 , 你也可以自己添加解析 , 目前解析了超过200+网站 , 追更网站解析了50+
有一些地方需要用到爬虫 , 比如说排行榜 , 一些书籍信息等 , 我不想动用重量级爬虫框架来写 , 于是我在里面编写了一个很轻量的爬虫框架来做这件事 , 见 ruia 异步爬虫框架
【owllook在线小说搜索引擎使用指南】目前实现功能如下:
安装
接下来的安装步骤 , 默认以为主 , 默认在root用户下操作 , 首先版本 , 最好是.6 , 然后项目的数据库需要
请先安装:
yum -y install bzip2 wget vim git
环境搭建
的安装很简单 , 但是对于一些不熟悉或者新手来说确实有点困难 , 下面详细介绍了安装流程

owllook在线小说搜索引擎使用指南

文章插图
数据库
需要你在服务器上安装和Redis , 你不必管理数据库的创建 , 用这个的好处就在于可以自动生成
安装:
vim /etc/yum.repos.d/mongodb-org-3.6.repo
输入:
[mongodb-org-3.6] name=MongoDB Repository baseurl=https://repo.mongodb.org/yum/amazon/2013.03/mongodb-org/3.6/x86_64/ gpgcheck=1 enabled=1 gpgkey=https://www.mongodb.org/static/pgp/server-3.6.asc
可以看到已经存在:
# 安装 sudo yum install mongodb-org # 启动 sudo systemctl start mongod # 查看 MongoDB 后台进程 ps -aux |grep mongod # 或者 sudo systemctl status mongod
可以看到正在后台运行:
进入:
安装Redis:
yum install epel-release yum-utils yum install http://rpms.remirepo.net/enterprise/remi-release-7.rpm yum-config-manager --enable remi yum install redis vim /etc/redis.conf # 使 redis 能在后台运行 daemonize yes