生日快乐哦～真生
好久没有这么矫情了，但今日本尊生日，就矫情那么一回吧~本人姓彭，江氏后代，出生的地方叫江坊村，在余干县江埠乡，离彭家村有那么几十里路，所以说啊，传统社会连交通工具都没有，见一面都难，都是父母之命，媒妁之言呐，真是赶上自由恋爱好时节叻。
嗯，这个地方我真是一点映像也没有呐，说实话也不怪我呀，毕竟三岁之前能有什么映像嘛，我四岁就去了彭家村，哦，话说我也只知道我不在深圳出生，但我没想到我是在娘家生的哈，其实我名字里面没有圳字，而是真，后来我去了深圳，老爸给取了一个谐音就叫“圳”了，这个我不怀疑，我怀疑的是真的是他给我取的吗？如果不是我可就是地道的“娘家人”啦嘿。
我一...
填坑之旅—云服务器生产环境
在即将大功告成之际，uwsgi出来搅了个局，nginx很正常的泡在80端口，uwsgi跑出来了却没办法路由导80端口，唉…填坑之旅路漫漫
填坑必备技能
123456#查看端口占用情况lsof -i:端口号#查看进程ps aux|grep 进程名#推出进程kill -QUIT PID
直接启动django
对外开启8000端口
python manager.py runserver 0.0.0.0:8000
http://39.105.124.151:8000/
通过uwsgi启动django
uwsgi --http :8000 --module...
填坑之旅—QGDT（CPU版）
创建指定环境的虚拟环境
12345os:linuxpackage manager:condapython:3.5cuda:Nonepip3 install http://download.pytorch.org/whl/cpu/torch-0.4.0-
$ conda create -n cpu python=3.5
$ source activate cpu
$ conda install pytorch-cpu torchvision-cpu -c pytorch
安装依赖
12(cpu) pzs741@Ex-treme:~/PycharmP...
大赛初稿———智能问答系统云部署（升级版）
云服务器升级
**控制台：**快照–>升级–>重置密码–>密钥管理（下载新密钥）
12345客户端操作：#删除以前的密钥nano ~/.ssh/known_hosts#使用密钥进行SSH登录ssh root@ssh root@39.105.124.151 -i xxx.pem。
ES后台启动
123456#切换用户（低权限）su admin#后台启动./elasticsearch &#验证curl -XGET 'http://localhost:9200'
测试mysql
mysql -u...
python打包算法库
打包文件的格式我们常见的有egg（easy_install）,whl（pip），前一种是python打包工程的原生方法，后一种已经成为了主流，因为具有一下一些特点：
更快速地安装纯Python包和native C extension包。
在安装时避免武断的代码执行（避免setup.py）
C extension的安装并不要求在Windows和MacOS平台上有编译器。
为测试和持续集成（CI）提供了更好的缓存。
创建.pyc文件作为安装的一部分，以保证它们符合Python解释器的使用。
更好的跨平台。
打包工具setuptools简介
setuptools...
基于Web文档密度和标签的问答对抽取及挖掘算法
EMDT（ Extraction and Mining Algorithm for Question Answering Pair Based on Web Document Density and Tags）
算法功能简介
基于Web文档密度和标签的问答对抽取及挖掘算法完成了：从指定url或者HTML文档中抽取出网页源代码，使用TEBR（基于行块分布函数的通用网页正文抽取算法）去除网页噪声，同时可以辅以规则提高正文和主题抽取的准确率（可选），将正文web源代码解析成DOM树，通过两个强特征标签**< div >和<...
一次千万级EXCLE数据处理任务
21个十万级EXCLE数据，要求对根据一列对二列作统计
痛点分析
不能直接打开—太卡
解决办法：python包操作EXCLE
数据量太大，pandas无法一次性统计
list可变长，两次循环做频率统计
文件体积太大，读取慢
存为csv
1234567891011121314151617181920212223242526import xlrdfor j in range(1,22): workbook = xlrd.open_workbook('/home/pzs741/PycharmProjects/mat...
基于深度学习和模板的问句生成算法（Question Generation Algorithm Based on Depth Learning and Template,QGDT）
QGDT算法库入口：算法库已经在Github上开源啦～求个Star增强影响力
算法功能简介
基于深度学习和模板的问句生成算法完成了：通过训练好的SVM分类器对查询词（一至三个，可以是关键词、短语、句子）去重（查询词冗余）生成最终检索词，检索词通过排序算法（Word2Vec词向量模型+RNNLM语言模型）得到与预定义的模板的匹配得分，根据得分最高的模板生成最终的问句。
算法库组成
templates —...
pytorch环境配置
显卡驱动
更新显卡驱动
1系统设置->软件更新->附加驱动->选择nvidia最新驱动(361)->应用更改
显卡驱动测试
1234567重启nvidia-settingsOperating System:Linux-x86_64NVIDIA Driver Version:384.130Graphics Processor:GeForce GTX 1060CUDA Cores:1280Total Memory:6144 MB
版本号查看
123$ cat /proc/driver/nvidia/versionNVRM version: ...
Django为ES写搜索建议和多段匹配检索接口
最终达到的效果就是用浏览器访问suggest和search地址并附带一个参数，返回搜索建议和多段匹配结果。
views
12345678910111213141516171819202122232425262728293031323334353637383940414243444546def suggest(request,key_words): re_datas = [] if key_words: s = QAType.search() s = s.suggest('my_sugge...
