Nodejs 文本语种识别

g089h515r806 的头像
Submitted by g089h515r806 on 星期一, 2025-01-06 06:27

我们帮助客户搭建了一个信息采集系统,采集器用的nodejs,服务器端用的是我们熟悉的Drupal。我们采集的信息由于是各种语种都有的,我们系统有将其统一成英文的需求,所以我们就调用了百度的翻译API,统一翻译成为英文。

 

用了一段时间发现,百度翻译的接口有点小贵,考虑到大部分的文章都是英文,只需要把不是英文的翻译成英文即可。此时我们需要识别这些文本的语种,做一个判断。

 

我查了一下,NodeJS下面,文本的语种识别,主要有3个库可用tinyld、languagedetect、franc,下面是地址,还有最近更新时间,下载量的对比。

https://www.npmjs.com/package/tinyld    2 years ago   2.2

 

论坛:

Drupal 9 升级Drupal10

g089h515r806 的头像
Submitted by g089h515r806 on 星期二, 2024-08-06 07:37

现在Drupal11的正式版已经出来了,Drupal9也已经停止了维护,升级到Drupal10,是必然选择。最近尝试将10多个Drupal9站点,升级到Drupal10,总结一下经验:

1, 先升级到Drupal 9的最后一个版本,也就是Drupal9.5

2, 之后升级到Drupal10.0

3, 再后升级到Drupal10.2

 

全程做好备份,防止出错。注意模块的兼容性,首先先将模块升级,让它同时兼容Drupal9,Drupal10. 升级主题,也同时兼容Drupal9,Drupal10。自定义模块、主题,info文件修改:

论坛:

Drupal版本:

Think in Drupal 出续集了

g089h515r806 的头像
Submitted by g089h515r806 on 星期四, 2023-08-10 12:32

全新的格式,采用视频的形式。目前课程分为实战篇,配置篇、开发篇三大类。实战篇,已经发布了3集视频,通过腾讯课堂的形式。课程采用最新的Drupal10,

每一集下面,都有对应的程序数据库文件可以下载。

第1集 初识Drupal

安装xampp开发环境,安装Drupal常见配置内容管理添加区块用户管理扩展Drupal

第2集 实体与字段

1,创建内容类型2, 文章的字段调账3,课程的字段调整4,多媒体资源管理5,使用paragraphs管理课程资源6,为栏目管理准备字段7,实体与字段总结

第3集 自动别名、图片样式与文本格式

第1节 Pathauto 自动设置路径别名第2节 文本格式与编辑器第3节 图片样式第4节 响应式图片样式

论坛:

Drupal版本:

Drupal 10.1新特性及前端组件化

g089h515r806 的头像
Submitted by g089h515r806 on 星期四, 2023-06-08 03:38

Drupal10.1 beta1版本发布,里面包含了很多新的特性。如下:

1, 增加了一个开发设置,/admin/config/development/settings,这里可以修改twig的设置,通过这里的配置就可以启用关闭twig的调试模式。

2, 时间戳的显示格式支持“2小时 23分钟前”这样的格式了

论坛:

Drupal版本:

Drupal中使用xlsx js库导出Excel数据

g089h515r806 的头像
Submitted by g089h515r806 on 星期三, 2023-03-22 06:22

我们制作的一个Drupal统计表,其中有些列和行是用js生成的,客户想要导出Excel,以前我们都是导出csv,让用户自己用Excel打开,转一下。使用views_data_export模块,可以很好的解决这类问题。直接导出Excel,需要安装Excel的库,这个依赖于composer。

   使用composer管理Drupal站点,需要科学上网,有时候不大方便,所以我大多数时候都是导入导出CSV。

我在开发NodeJS项目的时候,用过xlsx.js库,感觉特别好用。所以就尝试了一下,在Drupal中使用这个库,从github上,下载这个项目的源代码:

https://github.com/SheetJS/sheetjs

解压缩,在dist目录下面,有打包好的js,我是把整个dist目录都拷贝到Drupal项目中。在Drupal的libraries.yml文件中引入js文件:

论坛:

Drupal版本:

Drupal 8 升级 Drupal 9 小结

g089h515r806 的头像
Submitted by g089h515r806 on 星期一, 2023-03-06 14:09

升级步骤

备份数据库

1,升级到最新的D8版本, 8.9.20

2,升级模块,支持D9

  2.1升级第三方模块

  2.2 升级定制模块

3,升级到Drupal9


自定义模块检查,是否支持D9,主要是 info文件中,是否包含了:

core_version_requirement: ^8 || ^9

对于没有这一行的加上去


先将Drupal升级到8.9的最新版本,这个简单。


接着是升级模块,到支持Drupal9的版本,这个需要自己一个一个查找,这是实际站点,我逐个查找的:

admin_toolbar 8.x-1.27  : admin_toolbar-3.2.1 


blocktabs 8.x-1.0-beta3 :blocktabs-8.x-1.0-beta4 


依赖于:https://www.drupal.org/project/jquery_ui_accordion


论坛:

Drupal版本:

Python内存溢出优化

g089h515r806 的头像
Submitted by g089h515r806 on 星期五, 2023-02-24 07:08

在一个项目中,我们使用python处理文本的智能分类,因为文本分类这样的工作,tensorflow, pytorch这些人工智能框架处理起来更为顺手,这些框架用python调用最为方便。我们的内容存放在Drupal里面,这就需要Drupal和python之间交互。

 

我简单使用了python下面的flask框架,封装了一个接口给Drupal调用,这样Drupal将文章的正文传递给python,python调用底层的框架,计算出来分类结果,返回给Drupal。

论坛:

页面

Subscribe to Think in Drupal RSS