添加来源字段

设计每次抓取成功后删除以前抓取数据，只保留最近抓取数据

src/main/java/com/unis/news/entity/BizSinQinghaiNews.java

@@ -1,15 +1,3 @@
-/*
- * Copyright [2022] [https://www.xiaonuo.vip]
- *
- * Snowy采用APACHE LICENSE 2.0开源协议，您在使用过程中，需要注意以下几点：
- *
- * 1.请不要删除和修改根目录下的LICENSE文件。
- * 2.请不要删除和修改Snowy源码头部的版权声明。
- * 3.本项目代码可免费商业使用，商业使用请保留源码和相关描述文件的项目出处，作者声明等。
- * 4.分发源码时候，请注明软件出处 https://www.xiaonuo.vip
- * 5.不可二次分发开源参与同类竞品，如有想法可联系团队xiaonuobase@qq.com商议合作。
- * 6.若您的项目无法满足以上几点，需要更多功能代码，获取Snowy商业授权许可，请在官网购买授权，地址为 https://www.xiaonuo.vip
- */
 package com.unis.news.entity;
 
 import com.baomidou.mybatisplus.annotation.FieldFill;
@@ -64,6 +52,9 @@ public class BizSinQinghaiNews {
     /** 跳转地址 */
     private String redirectUrl;
 
+    /** 来源 0：手动添加；1：爬虫抓取；*/
+    private Integer source;
+
     /** 状态，1：保存；2：提交（启用）；3：禁用 */
     private Integer status;
 }

src/main/java/com/unis/news/entity/BizSinStateCouncilNotice.java

@@ -64,6 +64,9 @@ public class BizSinStateCouncilNotice {
     /** 跳转地址 */
     private String redirectUrl;
 
+    /** 来源 0：手动添加；1：爬虫抓取；*/
+    private Integer source;
+
     /** 状态，1：保存；2：提交（启用）；3：禁用; */
     private Integer status;
 }

src/main/java/com/unis/news/service/impl/BizSinQinghaiNewsServiceImpl.java

@@ -29,6 +29,7 @@ import org.springframework.stereotype.Service;
 import org.springframework.transaction.annotation.Transactional;
 
 import javax.annotation.Resource;
+import java.util.ArrayList;
 import java.util.Date;
 import java.util.List;
 
@@ -63,6 +64,7 @@ public class BizSinQinghaiNewsServiceImpl extends ServiceImpl<BizSinQinghaiNewsM
             final HtmlPage page=webClient.getPage(newsUrl.getQinghai());    //从指定URL获取HtmlPage
             List<HtmlParagraph> divList=page.getByXPath("//p[@class='item']");
             int i = 0;
+            List<BizSinQinghaiNews> list1 = new ArrayList<>();
             for (HtmlParagraph node : divList) {
                 if (i==8){ //只抓取最近8条数
                     break;
@@ -73,13 +75,14 @@ public class BizSinQinghaiNewsServiceImpl extends ServiceImpl<BizSinQinghaiNewsM
                     continue;
                 }
                 //先查询是否有相同标题内容，存在跳过
-                QueryWrapper<BizSinQinghaiNews> queryWrapper = new QueryWrapper<>();
-                queryWrapper.lambda().eq(BizSinQinghaiNews::getTitle,anchor.getAttribute("title"));
-                List<BizSinQinghaiNews> list =  this.list(queryWrapper);
-                if (!list.isEmpty()){ //表示此内容已经存在
-                    continue;
-                }
-                i++;
+//                QueryWrapper<BizSinQinghaiNews> queryWrapper = new QueryWrapper<>();
+//                queryWrapper.lambda()
+//                        .eq(BizSinQinghaiNews::getTitle,anchor.getAttribute("title"))
+//                        .eq(BizSinQinghaiNews::getSource,1); //来源
+//                List<BizSinQinghaiNews> list =  this.list(queryWrapper);
+//                if (!list.isEmpty()){ //表示此内容已经存在
+//                    continue;
+//                }
                 BizSinQinghaiNews bizSinQinghaiNews  = new BizSinQinghaiNews();
                 //发布日期
                 String[] string = span.getTextContent().split("]");
@@ -90,11 +93,20 @@ public class BizSinQinghaiNewsServiceImpl extends ServiceImpl<BizSinQinghaiNewsM
                 bizSinQinghaiNews.setTitle(anchor.getAttribute("title").trim());
                 bizSinQinghaiNews.setRedirectUrl(anchor.getAttribute("href").trim());
                 bizSinQinghaiNews.setIsRedirect(1);
+                bizSinQinghaiNews.setSource(1); //来源
                 bizSinQinghaiNews.setStatus(2); //默认使用提交状态
-                super.save(bizSinQinghaiNews);
-
+                list1.add(bizSinQinghaiNews);
+                i++;
             }
+            if (list1.size() >0) {
+                //清理抓取数据，只保留今天抓取数据
+                QueryWrapper<BizSinQinghaiNews> queryWrapper = new QueryWrapper<>();
+                queryWrapper.lambda()
+                        .eq(BizSinQinghaiNews::getSource, 1); //来源
 
+                this.remove(queryWrapper);
+                this.saveOrUpdateBatch(list1);
+            }
         } catch (Exception e) {
             e.printStackTrace();
         }finally {

src/main/java/com/unis/news/service/impl/BizSinStateCouncilNoticeServiceImpl.java

@@ -27,6 +27,7 @@ import org.springframework.stereotype.Service;
 import org.springframework.transaction.annotation.Transactional;
 
 import javax.annotation.Resource;
+import java.util.ArrayList;
 import java.util.Date;
 import java.util.List;
 
@@ -63,6 +64,7 @@ public class BizSinStateCouncilNoticeServiceImpl extends ServiceImpl<BizSinState
 
             List<HtmlHeading4> h4List=page.getByXPath("//h4");
             int i = 0;
+            List<BizSinStateCouncilNotice> list1 = new ArrayList<>();
             for (HtmlHeading4 node : h4List) {
                 if (i==8){ //只抓取最近8条数
                     break;
@@ -72,15 +74,17 @@ public class BizSinStateCouncilNoticeServiceImpl extends ServiceImpl<BizSinState
                     if (span == null || anchor == null){
                         continue;
                     }
-                    i++;
-                    //先查询是否有相同标题内容，存在跳过
-                    String title = anchor.getTextContent().trim();
-                    QueryWrapper<BizSinStateCouncilNotice> queryWrapper = new QueryWrapper<>();
-                    queryWrapper.lambda().eq(BizSinStateCouncilNotice::getTitle,title);
-                    List<BizSinStateCouncilNotice> list =  this.list(queryWrapper);
-                    if (!list.isEmpty()){ //表示此内容已经存在
-                        continue;
-                    }
+
+                String title = anchor.getTextContent().trim();
+                //先查询是否有相同标题内容，存在跳过
+//                    QueryWrapper<BizSinStateCouncilNotice> queryWrapper = new QueryWrapper<>();
+//                    queryWrapper.lambda()
+//                            .eq(BizSinStateCouncilNotice::getTitle,title)
+//                            .eq(BizSinStateCouncilNotice::getSource,1); //来源
+//                    List<BizSinStateCouncilNotice> list =  this.list(queryWrapper);
+//                    if (!list.isEmpty()){ //表示此内容已经存在
+//                        continue;
+//                    }
                     BizSinStateCouncilNotice notice  = new BizSinStateCouncilNotice();
                     //发布日期
                     Date publishDate = DateUtils.parseDate(span.getTextContent().trim(),"yyyy-MM-dd");
@@ -90,11 +94,19 @@ public class BizSinStateCouncilNoticeServiceImpl extends ServiceImpl<BizSinState
                     notice.setPublishDate(publishDate);
                     notice.setRedirectUrl(anchor.getAttribute("href").trim());
                     notice.setIsRedirect(1);
+                    notice.setSource(1); //来源
                     notice.setStatus(2); //默认使用提交状态
-                    super.save(notice);
-
+                    list1.add(notice);
+                    i++;
+            }
+            //清理抓取数据，只保留今天抓取数据
+            if (list1.size() >0){
+                QueryWrapper<BizSinStateCouncilNotice> queryWrapper = new QueryWrapper<>();
+                queryWrapper.lambda()
+                        .eq(BizSinStateCouncilNotice::getSource,1); //来源
+                this.remove(queryWrapper);
+                this.saveOrUpdateBatch(list1);
             }
-
 
         } catch (Exception e) {
             e.printStackTrace();

src/main/java/com/unis/news/tasksNews/TasksNewsRunning.java

@@ -46,6 +46,7 @@ public class TasksNewsRunning {
      * 抓取国务院网站数据，晚上3点执行一次
      */
     @Scheduled(cron = "0 0 3 * * ?")
+//    @Scheduled(cron = "0/20 * * * * ?")
     public void stateCouncilNoticeun()   {
         bizSinStateCouncilNoticeService.taskAction();
         log.info("----抓取国务院网站数据，晚上3点执行一次---");