1
import type { MetadataRoute } from "next";
2

3
export default function robots(): MetadataRoute.Robots {
4
  return {
5
  /*  如果是通用规则，可以这样写，就直接是一个对象类似于掘金
6
           rules: {
7
              userAgent: '*',
8
              allow: '/',
9
              disallow: '/private/',
10
            },
11
          自定义爬虫机器人规则可以用数组形式，就是一个数组类似于哔哩哔哩 */
12
    rules: [
13
      {
14
        userAgent: "Googlebot",//搜索引擎爬虫名称
15
        allow: ["/"],//允许访问界面
16
        disallow: ["/api/"],//不允许访问界面
17
        crawlDelay: 10, //访问间隔时间(Google机器人不支持该参数，其他部分爬虫机器人支持该参数)
18
      },
19
      {
20
        userAgent: "Baiduspider",
21
        allow: ["/"],
22
        disallow: ["/api/"],
23
        crawlDelay: 10,
24
      },
25
      {
26
        userAgent: "Bingbot",
27
        allow: ["/"],
28
        disallow: ["/api/"],
29
        crawlDelay: 10,
30
      },
31
      {
32
        userAgent: "YandexBot",
33
        allow: ["/"],
34
        disallow: ["/api/"],
35
        crawlDelay: 10,
36
      },
37
      {
38
        userAgent: "Sogou spider",
39
        allow: ["/"],
40
        disallow: ["/api/"],
41
        crawlDelay: 10,
42
      },
43
    ],
44
    sitemap: "https://choria.example.com/sitemap.xml", //网站地图url,有多个可以写成数组
45
    host: "https://choria.example.com",
46
  };
47
}