修改部分api避免出现ico后缀的html文件

HowieHz · HowieHz · commit c9d9908972ec · 2024-02-12T02:55:27.000+08:00
添加requirements.txt文件
diff --git a/requirements.txt b/requirements.txt
@@ -0,0 +1 @@
+requests
diff --git a/src/api/append_char_api.py b/src/api/append_char_api.py
@@ -8,15 +8,33 @@
 
 class API(APIBase):
     @staticmethod
-    def get(url: str) -> tuple[Union[str, bytes], str, str]:
+    def get(url: str, browser_emulation_api_flag:bool = False) -> tuple[Union[str, bytes], str, str]:
         """api规范
 
         Args:
             url (str): [http://,https://]aaa.com
+            browser_emulation_api_flag (bool): 如果是通过模拟浏览器api调用的api，这个flag为True
 
         Returns:
             tuple[Union[str, bytes], str, str]: 需要写入文件的值，文件后缀，写入模式('binary' / 'text')
         """
-        r: requests.Response = requests.get(url=f'{url}/favicon.ico',headers=headers)
-        return r.content, 'ico', 'binary'
-    
+        r: requests.Response = requests.get(url=f'{url}/favicon.ico', headers=headers)
+        content: bytes = r.content
+        
+        if not r.encoding:  # r.encoding是None那多半不是html文件了
+            return content, 'ico', 'binary'
+
+        print(r.encoding)
+        content_str: str = content.decode(r.encoding)
+
+        for line in content_str.splitlines():
+            if not line: continue # 空行跳过
+
+            if line=='<!DOCTYPE html>':
+                if browser_emulation_api_flag:
+                    return f'该网站无可用favicon\n如您使用实际访问该网站 {url} 有favicon\n请向该项目提出issue: https://github.com/HowieHz/get_favicon/issues/new \n或使用邮箱与作者联系，也可以选择加入讨论群反馈，感谢您的支持', 'txt', 'text'
+                return f'{url} 无法使用此api获取favicon', 'txt', 'text'
+            else:
+                break  # 第一个有内容的行不是<!DOCTYPE html>那就不是html文件了
+        
+        return content, 'ico', 'binary'
diff --git a/src/api/browser_emulation_api.py b/src/api/browser_emulation_api.py
@@ -16,6 +16,6 @@ def get(url: str) -> tuple[Union[str, bytes], str, str]:
         """
         ret = html_parser_api.API.get(url)
         if ret[1] == 'txt':
-            ret = append_char_api.API.get(url)
+            ret = append_char_api.API.get(url=url, browser_emulation_api_flag=True)
         return ret
     
diff --git a/src/api/getfavicon_api.py b/src/api/getfavicon_api.py
@@ -2,6 +2,10 @@
 from api.api_interface import APIBase
 from typing import Union
 
+headers = {
+    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:10.0) Gecko/20100101 Firefox/10.0"
+}
+
 class API(APIBase):
     @staticmethod
     def get(url: str) -> tuple[Union[str, bytes], str, str]:
@@ -13,5 +17,5 @@ def get(url: str) -> tuple[Union[str, bytes], str, str]:
         Returns:
             tuple[Union[str, bytes], str, str]: 需要写入文件的值，文件后缀，写入模式('binary' / 'text')
         """
-        r: requests.Response = requests.get(f'http://www.getfavicon.org/get.pl?url={url}&submitget=get+favicon')  # f'http://www.getfavicon.org/?url={link}/favicon.png')
+        r: requests.Response = requests.get(f'http://www.getfavicon.org/get.pl?url={url}&submitget=get+favicon', headers=headers)  # f'http://www.getfavicon.org/?url={link}/favicon.png')
         return r.content, 'ico', 'binary'
diff --git a/src/api/html_parser_api.py b/src/api/html_parser_api.py
@@ -80,7 +80,7 @@ def handle_starttag(self, tag: str, attrs: list[tuple[str, str]]):
         3- 只要有type或者href，就不走下面的流程了
         4. 有这标签，但是type和href属性都没有，那直接忽略掉了，置空
         
-        实验数据：有没有type，type错误，不影响edge正确读取*.png 
+        实验数据：有没有type，type错误，不影响edge正确读取*.png和RFC2397的文件
         #TODO 故此提议是否应修改解析流程，先href再type
         #TODO 有type，但是是base64的数据呢，直接二进制写入了，不行的
 
diff --git a/src/main.py b/src/main.py
@@ -2,7 +2,7 @@
 from typing import Union
 from api import api_interface, append_char_api, getfavicon_api, google_api, html_parser_api, iowen_api, browser_emulation_api
 
-version = 'v1.2.0'
+version = 'v1.2.1'
 
 print(f'自动下载favicon工具 版本{version}')
 
