Linhz/ViMNer

1import streamlit as st2from spacy import displacy3from Model.NER.VLSP2021.Predict_Ner import ViTagger4import re5from thunghiemxuly import save_uploaded_image,convert_text_to_txt,add_string_to_txt6 7import os8from transformers import AutoTokenizer, BertConfig9from Model.MultimodelNER.VLSP2016.train_umt_2016 import format_predictions,process_predictions,combine_entities,remove_B_prefix,load_model,predict10from Model.MultimodelNER.predict import get_test_examples_predict11from Model.MultimodelNER import resnet as resnet12from Model.MultimodelNER.resnet_utils import myResnet13import torch14import numpy as np15from Model.MultimodelNER.VLSP2016.dataset_roberta import MNERProcessor_201616from Model.MultimodelNER.VLSP2016.MNER_2016 import show_mner_201617from Model.MultimodelNER.VLSP2021.MNER_2021 import show_mner_202118 19CONFIG_NAME = 'bert_config.json'20WEIGHTS_NAME = 'pytorch_model.bin'21device = torch.device("cuda" if torch.cuda.is_available() else "cpu")22 23 24net = getattr(resnet, 'resnet152')()25net.load_state_dict(torch.load(os.path.join('Model/Resnet/', 'resnet152.pth')))26encoder = myResnet(net, True, device)27def process_text(text):28    # Loại bỏ dấu cách thừa và dấu cách ở đầu và cuối văn bản29    processed_text = re.sub(r'\s+', ' ', text.strip())30    return processed_text31 32 33 34def show_mner():35    st.sidebar.title('Datasets')36    dataset = st.sidebar.selectbox("Datasets", ("VLSP2016", "VLSP2021"))37    st.header("Multimodal NER")38    if dataset == 'VLSP2016':39        show_mner_2016()40    else:41        show_mner_2021()42 43 44        # Sử dụng widget st.html để hiển thị HTML45 46    # Hiển thị văn bản đã nhập47    # st.write("Văn bản đã nhập:", text)48 49 50###Ví dụ 1 : Một trận hỗn chiến đã xảy ra tại trận đấu khúc côn cầu giữa  Penguins và Islanders ở Mỹ (image:penguin)