In [1]:
date

Sat Oct  8 17:51:17 CST 2022
In [ ]:
cd /public/workspace/shaojf/Course/Linux/pubmedData/
In [5]:
ls

abstract-fibrosisMe-set.txt  nlmcatalog_result.txt
MeSH                         pubmed-fibrosisMe-set.txt
In [3]:
# NCBI PubMed收录的杂志分别来自哪些国家，以及杂志数目
grep "Country of Publication" nlmcatalog_result.txt | sort | uniq -c | sort -k1,1nr

   1975 Country of Publication: United States
   1381 Country of Publication: England
    351 Country of Publication: Netherlands
    296 Country of Publication: Germany
    157 Country of Publication: Switzerland
    114 Country of Publication: Japan
     87 Country of Publication: France
     80 Country of Publication: China
     73 Country of Publication: Australia
     71 Country of Publication: Italy
     63 Country of Publication: Spain
     49 Country of Publication: Brazil
     43 Country of Publication: Canada
     43 Country of Publication: Poland
     42 Country of Publication: United Arab Emirates
     40 Country of Publication: India
     33 Country of Publication: Korea (South)
     32 Country of Publication: Ireland
     29 Country of Publication: Denmark
     24 Country of Publication: Turkey
     23 Country of Publication: New Zealand
     22 Country of Publication: Russia (Federation)
     20 Country of Publication: Czech Republic
     17 Country of Publication: Scotland
     16 Country of Publication: Singapore
     12 Country of Publication: Austria
     12 Country of Publication: Iran
     12 Country of Publication: South Africa
     11 Country of Publication: Mexico
     11 Country of Publication: Sweden
     10 Country of Publication: China (Republic : 1949- )
     10 Country of Publication: Egypt
     10 Country of Publication: Greece
     10 Country of Publication: Hungary
      7 Country of Publication: Argentina
      7 Country of Publication: Croatia
      6 Country of Publication: Romania
      5 Country of Publication: Colombia
      5 Country of Publication: Pakistan
      4 Country of Publication: Belgium
      4 Country of Publication: Bosnia and Herzegovina
      4 Country of Publication: Nepal
      4 Country of Publication: Nigeria
      4 Country of Publication: Portugal
      4 Country of Publication: Saudi Arabia
      4 Country of Publication: Slovakia
      3 Country of Publication: Chile
      3 Country of Publication: Israel
      3 Country of Publication: Malaysia
      3 Country of Publication: Norway
      2 Country of Publication: Bangladesh
      2 Country of Publication: Peru
      2 Country of Publication: Slovenia
      2 Country of Publication: Thailand
      2 Country of Publication: Uganda
      2 Country of Publication: Ukraine
      1 Country of Publication: Bulgaria
      1 Country of Publication: Ethiopia
      1 Country of Publication: Finland
      1 Country of Publication: Georgia (Republic)
      1 Country of Publication: Ghana
      1 Country of Publication: Iceland
      1 Country of Publication: Indonesia
      1 Country of Publication: Kuwait
      1 Country of Publication: Libya
      1 Country of Publication: Lithuania
      1 Country of Publication: Malawi
      1 Country of Publication: Mali
      1 Country of Publication: Northern Ireland
      1 Country of Publication: North Macedonia
      1 Country of Publication: Oman
      1 Country of Publication: Philippines
      1 Country of Publication: Puerto Rico
      1 Country of Publication: Sri Lanka
      1 Country of Publication: Tunisia
      1 Country of Publication: Wales
In [4]:
# 哪一年的新办杂志最多？
more nlmcatalog_result.txt | grep "Publication Start Year" | sort | uniq -c | sort -k1,1nr | head

    147 Publication Start Year: 2001
    139 Publication Start Year: 2000
    138 Publication Start Year: 1995
    131 Publication Start Year: 1994
    127 Publication Start Year: 1987
    125 Publication Start Year: 2004
    123 Publication Start Year: 2006
    122 Publication Start Year: 1992
    121 Publication Start Year: 1991
    121 Publication Start Year: 2002
In [10]:
# pubmed上搜(fibrosis[MeSH Major Topic]) AND (gene[MeSH Terms])，看看纤维化基因相关的研究中，热门词汇有哪些？
sed -n '/^AB/,/^[A-Z]/p' pubmed-fibrosisMe-set.txt | \
    grep -v -e "^CI" -e "^FAU" | \
    awk '{split($0,words);for(i in words){print words[i]}}' | \
    grep -E -v -e "^AB" -e "^-" -e "^$" -e "^\s+$"| \
    sort | uniq -c | sort -nr | grep -wvf nonkw.txt | head -50

   1520 liver
   1451 patients
   1034 expression
    975 fibrosis
    881 gene
    670 cirrhosis
    499 significantly
    456 disease
    450 promoter
    444 hepatic
    437 increased
    415 allele
    412 chronic
    403 levels
    399 genotype
    393 risk
    368 fibrosis.
    363 role
    359 association
    354 cell
    353 protein
    347 hepatitis
    335 polymorphism
    335 lung
    323 significant
    320 collagen
    319 compared
    316 polymorphisms
    313 higher
    308 HCC
    308 factor
    306 genes
    303 genetic
    287 human
    286 DNA
    282 keloid
    281 pulmonary
    278 PBC
    245 analysis
    238 HBV
    233 normal
    232 controls
    229 mRNA
    229 B
    228 growth
    228 control
    227 These
    224 both
    224 1
    223 biliary
grep: write error
sort: write failed: standard output: Broken pipe
sort: write error
In [11]:
# https://www.heywhale.com/mw/dataset/5cf0987ec84534002b04024b/content
# 数据说明
# 数据年份是2016至2018年间的数据，包含31个省份，可从文件列表中查看

# 每个省份一个数据，仅以能找到的最新的数据为主
# 不考虑增补数据（每年第一批疫苗集中采购后，后续会根据政策再开第二批，第三批等等）
# 数据来源
# 数据由github用户fuckcqcs在长春长生疫苗事件后整理分享，更多信息可查看作者的微信文章《我花了14个小时找了一下长春长生们究竟卖到了哪里去》

# 2018年7月15日，国家药品监督管理局发布通告指出，长春长生生物科技有限公司冻干人用狂犬病疫苗生产存在记录造假等行为。

cd /public/workspace/shaojf/Course/Linux/NewDatasets4Linux/vaccine
ls

上海市.csv          安徽省.csv            河北省.csv  西藏藏族自治区.csv
云南省.csv          山东省.csv            河南省.csv  贵州省.csv
内蒙古自治区.csv    山西省.csv            浙江省.csv  辽宁省.csv
北京市.csv          广东省.csv            海南省.csv  重庆市.csv
吉林省.csv          广西壮族自治区.csv    湖北省.csv  陕西省.csv
四川省.csv          新疆维吾尔自治区.csv  湖南省.csv  青海省.csv
天津市.csv          江苏省.csv            甘肃省.csv  黑龙江省.csv
宁夏回族自治区.csv  江西省.csv            福建省.csv
In [12]:
# 一共几种疫苗？
cat *.csv | grep -v "name" | sed 's/"//g;s/，/,/g;s/^ //' | cut -f 1 -d "," | sort -u | wc -l

367
In [13]:
# 长春长生一共售出几种疫苗？
cat *.csv | grep -v "name" | sed 's/"//g;s/，/,/g;s/^ //' | cut -f 1,3 -d "," | sort -u | grep "长春长生"

ACYW135群脑膜炎球菌多糖疫苗（冻干）,长春长生生物科技有限责任公司
ACYW135群脑膜炎球菌多糖疫苗 注射剂（冻干）, 长春长生生物科技有限责任公司
ACYW135群脑膜炎球菌多糖疫苗, 长春长生生物科技有限责任公司
ACYW135群脑膜炎球菌多糖疫苗,长春长生生物科技有限责任公司
人用狂犬病疫苗(Vero细胞),长春长生生物科技有限公司
人用狂犬病疫苗（VERO细胞）,长春长生生物科技有限责任公司
人用狂犬病疫苗（Vero细胞）（预充式） 注射剂, 长春长生生物科技有限责任公司
人用狂犬病疫苗,长春长生生物科技有限责任公司
冻干人用狂犬病疫苗（Vero细胞）（5针次）,长春长生生物科技有限责任公司
冻干人用狂犬病疫苗（Vero细胞微载体）,长春长生生物科技股份有限公司
冻干人用狂犬病疫苗（Vero细胞） 注射剂（冻干）, 长春长生生物科技有限责任公司
冻干人用狂犬病疫苗（vero细胞）,长春长生生物科技有限责任公司
冻干人用狂犬病疫苗(Vero细胞),长春长生生物科技有限责任公司
冻干人用狂犬病疫苗（Vero细胞）, 长春长生生物科技有限责任公司
冻干人用狂犬病疫苗（Vero细胞）,长春长生生物科技有限责任公司
冻干人用狂犬病疫苗（Vero细胞）(预充式),长春长生生物科技有限责任公司
冻干水痘减毒活疫苗（2针法）,长春长生生物科技有限责任公司
冻干水痘减毒活疫苗(二针法),长春长生生物科技有限责任公司
冻干水痘减毒活疫苗（二针法）,长春长生生物科技股份有限公司
冻干水痘减毒活疫苗,长春长生生物科技有限责任公司
冻干水痘减毒活疫苗,长春长生生物科技股份有限公司
冻干甲型肝炎减毒活疫苗 注射剂（冻干）, 长春长生生物科技有限责任公司
冻干甲型肝炎减毒活疫苗, 长春长生生物科技有限责任公司
冻干甲型肝炎减毒活疫苗,长春长生生物科技有限责任公司
冻干甲型肝炎减毒活疫苗,长春长生生物科技股份有限公司
冻干甲肝减毒活疫苗,长春长生生物科技有限责任公司
四价流感病毒裂解疫苗,长春长生生物科技有限责任公司
森林脑炎灭活疫苗,长春长生制品研究所有限责任公司
水痘减毒活疫苗 注射剂, 长春长生生物科技有限责任公司
水痘减毒活疫苗, 长春长生生物科技有限责任公司
水痘减毒活疫苗,长春长生生物科技有限责任公司
水痘减毒活疫苗（预充式） 注射剂, 长春长生生物科技有限责任公司
水痘减毒活疫苗（预充式）,长春长生生物科技有限责任公司
水痘疫苗,长春长生生物科技有限责任公司
流感病毒裂解疫苗（儿童型） 注射剂, 长春长生生物科技有限责任公司
流感病毒裂解疫苗（儿童型）,长春长生生物科技股份有限公司
流感病毒裂解疫苗（成人型）,长春长生生物科技股份有限公司
流感病毒裂解疫苗, 长春长生生物科技有限责任公司
流感病毒裂解疫苗,长春长生生物科技有限责任公司
流感病毒裂解疫苗（预充式） 注射剂, 长春长生生物科技有限责任公司
流脑疫苗,长春长生生物科技有限责任公司
流行性感冒疫苗,长春长生生物科技有限责任公司
In [ ]: