删除上游依赖

MUTC_phasenoise_predictions.csv

@@ -1,351 +1,351 @@
--1.686926269531250000e+02
--1.669375152587890625e+02
--1.780948791503906250e+02
--1.671653594970703125e+02
--1.657380676269531250e+02
--1.684917907714843750e+02
--1.700740509033203125e+02
--1.786820068359375000e+02
--1.688038635253906250e+02
--1.681108398437500000e+02
--1.680962677001953125e+02
--1.786070709228515625e+02
--1.705231781005859375e+02
--1.626539916992187500e+02
--1.757428436279296875e+02
--1.757035980224609375e+02
--1.703328704833984375e+02
--1.690022888183593750e+02
--1.756165313720703125e+02
--1.679863586425781250e+02
--1.698899230957031250e+02
--1.652712097167968750e+02
--1.784820709228515625e+02
--1.705126190185546875e+02
--1.704936370849609375e+02
--1.751896057128906250e+02
--1.709916076660156250e+02
--1.688137359619140625e+02
--1.687965240478515625e+02
--1.758963623046875000e+02
--1.706778717041015625e+02
--1.694917602539062500e+02
--1.708856048583984375e+02
--1.784415283203125000e+02
--1.684379119873046875e+02
--1.712743072509765625e+02
--1.735616149902343750e+02
--1.757744140625000000e+02
--1.715347137451171875e+02
--1.683169708251953125e+02
--1.748589172363281250e+02
--1.759839019775390625e+02
--1.685989837646484375e+02
--1.687022247314453125e+02
--1.782189636230468750e+02
--1.687661132812500000e+02
--1.697523040771484375e+02
--1.701622009277343750e+02
--1.692691955566406250e+02
--1.738991394042968750e+02
--1.662494659423828125e+02
--1.683070678710937500e+02
--1.757032165527343750e+02
--1.685317077636718750e+02
--1.758970489501953125e+02
--1.745108795166015625e+02
--1.707010955810546875e+02
--1.673053283691406250e+02
--1.687863159179687500e+02
--1.704075164794921875e+02
--1.694497070312500000e+02
--1.704278869628906250e+02
--1.698840026855468750e+02
--1.784858245849609375e+02
--1.684648437500000000e+02
--1.756464996337890625e+02
--1.721197509765625000e+02
--1.705894927978515625e+02
--1.701609344482421875e+02
--1.693857269287109375e+02
--1.681412506103515625e+02
--1.704292602539062500e+02
--1.751962738037109375e+02
--1.732187500000000000e+02
--1.696713714599609375e+02
--1.678463134765625000e+02
--1.694903717041015625e+02
--1.784068908691406250e+02
--1.708139190673828125e+02
--1.704725799560546875e+02
--1.671196289062500000e+02
--1.785308532714843750e+02
--1.713655548095703125e+02
--1.689451293945312500e+02
--1.760302124023437500e+02
--1.734313201904296875e+02
--1.680407257080078125e+02
--1.678228149414062500e+02
--1.687092895507812500e+02
--1.758150482177734375e+02
--1.693363189697265625e+02
--1.692372741699218750e+02
--1.697650146484375000e+02
--1.704965362548828125e+02
--1.692397460937500000e+02
--1.726823272705078125e+02
--1.697770996093750000e+02
--1.782422332763671875e+02
--1.713082427978515625e+02
--1.693512573242187500e+02
--1.743320465087890625e+02
--1.664583129882812500e+02
--1.782929382324218750e+02
--1.783493957519531250e+02
--1.709324035644531250e+02
--1.684455718994140625e+02
--1.689209747314453125e+02
--1.691274566650390625e+02
--1.755700531005859375e+02
--1.708069763183593750e+02
--1.684779968261718750e+02
--1.678553619384765625e+02
--1.654201965332031250e+02
--1.679218292236328125e+02
--1.644457550048828125e+02
--1.745057525634765625e+02
--1.701104278564453125e+02
--1.647450714111328125e+02
--1.677056579589843750e+02
--1.686541900634765625e+02
--1.700971679687500000e+02
--1.670055541992187500e+02
--1.710511016845703125e+02
--1.643709259033203125e+02
--1.713623352050781250e+02
--1.712623748779296875e+02
--1.701844940185546875e+02
--1.672866973876953125e+02
--1.702470855712890625e+02
--1.707005615234375000e+02
--1.757288970947265625e+02
--1.708075103759765625e+02
--1.784865875244140625e+02
--1.697377014160156250e+02
--1.700332031250000000e+02
--1.759064483642578125e+02
--1.734653472900390625e+02
--1.735113830566406250e+02
--1.784571075439453125e+02
--1.692952423095703125e+02
--1.688186492919921875e+02
--1.704287872314453125e+02
--1.701329193115234375e+02
--1.711584930419921875e+02
--1.736072082519531250e+02
--1.780203704833984375e+02
--1.680807189941406250e+02
--1.785131530761718750e+02
--1.702016143798828125e+02
--1.695723571777343750e+02
--1.713472442626953125e+02
--1.694730529785156250e+02
--1.685658264160156250e+02
--1.666945648193359375e+02
--1.692892150878906250e+02
--1.712335815429687500e+02
--1.757235870361328125e+02
--1.645660552978515625e+02
--1.689177703857421875e+02
--1.785282440185546875e+02
--1.766334838867187500e+02
--1.684141235351562500e+02
--1.701559906005859375e+02
--1.705048217773437500e+02
--1.690705871582031250e+02
--1.699512786865234375e+02
--1.705797882080078125e+02
--1.681061706542968750e+02
--1.752530212402343750e+02
--1.627415771484375000e+02
--1.672821960449218750e+02
--1.700899200439453125e+02
--1.666422882080078125e+02
--1.667252807617187500e+02
--1.697010498046875000e+02
--1.754411621093750000e+02
--1.661964874267578125e+02
--1.722153015136718750e+02
--1.763929138183593750e+02
--1.786276245117187500e+02
--1.661281890869140625e+02
--1.762881164550781250e+02
--1.717115783691406250e+02
--1.664881896972656250e+02
--1.692413177490234375e+02
--1.762894897460937500e+02
--1.704898681640625000e+02
--1.699985961914062500e+02
--1.756638641357421875e+02
--1.689208374023437500e+02
--1.666899108886718750e+02
--1.688796997070312500e+02
--1.694286804199218750e+02
--1.638054199218750000e+02
--1.784100952148437500e+02
--1.665445861816406250e+02
--1.758182525634765625e+02
--1.695102233886718750e+02
--1.713061981201171875e+02
--1.707600402832031250e+02
--1.693861694335937500e+02
--1.714826812744140625e+02
--1.681381988525390625e+02
--1.689446563720703125e+02
--1.655546569824218750e+02
--1.715122070312500000e+02
--1.710055236816406250e+02
--1.785996093750000000e+02
--1.669172973632812500e+02
--1.708115539550781250e+02
--1.756503601074218750e+02
--1.726331176757812500e+02
--1.744122467041015625e+02
--1.689573974609375000e+02
--1.759057006835937500e+02
--1.692403869628906250e+02
--1.710320892333984375e+02
--1.675979461669921875e+02
--1.679419860839843750e+02
--1.753177490234375000e+02
--1.742446594238281250e+02
--1.730350189208984375e+02
--1.642921752929687500e+02
--1.700840759277343750e+02
--1.674513092041015625e+02
--1.673302764892578125e+02
--1.785467071533203125e+02
--1.689687500000000000e+02
--1.703008270263671875e+02
--1.655556335449218750e+02
--1.701540527343750000e+02
--1.705131988525390625e+02
--1.692002563476562500e+02
--1.745406036376953125e+02
--1.785591583251953125e+02
--1.642077331542968750e+02
--1.695928344726562500e+02
--1.778593902587890625e+02
--1.693121490478515625e+02
--1.708757476806640625e+02
--1.687544250488281250e+02
--1.686382293701171875e+02
--1.684260406494140625e+02
--1.685555419921875000e+02
--1.755563201904296875e+02
--1.712743072509765625e+02
--1.721421203613281250e+02
--1.694658660888671875e+02
--1.700863342285156250e+02
--1.782990722656250000e+02
--1.757913818359375000e+02
--1.704426574707031250e+02
--1.758149261474609375e+02
--1.756664886474609375e+02
--1.681544494628906250e+02
--1.710761413574218750e+02
--1.759420776367187500e+02
--1.670593414306640625e+02
--1.707621612548828125e+02
--1.638508605957031250e+02
--1.680711364746093750e+02
--1.764327239990234375e+02
--1.676949768066406250e+02
--1.754751281738281250e+02
--1.691892547607421875e+02
--1.678548278808593750e+02
--1.786986846923828125e+02
--1.685015563964843750e+02
--1.693651123046875000e+02
--1.757479553222656250e+02
--1.700437164306640625e+02
--1.675407104492187500e+02
--1.690088195800781250e+02
--1.757183837890625000e+02
--1.684144287109375000e+02
--1.780888671875000000e+02
--1.669596252441406250e+02
--1.692795562744140625e+02
--1.682228851318359375e+02
--1.687140502929687500e+02
--1.759359283447265625e+02
--1.700263366699218750e+02
--1.681064453125000000e+02
--1.717841491699218750e+02
--1.713259735107421875e+02
--1.714663085937500000e+02
--1.689740600585937500e+02
--1.688129272460937500e+02
--1.749975433349609375e+02
--1.753820800781250000e+02
--1.741967010498046875e+02
--1.691803131103515625e+02
--1.713247375488281250e+02
--1.697971038818359375e+02
--1.693985290527343750e+02
--1.691538696289062500e+02
--1.646579895019531250e+02
--1.628041229248046875e+02
--1.720522003173828125e+02
--1.713650054931640625e+02
--1.760906372070312500e+02
--1.643821411132812500e+02
--1.707637329101562500e+02
--1.688883361816406250e+02
--1.695419311523437500e+02
--1.689679107666015625e+02
--1.674378051757812500e+02
--1.785405120849609375e+02
--1.685635833740234375e+02
--1.706193084716796875e+02
--1.703193206787109375e+02
--1.682858886718750000e+02
--1.689490356445312500e+02
--1.698244476318359375e+02
--1.683923339843750000e+02
--1.647588653564453125e+02
--1.697187500000000000e+02
--1.696746826171875000e+02
--1.740055694580078125e+02
--1.707910156250000000e+02
--1.684773406982421875e+02
--1.699549255371093750e+02
--1.690593414306640625e+02
--1.710242004394531250e+02
--1.752266845703125000e+02
--1.677793273925781250e+02
--1.718797912597656250e+02
--1.691342468261718750e+02
--1.659676513671875000e+02
--1.685078582763671875e+02
--1.681151885986328125e+02
--1.749675598144531250e+02
--1.683143157958984375e+02
--1.778907623291015625e+02
--1.760344390869140625e+02
--1.684697570800781250e+02
--1.748992156982421875e+02
--1.697176666259765625e+02
--1.678852844238281250e+02
--1.660667877197265625e+02
--1.688421783447265625e+02
--1.672861022949218750e+02
--1.689746704101562500e+02
--1.707076721191406250e+02
--1.694245910644531250e+02
--1.699481811523437500e+02
--1.673339843750000000e+02
--1.786947326660156250e+02
--1.690436706542968750e+02
--1.695334930419921875e+02
--1.765597076416015625e+02
+-1.684010772705078125e+02
+-1.661826477050781250e+02
+-1.780997009277343750e+02
+-1.675089263916015625e+02
+-1.656891937255859375e+02
+-1.683831787109375000e+02
+-1.698946838378906250e+02
+-1.786249847412109375e+02
+-1.686866607666015625e+02
+-1.672410125732421875e+02
+-1.680524597167968750e+02
+-1.786432495117187500e+02
+-1.701466674804687500e+02
+-1.625760040283203125e+02
+-1.755187225341796875e+02
+-1.756782073974609375e+02
+-1.700743103027343750e+02
+-1.684511260986328125e+02
+-1.759474945068359375e+02
+-1.680730438232421875e+02
+-1.698712615966796875e+02
+-1.660069122314453125e+02
+-1.785680694580078125e+02
+-1.711904754638671875e+02
+-1.706030883789062500e+02
+-1.751845855712890625e+02
+-1.709448394775390625e+02
+-1.691391601562500000e+02
+-1.689557342529296875e+02
+-1.761472778320312500e+02
+-1.704644317626953125e+02
+-1.700298309326171875e+02
+-1.709126129150390625e+02
+-1.784774017333984375e+02
+-1.683108978271484375e+02
+-1.708998260498046875e+02
+-1.739747009277343750e+02
+-1.759649810791015625e+02
+-1.718268890380859375e+02
+-1.683968963623046875e+02
+-1.752790832519531250e+02
+-1.759639739990234375e+02
+-1.684766540527343750e+02
+-1.690187072753906250e+02
+-1.783754272460937500e+02
+-1.687413635253906250e+02
+-1.696286468505859375e+02
+-1.700587615966796875e+02
+-1.694839935302734375e+02
+-1.735888519287109375e+02
+-1.666308441162109375e+02
+-1.685208892822265625e+02
+-1.756712493896484375e+02
+-1.682588348388671875e+02
+-1.759992218017578125e+02
+-1.746153106689453125e+02
+-1.708957214355468750e+02
+-1.676802825927734375e+02
+-1.687668304443359375e+02
+-1.705297241210937500e+02
+-1.688839569091796875e+02
+-1.706966094970703125e+02
+-1.703395233154296875e+02
+-1.785951232910156250e+02
+-1.685428161621093750e+02
+-1.755245361328125000e+02
+-1.720673065185546875e+02
+-1.706926116943359375e+02
+-1.698462219238281250e+02
+-1.693157348632812500e+02
+-1.677136230468750000e+02
+-1.705692291259765625e+02
+-1.751405944824218750e+02
+-1.733939056396484375e+02
+-1.697229919433593750e+02
+-1.678657684326171875e+02
+-1.692902374267578125e+02
+-1.784306335449218750e+02
+-1.706724395751953125e+02
+-1.702799530029296875e+02
+-1.673120880126953125e+02
+-1.785641784667968750e+02
+-1.713137359619140625e+02
+-1.684319763183593750e+02
+-1.760461730957031250e+02
+-1.734227752685546875e+02
+-1.684156646728515625e+02
+-1.679704132080078125e+02
+-1.684612884521484375e+02
+-1.758076171875000000e+02
+-1.691455230712890625e+02
+-1.694363861083984375e+02
+-1.697169952392578125e+02
+-1.709335327148437500e+02
+-1.692472534179687500e+02
+-1.731980895996093750e+02
+-1.692664337158203125e+02
+-1.785883483886718750e+02
+-1.712493286132812500e+02
+-1.691552886962890625e+02
+-1.741942596435546875e+02
+-1.666268768310546875e+02
+-1.783272247314453125e+02
+-1.786022186279296875e+02
+-1.709958648681640625e+02
+-1.683693695068359375e+02
+-1.684433288574218750e+02
+-1.688599548339843750e+02
+-1.757387084960937500e+02
+-1.708550262451171875e+02
+-1.685048980712890625e+02
+-1.673882751464843750e+02
+-1.652554779052734375e+02
+-1.682845306396484375e+02
+-1.643911437988281250e+02
+-1.741774749755859375e+02
+-1.704119415283203125e+02
+-1.646650390625000000e+02
+-1.677320709228515625e+02
+-1.684832763671875000e+02
+-1.698136444091796875e+02
+-1.662160797119140625e+02
+-1.710681762695312500e+02
+-1.643972167968750000e+02
+-1.712271728515625000e+02
+-1.710517578125000000e+02
+-1.703170623779296875e+02
+-1.667663726806640625e+02
+-1.701358947753906250e+02
+-1.704723815917968750e+02
+-1.759617614746093750e+02
+-1.699105529785156250e+02
+-1.785536346435546875e+02
+-1.699792633056640625e+02
+-1.698645172119140625e+02
+-1.762003784179687500e+02
+-1.736586608886718750e+02
+-1.735822143554687500e+02
+-1.784171905517578125e+02
+-1.699455871582031250e+02
+-1.688845977783203125e+02
+-1.707239227294921875e+02
+-1.704062957763671875e+02
+-1.711085662841796875e+02
+-1.733083190917968750e+02
+-1.776224822998046875e+02
+-1.681692352294921875e+02
+-1.786228485107421875e+02
+-1.706018829345703125e+02
+-1.695252990722656250e+02
+-1.713683471679687500e+02
+-1.691821594238281250e+02
+-1.685704650878906250e+02
+-1.662976989746093750e+02
+-1.691790161132812500e+02
+-1.711269989013671875e+02
+-1.756435546875000000e+02
+-1.645069580078125000e+02
+-1.685510406494140625e+02
+-1.784693298339843750e+02
+-1.765835571289062500e+02
+-1.683005065917968750e+02
+-1.698162689208984375e+02
+-1.706948547363281250e+02
+-1.689332122802734375e+02
+-1.695127105712890625e+02
+-1.704281463623046875e+02
+-1.684772186279296875e+02
+-1.754344940185546875e+02
+-1.631076354980468750e+02
+-1.669106140136718750e+02
+-1.700450286865234375e+02
+-1.659459381103515625e+02
+-1.666561431884765625e+02
+-1.695353088378906250e+02
+-1.756517181396484375e+02
+-1.657548370361328125e+02
+-1.725358428955078125e+02
+-1.763927764892578125e+02
+-1.784456176757812500e+02
+-1.662206420898437500e+02
+-1.759971618652343750e+02
+-1.716637878417968750e+02
+-1.665581359863281250e+02
+-1.690239257812500000e+02
+-1.762832641601562500e+02
+-1.706510925292968750e+02
+-1.699290008544921875e+02
+-1.756721496582031250e+02
+-1.685610656738281250e+02
+-1.668241729736328125e+02
+-1.693243408203125000e+02
+-1.693997192382812500e+02
+-1.648891143798828125e+02
+-1.785567169189453125e+02
+-1.661615753173828125e+02
+-1.758741912841796875e+02
+-1.691337890625000000e+02
+-1.712990722656250000e+02
+-1.708214263916015625e+02
+-1.693665466308593750e+02
+-1.714627685546875000e+02
+-1.672672882080078125e+02
+-1.687323303222656250e+02
+-1.662868194580078125e+02
+-1.714759674072265625e+02
+-1.712748718261718750e+02
+-1.785511169433593750e+02
+-1.673191070556640625e+02
+-1.707864837646484375e+02
+-1.756267700195312500e+02
+-1.724132080078125000e+02
+-1.751289672851562500e+02
+-1.690205993652343750e+02
+-1.754555511474609375e+02
+-1.703469696044921875e+02
+-1.709131164550781250e+02
+-1.675438079833984375e+02
+-1.678259582519531250e+02
+-1.753962860107421875e+02
+-1.742464447021484375e+02
+-1.731528625488281250e+02
+-1.640361938476562500e+02
+-1.707026824951171875e+02
+-1.674417877197265625e+02
+-1.670293121337890625e+02
+-1.785007324218750000e+02
+-1.690533752441406250e+02
+-1.700246734619140625e+02
+-1.653350524902343750e+02
+-1.702743377685546875e+02
+-1.706119537353515625e+02
+-1.698815765380859375e+02
+-1.749040985107421875e+02
+-1.785243072509765625e+02
+-1.643205413818359375e+02
+-1.693852691650390625e+02
+-1.779446563720703125e+02
+-1.685839996337890625e+02
+-1.708036499023437500e+02
+-1.689970703125000000e+02
+-1.682075653076171875e+02
+-1.688807067871093750e+02
+-1.685543060302734375e+02
+-1.758665618896484375e+02
+-1.714112854003906250e+02
+-1.719939575195312500e+02
+-1.694385375976562500e+02
+-1.703684082031250000e+02
+-1.783271179199218750e+02
+-1.758994293212890625e+02
+-1.703637390136718750e+02
+-1.759615173339843750e+02
+-1.757082672119140625e+02
+-1.681838531494140625e+02
+-1.710392761230468750e+02
+-1.759445495605468750e+02
+-1.671645660400390625e+02
+-1.706314239501953125e+02
+-1.646394653320312500e+02
+-1.680758514404296875e+02
+-1.758294372558593750e+02
+-1.677443695068359375e+02
+-1.755072479248046875e+02
+-1.693420410156250000e+02
+-1.676430206298828125e+02
+-1.787552795410156250e+02
+-1.684584503173828125e+02
+-1.693367614746093750e+02
+-1.756429748535156250e+02
+-1.700452423095703125e+02
+-1.672572631835937500e+02
+-1.693308563232421875e+02
+-1.756552734375000000e+02
+-1.683465118408203125e+02
+-1.785269317626953125e+02
+-1.663986053466796875e+02
+-1.681491088867187500e+02
+-1.679174957275390625e+02
+-1.685656433105468750e+02
+-1.759109649658203125e+02
+-1.696871337890625000e+02
+-1.676047668457031250e+02
+-1.717023162841796875e+02
+-1.715563964843750000e+02
+-1.716819305419921875e+02
+-1.687033081054687500e+02
+-1.686630706787109375e+02
+-1.752003936767578125e+02
+-1.757659912109375000e+02
+-1.739643249511718750e+02
+-1.691472320556640625e+02
+-1.714504699707031250e+02
+-1.706900024414062500e+02
+-1.693711853027343750e+02
+-1.695194549560546875e+02
+-1.641190643310546875e+02
+-1.631488494873046875e+02
+-1.716152343750000000e+02
+-1.715345611572265625e+02
+-1.761279144287109375e+02
+-1.638054656982421875e+02
+-1.709279479980468750e+02
+-1.684849853515625000e+02
+-1.699361419677734375e+02
+-1.682540893554687500e+02
+-1.669279632568359375e+02
+-1.786146545410156250e+02
+-1.686414642333984375e+02
+-1.705739593505859375e+02
+-1.703116760253906250e+02
+-1.682203979492187500e+02
+-1.684087829589843750e+02
+-1.700491485595703125e+02
+-1.679671783447265625e+02
+-1.650001678466796875e+02
+-1.696716003417968750e+02
+-1.697302246093750000e+02
+-1.741016235351562500e+02
+-1.704594421386718750e+02
+-1.680652618408203125e+02
+-1.698313140869140625e+02
+-1.688235168457031250e+02
+-1.712947235107421875e+02
+-1.752390594482421875e+02
+-1.685864715576171875e+02
+-1.718501739501953125e+02
+-1.687422180175781250e+02
+-1.659726562500000000e+02
+-1.681023254394531250e+02
+-1.682406616210937500e+02
+-1.751215057373046875e+02
+-1.683836517333984375e+02
+-1.781171417236328125e+02
+-1.762135620117187500e+02
+-1.681865234375000000e+02
+-1.749716644287109375e+02
+-1.697848052978515625e+02
+-1.673139190673828125e+02
+-1.652970123291015625e+02
+-1.685631408691406250e+02
+-1.667965393066406250e+02
+-1.688955383300781250e+02
+-1.710401306152343750e+02
+-1.696131744384765625e+02
+-1.696353759765625000e+02
+-1.675089569091796875e+02
+-1.785950164794921875e+02
+-1.689756927490234375e+02
+-1.693872985839843750e+02
+-1.764474792480468750e+02

test_torch.py

@@ -0,0 +1,183 @@
+# ...existing code...
+import torch
+import torch.nn as nn
+import torch.optim as optim
+from torch.utils.data import DataLoader, TensorDataset
+import numpy as np
+import pandas as pd
+import matplotlib.pyplot as plt
+from sklearn.linear_model import LinearRegression
+from sklearn.neighbors import KNeighborsRegressor
+from sklearn.ensemble import RandomForestRegressor
+from sklearn.model_selection import train_test_split
+
+# ...existing code...
+
+def normx(x, train_statsX):
+  return (x - train_statsX['mean']) / train_statsX['std']
+def norm(y, train_statsY):
+  return (y - train_statsY['mean']) / train_statsY['std']
+def denorm(y, train_statsY):
+  return (y* train_statsY['std'] + train_statsY['mean'])  
+def mean_aep(u1,u2):  
+  return (round(100*(100*sum(abs((u2-u1)/u1))/len(u1)))/100)
+def max_aep(u1,u2):  
+  return (round(100*(100*max(abs((u2-u1)/u1))))/100)  
+
+df = pd.read_csv("./MUTC1750designs.csv")
+df[df.columns[22:40]] =np.log10(df[df.columns[22:40]])
+print(df.shape)
+print(df.head(3))
+print(df.describe())
+print(df[df.columns[0:5]].std()/df[df.columns[0:5]].mean())
+
+# ANN parameters
+ac = 'relu'  # activation function
+nnno = 48    # number of neurons
+dr_rate = 0.2  # dropout rate
+EPOCHS = 400    # number of epocs
+LR = 0.001     # learning rate
+
+for var_index in np.arange(5):
+    X_Train, X_Test, Y_Train, Y_Test = train_test_split(df.iloc[0:-1, 5:40], df.iloc[0:-1, var_index], test_size=0.2, random_state=55)
+
+    train_statsY = Y_Train.describe().transpose()
+    train_statsX = X_Train.describe().transpose()
+    XX = normx(X_Train, train_statsX)
+    YY = norm(Y_Train, train_statsY)
+    xx = normx(X_Test, train_statsX)
+    yy = norm(Y_Test, train_statsY)
+
+    # Convert to PyTorch tensors
+    X_train_tensor = torch.tensor(XX.values, dtype=torch.float32)
+    Y_train_tensor = torch.tensor(YY.values, dtype=torch.float32).view(-1, 1)
+    X_test_tensor = torch.tensor(xx.values, dtype=torch.float32)
+    Y_test_tensor = torch.tensor(yy.values, dtype=torch.float32).view(-1, 1)
+
+    train_dataset = TensorDataset(X_train_tensor, Y_train_tensor)
+    train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True)
+
+    class ANNModel(nn.Module):
+        def __init__(self, input_dim, hidden_dim, output_dim, dropout_rate):
+            super(ANNModel, self).__init__()
+            self.fc1 = nn.Linear(input_dim, hidden_dim)
+            self.dropout1 = nn.Dropout(dropout_rate)
+            self.fc2 = nn.Linear(hidden_dim, hidden_dim)
+            self.dropout2 = nn.Dropout(dropout_rate)
+            self.fc3 = nn.Linear(hidden_dim + input_dim, hidden_dim)
+            self.dropout3 = nn.Dropout(dropout_rate)
+            self.fc4 = nn.Linear(hidden_dim, hidden_dim)
+            self.dropout4 = nn.Dropout(dropout_rate)
+            self.fc5 = nn.Linear(hidden_dim + input_dim, hidden_dim)
+            self.dropout5 = nn.Dropout(dropout_rate)
+            self.fc6 = nn.Linear(hidden_dim, output_dim)
+
+        def forward(self, x):
+            x1 = torch.relu(self.fc1(x))
+            x1 = self.dropout1(x1)
+            x1 = torch.relu(self.fc2(x1))
+            x1 = self.dropout2(x1)
+            x1 = torch.cat((x1, x), dim=1) #拼接
+            x1 = torch.relu(self.fc3(x1))
+            x1 = self.dropout3(x1)
+            x1 = torch.relu(self.fc4(x1))
+            x1 = self.dropout4(x1)
+            x1 = torch.cat((x1, x), dim=1)
+            x1 = torch.relu(self.fc5(x1))
+            x1 = self.dropout5(x1)
+            output = self.fc6(x1)
+            return output
+        #通过多层次的特征提取和拼接操作，增强了模型的表达能力
+
+    input_dim = X_Train.shape[1]
+    hidden_dim = nnno
+    output_dim = 1
+    dropout_rate = dr_rate
+
+    model = ANNModel(input_dim, hidden_dim, output_dim, dropout_rate)
+    criterion = nn.MSELoss()
+    optimizer = optim.Adamax(model.parameters(), lr=LR)
+
+    # Training loop
+    model.train()
+    history = {'loss': [], 'val_loss': []}
+    for epoch in range(EPOCHS):
+        for X_batch, Y_batch in train_loader:
+            optimizer.zero_grad()
+            outputs = model(X_batch)
+            loss = criterion(outputs, Y_batch)
+            loss.backward()
+            history['loss'].append(loss.item())
+            optimizer.step()
+
+            # Evaluation
+            model.eval()
+            with torch.no_grad():
+                test_predictions = model(X_test_tensor).numpy()
+                history['val_loss'].append(criterion(torch.tensor(test_predictions), Y_test_tensor).item())
+
+    # Evaluation
+    model.eval()
+    with torch.no_grad():
+        test_predictions = model(X_test_tensor).numpy()
+    u1 = denorm(yy, train_statsY).to_numpy()
+    u2 = denorm(pd.Series(np.squeeze(test_predictions)), train_statsY).to_numpy()
+
+    # Plot losses
+    plt.figure(var_index + 10)
+    plt.plot(history['loss'])
+    plt.plot(history['val_loss'])
+    plt.ylabel('loss')
+    plt.xlabel('epoch')
+    plt.legend(['train', 'test'], loc='upper right')
+    plt.show()
+
+    # Plot truth vs. prediction
+    x1 = min(min(u1), min(u2))
+    x2 = max(max(u1), max(u2))
+    plt.figure(var_index)
+    plt.plot([x1, x2], [x1, x2], color='red')
+    plt.scatter(u1, u2)
+    plt.xlabel('Ground Truth')
+    plt.ylabel('Prediction')
+    plt.gca().set_aspect('equal', adjustable='box')
+    plt.grid(color='grey', linestyle='--', linewidth=1)
+    plt.show()
+
+    # Errors
+    error_ANN, error_ANN_max = mean_aep(u1, u2), max_aep(u1, u2)
+
+    # Save ANN Results
+    if var_index == 0:
+        np.savetxt("MUTC_training_loss.csv", history['loss'], delimiter=",")
+        np.savetxt("MUTC_testing_loss.csv", history['val_loss'], delimiter=",")
+        np.savetxt("MUTC_phasenoise_truth.csv", u1, delimiter=",")
+        np.savetxt("MUTC_phasenoise_predictions.csv", u2, delimiter=",")
+
+    # Linear Regression
+    modelLR = LinearRegression()
+    modelLR.fit(XX, YY)
+    yhat = modelLR.predict(xx)
+    u2 = denorm(pd.Series(np.squeeze(yhat)), train_statsY)
+    error_LR, error_LR_max = mean_aep(u1, u2), max_aep(u1, u2)
+
+    # k-Nearest Neighbors
+    modelkNN = KNeighborsRegressor()
+    modelkNN.fit(XX, YY)
+    yhat = modelkNN.predict(xx)
+    u2 = denorm(pd.Series(np.squeeze(yhat)), train_statsY)
+    error_kNN, error_kNN_max = mean_aep(u1, u2), max_aep(u1, u2)
+
+    # Random Forest
+    modelRF = RandomForestRegressor()
+    modelRF.fit(XX, YY)
+    yhat = modelRF.predict(xx)
+    u2 = denorm(pd.Series(np.squeeze(yhat)), train_statsY)
+    error_RF, error_RF_max = mean_aep(u1, u2), max_aep(u1, u2)
+
+    # Print Errors
+    print('************', var_index, '************')
+    print('Mean Absolute Percentage Errors: LR, kNN, RF, ANN')
+    print(error_LR, error_kNN, error_RF, error_ANN)
+    print('Max Absolute Percentage Errors: LR, kNN, RF, ANN')
+    print(error_LR_max, error_kNN_max, error_RF_max, error_ANN_max)